Alucinação da IA em finanças

O que significa

Um sistema de IA pode dar uma resposta convincente que inclua um valor de resultados sem fundamento, uma notícia inventada ou uma citação inexistente. Em finanças, estes erros são importantes porque uma afirmação aparentemente específica pode alterar a avaliação de uma ação ou de uma ordem.

Uma alucinação diz respeito ao fundamento de uma afirmação, e não à plausibilidade da conclusão. Um valor real citado com um período de reporte incorreto também não é fiável, mesmo que o valor exista. A falta de dados ou a utilização de dados desactualizados exige um aviso separado: um sistema de IA não deve preencher uma lacuna com um palpite apresentado com confiança.

Como se calcula

Não existe uma fórmula financeira padrão nem uma pontuação universal para medir alucinações da IA. Em alternativa, uma verificação manual prática pode medir a percentagem de afirmações factuais numa resposta que continuam sem suporte após a verificação:

Taxa de afirmações sem suporte (%) = (U / N) × 100

• U é o número de afirmações factuais verificadas para as quais não se encontra a evidência indicada, ou em que essa evidência não sustenta a afirmação, contado em afirmações.
• N é o número total de afirmações factuais verificadas, também contado em afirmações. A taxa não está definida quando N = 0.

Esta é uma métrica de verificação, não a probabilidade de uma resposta da IA ser falsa. Defina o que conta como afirmação factual antes de começar a contagem. Uma ligação que não funciona, por si só, não prova que uma afirmação é falsa; significa que a evidência citada não a confirmou.

Exemplo desenvolvido

Suponha que um resumo gerado por IA sobre uma ação hipotética dos EUA contém cinco afirmações verificáveis. Um leitor compara cada uma com o documento relevante apresentado à entidade reguladora pela empresa ou com os registos de dados de mercado, usando o mesmo período de reporte e as mesmas unidades para as ações.

1. A receita trimestral indicada, de 100 milhões de dólares dos EUA, corresponde ao documento: confirmada.
2. Os resultados trimestrais indicados, de 20 milhões de dólares dos EUA, correspondem ao documento: confirmados.
3. A afirmação de que a receita aumentou 10% usa os períodos de comparação correctos: confirmada.
4. Não é possível encontrar no documento citado o dividendo de 5 milhões de dólares dos EUA indicado: sem suporte.
5. O alegado regime de suspensão da negociação não encontra suporte no aviso da bolsa citado na resposta: sem suporte.

Neste caso, U = 2 afirmações e N = 5 afirmações, pelo que a taxa de afirmações sem suporte é (2 / 5) × 100 = 40%. Esta percentagem descreve apenas este pequeno conjunto de afirmações verificadas. Não estima a frequência geral de alucinações do sistema, nem prova que algum dos acontecimentos sem suporte tenha ou não ocorrido noutro contexto.

Porque é importante antes de negociar

A análise pré-negociação depende tanto dos dados de entrada como do raciocínio. Uma suspensão da negociação inventada pode distorcer a avaliação sobre a possibilidade de execução. Um valor de volume de negociação citado incorrectamente pode distorcer a avaliação da liquidez; uma afirmação falsa sobre resultados pode alterar a percepção do risco associado a eventos. Uma explicação fluente não corrige dados de entrada errados.

Verifique as afirmações importantes em fontes adequadas: documentos apresentados pela empresa à entidade reguladora para os resultados reportados, avisos da bolsa para o estado da negociação e dados de mercado com datas claramente indicadas para preços ou volumes. Confirme o símbolo bolsista, a moeda, as unidades, a data e o período de reporte. Se não for possível verificar uma afirmação, trate-a como não confirmada, em vez de a transformar num facto de negociação.

Como a PreTrAIde utiliza este conceito

A PreTrAIde efectua análises pré-negociação de cabazes de acções criados pelos utilizadores. A sua camada quantitativa produz estimativas e pontuações determinísticas e reprodutíveis; em seguida, os agentes de IA analisam cada acção e o cabaz com base nessas pontuações, em notícias recentes e em classificações de analistas. As salvaguardas corrigem resultados da IA que contradigam dados especificados: uma acção suspensa recebe sempre NO-GO, um GO com probabilidade de sucesso inferior a 50% é rebaixado e as probabilidades são limitadas ao intervalo de 5%–95%. As salvaguardas só alteram os veredictos numa direcção conservadora.

Estas verificações tratam contradições especificadas; não comprovam que todas as afirmações, notícias ou fontes da IA são exactas. O veredicto GO, NO-GO ou MODIFY é um apoio à decisão, não uma recomendação. Os utilizadores executam quaisquer transacções através do seu próprio intermediário financeiro.

Erros comuns

• Tratar um número preciso ou uma citação bem apresentada como prova sem consultar a fonte original.
• Confundir uma afirmação sem suporte com uma afirmação comprovadamente falsa; ambas exigem verificação, mas não são a mesma coisa.
• Verificar um valor sem confirmar a data, a moeda, a unidade ou o período de reporte.
• Partir do princípio de que uma salvaguarda aplicada aos veredictos confirma todas as frases de uma explicação da IA.