Hallucination de l’IA en finance

Définition

Un système d’IA peut fournir une réponse convaincante contenant un chiffre de résultats non étayé, une actualité inventée ou une citation inexistante. En finance, ces erreurs comptent : une affirmation apparemment précise peut modifier l’évaluation d’une action ou d’un ordre.

Une hallucination concerne les éléments qui étayent une affirmation, et non le caractère plausible de sa conclusion. Un chiffre réel cité pour la mauvaise période de publication n’est pas fiable non plus, même s’il existe. L’absence de données ou des données obsolètes appellent un avertissement distinct : un système d’IA ne devrait pas combler une lacune par une supposition formulée avec assurance.

Calcul

Il n’existe ni formule financière normalisée ni score universel pour mesurer les hallucinations de l’IA. À la place, une vérification manuelle peut mesurer la part des affirmations factuelles d’une réponse qui restent sans fondement après vérification :

Taux d’affirmations non étayées (%) = (U / N) × 100

• U correspond au nombre d’affirmations factuelles vérifiées pour lesquelles les éléments cités sont introuvables ou ne corroborent pas l’affirmation, exprimé en nombre d’affirmations.
• N correspond au nombre total d’affirmations factuelles vérifiées, également exprimé en nombre d’affirmations. Le taux n’est pas défini lorsque N = 0.

Il s’agit d’un indicateur de vérification, et non de la probabilité qu’une réponse de l’IA soit fausse. Définissez ce qui constitue une affirmation factuelle avant de les compter. Un lien brisé ne prouve pas à lui seul qu’une affirmation est fausse : cela signifie que les éléments cités ne l’ont pas vérifiée.

Exemple détaillé

Supposons qu’un résumé généré par une IA au sujet d’une action américaine hypothétique contienne cinq affirmations vérifiables. Le lecteur compare chacune d’elles au document réglementaire pertinent de l’entreprise ou aux données de marché, en utilisant la même période de publication et les mêmes unités pour les actions.

1. Le chiffre de 100 millions de dollars US de chiffre d’affaires trimestriel correspond au document : affirmation étayée.
2. Le chiffre de 20 millions de dollars US de bénéfice trimestriel correspond au document : affirmation étayée.
3. L’affirmation selon laquelle le chiffre d’affaires a progressé de 10 % repose sur les bonnes périodes de comparaison : affirmation étayée.
4. La mention d’un dividende de 5 millions de dollars US est introuvable dans le document cité : affirmation non étayée.
5. La mention d’une suspension de cotation n’est pas corroborée par l’avis de la Bourse cité dans la réponse : affirmation non étayée.

Dans cet exemple, U = 2 affirmations et N = 5 affirmations. Le taux d’affirmations non étayées est donc de (2 / 5) × 100 = 40 %. Ce pourcentage ne décrit que ce petit ensemble d’affirmations vérifiées. Il ne permet pas d’estimer la fréquence générale des hallucinations du système et ne prouve pas que les deux événements non étayés se sont produits ou non ailleurs.

Pourquoi c’est important avant de passer un ordre

L’analyse pré-transaction dépend autant des données d’entrée que du raisonnement. Une suspension de cotation inventée pourrait fausser l’évaluation de la possibilité d’exécuter un ordre. Un volume mal cité pourrait fausser l’analyse de la liquidité ; une fausse affirmation sur les résultats pourrait modifier la perception du risque lié à un événement. Une explication fluide ne corrige pas une donnée d’entrée erronée.

Vérifiez les affirmations importantes auprès d’une source adaptée : documents réglementaires de l’entreprise pour les résultats publiés, avis de la Bourse pour le statut de cotation et données de marché datées clairement pour les prix ou les volumes. Vérifiez le ticker, la devise, les unités, la date et la période de publication. Si une affirmation ne peut pas être vérifiée, considérez-la comme non confirmée plutôt que de la tenir pour un fait de marché.

Utilisation par PreTrAIde

PreTrAIde réalise des analyses pré-transaction sur un panier d’actions constitué par l’utilisateur. Sa couche quantitative produit des estimations et des scores déterministes et reproductibles ; des agents d’IA raisonnent ensuite sur chaque action et sur le panier à partir de ces scores, de l’actualité récente et des recommandations d’analystes. Ses garde-fous corrigent les résultats de l’IA qui contredisent les données spécifiées : une action suspendue reçoit toujours le verdict NO-GO, un verdict GO assorti d’une probabilité de succès inférieure à 50 % est dégradé et les probabilités sont plafonnées entre 5 % et 95 %. Les garde-fous ne peuvent faire évoluer les verdicts que dans un sens plus prudent.

Ces contrôles portent sur des contradictions spécifiées ; ils ne garantissent pas l’exactitude de chaque déclaration, actualité ou source citée par l’IA. Le verdict GO, NO-GO ou MODIFY constitue une aide à la décision, et non une recommandation. Les utilisateurs passent eux-mêmes leurs ordres auprès de leur propre courtier.

Erreurs fréquentes

• Prendre un chiffre précis ou une citation bien présentée pour une preuve sans consulter la source d’origine.
• Confondre une affirmation non étayée avec une affirmation dont la fausseté est avérée : toutes deux doivent être vérifiées, mais elles ne sont pas identiques.
• Vérifier un chiffre sans contrôler sa date, sa devise, son unité ou sa période de publication.
• Supposer que les garde-fous appliqués aux verdicts vérifient chaque phrase d’une explication générée par l’IA.