Définition
Une estimation de probabilité est bien calibrée lorsque les événements se produisent à peu près aussi souvent que l’estimation le laisse entendre. Si un modèle attribue une probabilité de 70 % à de nombreux événements comparables, environ 70 % d’entre eux devraient se produire sur un échantillon suffisamment large et représentatif. Une prédiction individuelle à 70 % ne peut pas être vérifiée à partir d’un seul résultat.
Pour évaluer la calibration, il faut définir précisément l’événement, l’horizon temporel et la règle de constatation du résultat. En trading, la « réussite » peut désigner une condition définie pour une exécution envisagée ou un résultat de marché ultérieur : il s’agit de deux événements différents. Sans savoir quel événement a été prédit, il est difficile d’évaluer un pourcentage. La calibration ne dit pas si une opération est rentable, si ses coûts sont acceptables ou si son risque correspond à la situation de l’investisseur.
Calcul
Une méthode pratique consiste à regrouper les prédictions passées par tranches de probabilité, puis à comparer la moyenne des prédictions de chaque tranche à la fréquence observée de l’événement :
écart de calibration = |(somme des probabilités prédites / n) − (nombre de réussites observées / n)|
- Probabilité prédite : l’estimation du modèle pour l’événement défini, exprimée sous forme décimale ; 70 % correspond à 0,70.
- Réussite observée : résultat enregistré comme 1 si l’événement défini s’est produit, et comme 0 dans le cas contraire.
- n : le nombre de prédictions dans la tranche.
- Écart de calibration : la différence absolue entre la prédiction moyenne et la fréquence observée de réussite, exprimée en unités de probabilité. Multipliez-la par 100 pour l’exprimer en points de pourcentage.
Un écart plus faible est préférable pour la tranche considérée, mais ne prouve pas que le modèle est globalement bien calibré. Les analystes examinent également plusieurs tranches, la taille des échantillons, l’évolution des conditions de marché et la représentativité des cas testés par rapport aux situations futures. Un modèle peut afficher un faible écart global tout en donnant des probabilités trompeuses pour certains groupes.
Exemple détaillé
Supposons, à titre hypothétique, qu’un modèle attribue une probabilité de 70 % à chacun de 100 cas pré-négociation comparables, examinés indépendamment. L’événement et la période d’observation sont définis avant l’examen des résultats. Par la suite, 60 cas répondent à la définition de l’événement.
- Additionnez les prédictions : 100 × 0,70 = 70 ; divisez par 100 pour obtenir une probabilité moyenne prédite de 0,70.
- Calculez la fréquence observée : 60 ÷ 100 = 0,60, soit 60 %.
- Calculez l’écart : |0,70 − 0,60| = 0,10, soit 10 points de pourcentage.
Dans ce groupe hypothétique, la fréquence prédite est supérieure à la fréquence observée. Ce constat ne permet pas, à lui seul, d’en déterminer la cause : l’échantillon peut ne pas être représentatif, l’événement peut avoir été enregistré de façon incohérente ou les conditions peuvent avoir changé. Un autre groupe pourrait présenter un écart différent.
Pourquoi est-ce important avant de passer un ordre ?
Une probabilité peut sembler précise alors que son lien avec les résultats réels reste incertain. Comprendre ce qu’elle mesure et comment se sont comportées des prédictions comparables aide l’investisseur particulier à l’interpréter comme une estimation, et non comme une promesse. La calibration est distincte du pouvoir discriminant (discrimination) : un modèle peut classer efficacement les cas selon leur niveau de risque tout en attribuant des probabilités systématiquement trop élevées ou trop faibles.
Les vérifications de calibration doivent également éviter de ne retenir que les cas ayant donné lieu à une opération, sans tenir compte de ceux qui ont été écartés. Ces groupes peuvent différer, et l’absence de certains résultats peut fausser la comparaison. Une bonne calibration passée ne garantit pas que les probabilités le resteront si la liquidité, la volatilité ou les données disponibles évoluent.
Utilisation par PreTrAIde
PreTrAIde fournit, pour chaque verdict sur un panier et chaque verdict sur une ligne, une probabilité de réussite estimée par le modèle, comprise entre 5 % et 95 %. Ce n’est ni une garantie ni une prévision de rendement. Son analyse pré-négociation comprend également une évaluation du risque, une stratégie d’exécution suggérée et des explications en langage clair. Des scores quantitatifs servent de base à son analyse par IA, et des garde-fous abaissent un verdict GO lorsque la probabilité de réussite est inférieure à 50 %.
Les informations produit ne précisent ni méthode de calibration, ni écart de calibration mesuré, ni affirmation selon laquelle ces probabilités seraient calibrées. PreTrAIde Memory peut s’appuyer sur les résultats de trading enregistrés pour personnaliser les analyses ultérieures au niveau de l’IA ; les scores quantitatifs restent identiques. Cette personnalisation ne constitue pas une preuve de calibration des probabilités.
Erreurs fréquentes
- Prendre 70 % pour un résultat garanti : ce chiffre exprime l’incertitude relative à un événement défini, et non le résultat d’un cas particulier.
- Confondre calibration et rentabilité : même une probabilité d’événement bien calibrée ne renseigne pas, à elle seule, sur les gains, les pertes ou les coûts de transaction.
- Comparer des événements différents : les prédictions et les résultats observés doivent correspondre à la même définition de l’événement et au même horizon temporel.
- Se fier à une seule tranche ou à un échantillon minuscule : une moyenne unique peut masquer d’importantes erreurs ailleurs, et les petits échantillons produisent des fréquences observées très variables.
- Supposer que les garde-fous prouvent la calibration : limiter la plage d’une probabilité ou corriger un verdict contradictoire ne revient pas à comparer les fréquences prédites aux résultats observés.