Ce que cela signifie
Un modèle de trading peut sembler convaincant sur des données historiques et pourtant mal fonctionner sur des observations qu’il n’a jamais vues. C’est le principal problème du surapprentissage. Le modèle a peut-être appris le bruit, une situation de marché temporaire ou des caractéristiques propres à l’échantillon, plutôt qu’une relation durable.
Le surapprentissage peut toucher un modèle de prix, une estimation des coûts d’exécution, une estimation du risque ou une évaluation produite par une IA. Il peut aussi survenir sans IA complexe : ajuster à répétition une simple règle de trading jusqu’à ce que ses résultats historiques paraissent attrayants revient au même. Un bon ajustement aux données historiques ne suffit pas à établir qu’un modèle fonctionnera sur des données futures.
Comment le calculer
Il n’existe pas de mesure universelle unique du surapprentissage. Un indicateur utile est l’écart de validation : la différence entre le résultat d’un modèle sur les données ayant servi à l’ajuster et son résultat sur des données distinctes, qu’il n’a pas vues. Si des valeurs plus élevées de la mesure choisie indiquent de meilleures performances, calculez :
Écart de validation = mesure sur l’échantillon d’entraînement − mesure hors échantillon
- Mesure sur l’échantillon d’entraînement : mesure de performance choisie, calculée sur les données utilisées pour ajuster le modèle.
- Mesure hors échantillon : la même mesure, dans la même unité, calculée sur des données exclues de l’ajustement.
- Écart de validation : exprimé dans les mêmes unités. Un écart positif important peut être un signal d’alerte, mais ne prouve pas qu’il y a surapprentissage.
Pour une mesure où une valeur plus faible est préférable, comme l’erreur moyenne de prédiction, inversez la soustraction afin d’exprimer la dégradation par un nombre positif : Écart de validation = erreur hors échantillon − erreur sur l’échantillon d’entraînement. Les échantillons doivent être comparables et les données mises de côté ne doivent pas avoir influé sur le choix du modèle. Pour des données de marché ordonnées dans le temps, tester le modèle sur des observations ultérieures est souvent plus instructif que de mélanger aléatoirement des observations passées et futures.
Exemple détaillé
Supposons, à titre hypothétique, qu’un modèle estime si un ordre sur une action sera exécuté dans un délai donné. Les chiffres ci-dessous sont inventés et ne constituent pas des éléments de preuve concernant un modèle utilisé en conditions réelles.
- Un développeur ajuste le modèle sur 100 ordres historiques. Il en classe correctement 90 :
90 ÷ 100 = 90 %de précision sur l’échantillon d’entraînement. - Le développeur évalue ensuite le modèle, sans le modifier, sur 100 ordres ultérieurs qui n’ont servi ni à l’ajuster ni à le sélectionner. Il en classe correctement 60 :
60 ÷ 100 = 60 %de précision hors échantillon. - L’écart de validation est de
90 % − 60 % = 30 points de pourcentage.
Cet écart soulève une question sur la capacité de généralisation du modèle. Il n’en établit pas la cause : les ordres ultérieurs peuvent différer par leur liquidité, leur type, les conditions de marché ou la qualité des données. La précision ne révèle pas non plus si les probabilités du modèle sont bien calibrées, ni si certaines erreurs ont plus de conséquences que d’autres.
Pourquoi c’est important avant de passer un ordre
Une décision pré-négociation peut dépendre des coûts et des risques estimés, des conditions d’exécution et des probabilités produites par un modèle. Si une estimation est affectée par le surapprentissage, une précision apparente peut masquer l’incertitude. Une probabilité n’est pas une promesse, et un bon résultat historique ne remplace pas un test sur des données réellement indépendantes.
Il est utile de vérifier si l’évaluation a porté sur des observations ultérieures restées intactes, si les mêmes mesures et hypothèses ont été appliquées tout au long du processus et si les résultats se maintiennent pour différentes actions et dans diverses conditions de marché. Essayer à répétition des modèles sur un jeu de test censé être intact peut finir par intégrer ce jeu au processus d’ajustement.
Comment PreTrAIde l’utilise
PreTrAIde fournit une analyse pré-négociation d’un panier d’actions envisagé avant que l’utilisateur ne passe un ordre. Sa couche quantitative déterministe et reproductible estime notamment l’écart acheteur-vendeur, l’impact de marché, la volatilité quotidienne et la valeur à risque à 95 % sur un jour. Ses agents d’IA raisonnent à partir de scores quantitatifs, d’actualités et de notations d’analystes ; des garde-fous corrigent les résultats qui contredisent les conditions de données spécifiées.
Les informations sur le produit n’indiquent pas que PreTrAIde calcule un score de surapprentissage ni ne décrivent de résultats de validation hors échantillon. Sa probabilité de succès est une estimation de modèle comprise entre 5 % et 95 % ; ce n’est ni une garantie ni une prévision de rendement. Les verdicts d’analyse sont des aides à la décision, pas des recommandations.
Erreurs fréquentes
- Prendre un bon ajustement historique pour une garantie de fiabilité future. Un backtest peut refléter des choix adaptés aux mêmes données.
- Laisser fuiter des informations futures dans les tests. Des données indisponibles au moment de la décision peuvent gonfler artificiellement les résultats.
- Ajuster le modèle au jeu de test. Des modifications répétées fondées sur les résultats du test compromettent son indépendance.
- Assimiler tout écart à du surapprentissage. Une évolution des conditions de marché, un petit échantillon ou des erreurs de mesure peuvent aussi expliquer les différences.
- Confondre précision et calibration. Un modèle peut classer correctement de nombreux cas tout en attribuant des probabilités trompeuses.