Cosa significa
Un modello di trading può sembrare convincente sui dati storici e, tuttavia, avere prestazioni scarse su osservazioni mai viste prima. È questo il problema centrale del sovradattamento. Il modello potrebbe aver appreso il rumore, una condizione temporanea di mercato o caratteristiche peculiari del campione, anziché una relazione destinata a durare.
Il sovradattamento può riguardare un modello di prezzo, una stima dei costi di esecuzione, una stima del rischio o una valutazione generata dall’IA. Può verificarsi anche senza un’IA complessa: modificare ripetutamente una semplice regola di trading finché i risultati storici non appaiono interessanti crea lo stesso problema. Un buon adattamento ai dati storici, da solo, non dimostra che un modello funzionerà sui dati futuri.
Come si calcola
Non esiste un unico indicatore universale di sovradattamento. Un criterio diagnostico utile è il divario di validazione: la differenza tra il risultato di un modello sui dati utilizzati per addestrarlo e il risultato su dati separati, mai visti. Se valori più alti della metrica scelta indicano prestazioni migliori, si calcola così:
Divario di validazione = metrica di addestramento − metrica fuori campione
- Metrica di addestramento è la misura di performance selezionata, calcolata sui dati usati per addestrare il modello.
- Metrica fuori campione è la stessa misura, nelle stesse unità, calcolata sui dati esclusi dall’addestramento.
- Il divario di validazione è espresso nelle stesse unità. Un divario ampio e positivo può essere un segnale d’allarme, ma non prova il sovradattamento.
Per una metrica in cui un valore più basso è preferibile, come l’errore medio di previsione, inverti la sottrazione per esprimere il peggioramento come valore positivo: Divario di validazione = errore fuori campione − errore di addestramento. I campioni devono essere comparabili e i dati esclusi non devono aver influenzato la selezione del modello. Nei dati di mercato ordinati nel tempo, testare il modello su osservazioni successive è spesso più informativo che mescolare casualmente osservazioni passate e future.
Esempio svolto
Supponiamo, a titolo ipotetico, che un modello stimi se un ordine su un titolo verrà eseguito entro un intervallo di tempo specificato. Gli esempi seguenti sono inventati e non costituiscono prove sulle prestazioni di alcun modello reale.
- Uno sviluppatore addestra il modello su 100 ordini storici. Ne classifica correttamente 90:
90 ÷ 100 = 90%di accuratezza sui dati di addestramento. - Lo sviluppatore valuta quindi il modello, senza modificarlo, su 100 ordini successivi non utilizzati per addestrarlo o selezionarlo. Ne classifica correttamente 60:
60 ÷ 100 = 60%di accuratezza fuori campione. - Il divario di validazione è
90% − 60% = 30 punti percentuali.
Questo divario solleva dubbi sulla capacità di generalizzazione, ma non ne dimostra la causa: gli ordini successivi potrebbero differire per liquidità, tipologia, condizioni di mercato o qualità dei dati. Inoltre, l’accuratezza non rivela se le probabilità stimate dal modello siano ben calibrate né se alcuni errori sugli ordini siano più rilevanti di altri.
Perché è importante prima di fare trading
Una decisione pre-trade può dipendere da stime di costi, rischi, condizioni di esecuzione e probabilità generate da modelli. Se una stima è sovradattata, un’apparente precisione può nascondere l’incertezza. Una probabilità non è una promessa e un risultato storico positivo non sostituisce una verifica su dati realmente separati.
È utile chiedersi se la valutazione abbia utilizzato osservazioni successive e mai impiegate prima; se siano state applicate sempre le stesse metriche e ipotesi; e se i risultati reggano per i titoli e le condizioni di mercato rilevanti. Provare ripetutamente modelli su un insieme di test che si ritiene intatto può trasformare anche quell’insieme in parte del processo di addestramento.
Come lo utilizza PreTrAIde
PreTrAIde fornisce analisi pre-trade su un paniere di titoli proposto prima che l’utente inserisca un ordine. Il suo livello quantitativo deterministico e riproducibile stima, tra le altre cose, spread, impatto sul mercato, volatilità giornaliera e VaR a un giorno al 95%. Gli agenti IA ragionano a partire da punteggi quantitativi, notizie e giudizi degli analisti; i meccanismi di controllo correggono gli output che contraddicono le condizioni dei dati specificate.
Le informazioni sul prodotto non indicano che PreTrAIde calcoli un punteggio di sovradattamento né descrivono risultati di validazione fuori campione. La probabilità di successo è una stima del modello compresa tra il 5% e il 95%, non una garanzia né una previsione di rendimento. I verdetti dell’analisi sono un supporto alle decisioni, non raccomandazioni.
Errori comuni
- Considerare l’adattamento storico una prova di affidabilità futura. Un backtest può riflettere scelte adattate agli stessi dati.
- Far trapelare informazioni future nel test. Usare dati non disponibili al momento della decisione può rendere i risultati artificialmente positivi.
- Ottimizzare sul set di test. Modifiche ripetute basate sui risultati del test ne compromettono l’indipendenza.
- Definire sovradattamento qualsiasi divario. Anche cambiamenti nelle condizioni di mercato, campioni ridotti ed errori di misurazione possono spiegare le differenze.
- Confondere accuratezza e calibrazione. Un modello può classificare correttamente molti casi e assegnare comunque probabilità fuorvianti.