Che cosa significa
Una stima probabilistica è ben calibrata quando gli esiti si verificano con una frequenza simile a quella indicata dalla stima. Se un modello assegna una probabilità del 70% a molti eventi comparabili, su un campione sufficientemente ampio e rappresentativo dovrebbero verificarsi all’incirca il 70% di quegli eventi. Una singola previsione al 70% non può essere verificata sulla base di un solo esito.
Per valutare la calibrazione occorre definire un evento specifico, un orizzonte temporale e una regola per registrare l’esito. Nel trading azionario, per “successo” si potrebbe intendere una condizione definita per un’esecuzione proposta oppure un successivo esito di mercato: si tratta di eventi diversi. Se non si sa quale evento è stato previsto, è difficile valutare una percentuale. La calibrazione non indica se un’operazione sarà redditizia, se i costi sono accettabili o se il rischio è adeguato alla situazione dell’investitore.
Come si calcola
Un controllo pratico consiste nel raggruppare le previsioni passate per fasce di probabilità e confrontare la previsione media di ogni fascia con la frequenza degli esiti osservati:
scarto di calibrazione = |(somma delle probabilità previste / n) − (numero di successi osservati / n)|
- Probabilità prevista: la stima del modello per l’evento definito, espressa come numero decimale; il 70% equivale a 0,70.
- Successo osservato: un esito registrato come 1 se l’evento definito si è verificato e come 0 altrimenti.
- n: il numero di previsioni nella fascia.
- Scarto di calibrazione: la differenza assoluta tra la previsione media e la frequenza degli esiti positivi, espressa in unità di probabilità. Moltiplicala per 100 per esprimerla in punti percentuali.
Uno scarto più basso è preferibile per quella fascia, ma non dimostra che il modello sia ben calibrato nel complesso. Gli analisti esaminano anche più fasce, dimensioni dei campioni, cambiamenti delle condizioni di mercato e somiglianza tra i casi valutati e quelli futuri. Un modello può avere uno scarto aggregato contenuto e, al contempo, fornire probabilità fuorvianti per specifici gruppi.
Esempio svolto
Supponiamo, in via ipotetica, che un modello assegni una probabilità del 70% a ciascuno di 100 casi pre-trade indipendenti e comparabili, sottoposti a revisione. L’evento e il periodo di osservazione vengono specificati prima di verificare gli esiti. In seguito, 60 casi soddisfano la definizione dell’evento.
- Somma le previsioni: 100 × 0,70 = 70; dividi per 100 per ottenere una probabilità media prevista pari a 0,70.
- Calcola la frequenza osservata: 60 ÷ 100 = 0,60, cioè il 60%.
- Calcola lo scarto: |0,70 − 0,60| = 0,10, ovvero 10 punti percentuali.
In questo gruppo ipotetico, la frequenza prevista supera quella osservata. Questo dato, da solo, non chiarisce il motivo: il campione potrebbe non essere rappresentativo, l’evento potrebbe essere registrato in modo incoerente oppure le condizioni potrebbero essere cambiate. Un altro gruppo potrebbe presentare uno scarto diverso.
Perché è importante prima di fare trading
Una probabilità può sembrare precisa anche quando il suo rapporto con gli esiti effettivi è incerto. Sapere che cosa misura e come si sono comportate previsioni comparabili aiuta l’investitore privato a interpretarla come una stima, non come una promessa. La calibrazione è distinta dalla capacità discriminante: un modello può ordinare efficacemente i casi a rischio più alto e più basso, ma assegnare probabilità sistematicamente troppo alte o troppo basse.
Nei controlli di calibrazione bisogna inoltre evitare di selezionare soltanto i casi su cui si è intervenuti, senza tenere conto di quelli scartati. I due gruppi possono essere diversi e l’assenza di esiti può alterare il confronto. Una buona calibrazione passata non garantisce che le probabilità restino calibrate al variare della liquidità, della volatilità o dei dati disponibili.
Come lo usa PreTrAIde
PreTrAIde fornisce, per ogni verdetto relativo a un basket e a una singola linea, una probabilità di successo stimata dal modello compresa tra 5% e 95%. Non è una garanzia né una previsione di rendimento. L’analisi pre-trade include anche una valutazione del rischio, una strategia di esecuzione suggerita e una spiegazione in linguaggio semplice. I punteggi quantitativi costituiscono la base dell’analisi AI e le regole di salvaguardia declassano un verdetto GO quando la probabilità di successo è inferiore al 50%.
Le informazioni sul prodotto non specificano un metodo di calibrazione, uno scarto di calibrazione misurato né affermano che queste probabilità siano calibrate. PreTrAIde Memory può usare gli esiti delle operazioni registrati per personalizzare le analisi successive a livello AI; i punteggi quantitativi restano identici. La personalizzazione non va confusa con una prova di calibrazione delle probabilità.
Errori comuni
- Considerare il 70% un risultato garantito: indica l’incertezza relativa a un evento definito, non l’esito di un singolo caso.
- Confondere la calibrazione con la redditività: la probabilità di un evento ben calibrata, da sola, non dice nulla su guadagni, perdite o costi di transazione.
- Confrontare eventi diversi: le previsioni e gli esiti osservati devono riferirsi alla stessa definizione di evento e allo stesso orizzonte temporale.
- Valutare una sola fascia o un campione minuscolo: una sola media può nascondere errori rilevanti altrove e, con campioni ridotti, le frequenze osservate sono soggette a molta variabilità.
- Supporre che le salvaguardie dimostrino la calibrazione: limitare l’intervallo di una probabilità o correggere un verdetto contraddittorio non equivale a confrontare le frequenze previste con gli esiti osservati.