Qué significa
Una estimación de probabilidad está bien calibrada cuando los resultados se producen aproximadamente con la frecuencia que sugiere la estimación. Si un modelo asigna una probabilidad del 70 % a muchos eventos comparables, aproximadamente el 70 % debería producirse en una muestra suficientemente amplia y representativa. Una predicción individual del 70 % no puede verificarse con un único resultado.
Para calibrar una probabilidad hay que definir el evento, el horizonte temporal y el criterio para registrar el resultado. En la negociación de acciones, el «éxito» podría ser una condición definida para una ejecución propuesta o un resultado posterior del mercado; no son el mismo evento. Si no se sabe qué evento se predijo, resulta difícil evaluar el porcentaje. La calibración no indica si una operación es rentable, si sus costes son aceptables o si su riesgo se ajusta a las circunstancias del inversor.
Cómo se calcula
Una comprobación práctica consiste en agrupar las predicciones pasadas por intervalos de probabilidad y comparar la predicción media de cada intervalo con la frecuencia observada del resultado:
brecha de calibración = |(suma de las probabilidades predichas / n) − (número de éxitos observados / n)|
- Probabilidad predicha: estimación del modelo para el evento definido, expresada como decimal; el 70 % es 0,70.
- Éxito observado: resultado registrado como 1 si se produjo el evento definido y como 0 en caso contrario.
- n: número de predicciones del intervalo.
- Brecha de calibración: diferencia absoluta entre la predicción media y la tasa de éxito observada, expresada en unidades de probabilidad. Multiplícala por 100 para expresarla en puntos porcentuales.
Una brecha menor es mejor para ese intervalo, pero no demuestra que el modelo esté bien calibrado en conjunto. Los analistas también examinan varios intervalos, el tamaño de las muestras, los cambios en las condiciones del mercado y si los casos evaluados se parecen a los futuros. Un modelo puede presentar una brecha agregada pequeña y, aun así, ofrecer probabilidades engañosas para determinados grupos.
Ejemplo práctico
Supongamos, de forma hipotética, que un modelo asigna un 70 % a cada uno de 100 casos preoperación comparables y revisados de forma independiente. El evento y el periodo de revisión se especifican antes de comprobar los resultados. Más adelante, 60 casos cumplen la definición del evento.
- Suma las predicciones: 100 × 0,70 = 70; divide entre 100 para obtener una probabilidad media predicha de 0,70.
- Calcula la tasa observada: 60 ÷ 100 = 0,60, o un 60 %.
- Calcula la brecha: |0,70 − 0,60| = 0,10, o 10 puntos porcentuales.
En este grupo hipotético, la frecuencia predicha supera la frecuencia observada. Este dato por sí solo no permite determinar el motivo: la muestra podría no ser representativa, el evento podría haberse registrado de forma inconsistente o las condiciones podrían haber cambiado. Otro grupo podría arrojar una brecha diferente.
Por qué importa antes de operar
Una probabilidad puede parecer precisa aunque su relación con los resultados reales sea incierta. Saber qué mide y cómo se han comportado predicciones comparables ayuda al inversor particular a interpretarla como una estimación, no como una promesa. La calibración es distinta de la capacidad de discriminación: un modelo puede ordenar eficazmente los casos de mayor y menor riesgo y, aun así, asignar probabilidades sistemáticamente demasiado altas o demasiado bajas.
Las comprobaciones de calibración también deben evitar seleccionar solo los casos en los que se operó sin tener en cuenta los casos que se descartaron. Esos grupos pueden ser distintos y la ausencia de resultados puede distorsionar la comparación. Que un modelo estuviera calibrado en el pasado no garantiza que vaya a seguir estándolo si cambian la liquidez, la volatilidad o los datos disponibles.
Cómo lo utiliza PreTrAIde
PreTrAIde proporciona una probabilidad estimada por el modelo de éxito de entre el 5 % y el 95 % junto con cada veredicto de cesta y de línea. No es una garantía ni una previsión de rentabilidad. El análisis preoperación también ofrece una evaluación del riesgo, una estrategia de ejecución sugerida y una explicación en lenguaje claro. Las puntuaciones cuantitativas sirven de base para el análisis de IA, y las salvaguardas rebajan un veredicto GO cuando la probabilidad de éxito es inferior al 50 %.
La información disponible sobre el producto no especifica un método de calibración ni una brecha de calibración medida, ni afirma que estas probabilidades estén calibradas. PreTrAIde Memory puede utilizar los resultados de operaciones registrados para personalizar análisis posteriores en la capa de IA; las puntuaciones cuantitativas no cambian. La personalización no debe confundirse con una prueba de calibración de probabilidades.
Errores habituales
- Interpretar el 70 % como un resultado garantizado: expresa la incertidumbre sobre un evento definido, no el resultado de un caso concreto.
- Confundir calibración con rentabilidad: por sí sola, una probabilidad bien calibrada de un evento no dice nada sobre ganancias, pérdidas o costes de transacción.
- Comparar eventos distintos: las predicciones y los resultados observados deben corresponder a la misma definición del evento y al mismo horizonte temporal.
- Juzgar por un único intervalo o una muestra minúscula: un promedio puede ocultar errores importantes en otros grupos, y las muestras pequeñas producen tasas observadas poco estables.
- Suponer que las salvaguardas demuestran la calibración: limitar el intervalo de probabilidades o corregir un veredicto contradictorio no equivale a comprobar las frecuencias predichas frente a los resultados.