Qué significa
Un modelo de trading puede parecer convincente con datos históricos y, aun así, rendir mal con observaciones que nunca ha visto. Esa es la principal preocupación del sobreajuste. El modelo puede haber aprendido ruido, una condición temporal del mercado o detalles propios de la muestra, en lugar de una relación que se mantenga en el tiempo.
El sobreajuste puede afectar a un modelo de precios, una estimación de costes de ejecución, una estimación de riesgo o una evaluación generada por IA. También puede darse sin una IA compleja: ajustar repetidamente una regla de trading sencilla hasta que sus resultados históricos parezcan atractivos crea el mismo problema. Un buen ajuste a los datos históricos, por sí solo, no demuestra que el modelo vaya a funcionar con datos futuros.
Cómo se calcula
No existe una medida universal única del sobreajuste. Un indicador útil es la brecha de validación: la diferencia entre el resultado del modelo con los datos utilizados para ajustarlo y el resultado con datos distintos que no ha visto. Si los valores más altos de la métrica elegida indican un mejor rendimiento, se calcula así:
Brecha de validación = métrica de entrenamiento − métrica fuera de muestra
- Métrica de entrenamiento: medida de rendimiento elegida, calculada sobre los datos utilizados para ajustar el modelo.
- Métrica fuera de muestra: la misma medida, en las mismas unidades, calculada sobre datos excluidos del ajuste.
- Brecha de validación: se expresa en esas mismas unidades. Una brecha positiva elevada puede ser una señal de alerta, pero no demuestra que exista sobreajuste.
Si se trata de una métrica en la que un valor menor es mejor, como el error medio de predicción, invierte la resta para expresar el deterioro como un número positivo: Brecha de validación = error fuera de muestra − error de entrenamiento. Las muestras deben ser comparables y los datos excluidos no deben haber influido en la selección del modelo. En datos de mercado ordenados en el tiempo, suele ser más informativo probar el modelo con observaciones posteriores que mezclar aleatoriamente datos pasados y futuros.
Ejemplo práctico
Imaginemos que un modelo estima si una orden sobre una acción se ejecutará dentro de un plazo determinado. Los siguientes ejemplos son inventados y no constituyen evidencia sobre ningún modelo en uso.
- Un desarrollador ajusta el modelo con 100 órdenes históricas. Clasifica correctamente 90:
90 ÷ 100 = 90 %de precisión en entrenamiento. - A continuación, el desarrollador evalúa el modelo, sin modificarlo, con 100 órdenes posteriores que no se utilizaron para ajustarlo ni seleccionarlo. Clasifica correctamente 60:
60 ÷ 100 = 60 %de precisión fuera de muestra. - La brecha de validación es
90 % − 60 % = 30 puntos porcentuales.
Esa brecha plantea dudas sobre la capacidad de generalización. No demuestra cuál es la causa: las órdenes posteriores podrían diferir en liquidez, tipo de orden, condiciones de mercado o calidad de los datos. La precisión tampoco permite saber si las probabilidades del modelo están bien calibradas o si ciertos errores en determinadas órdenes tienen más importancia que otros.
Por qué importa antes de operar
Una decisión previa a la operación puede depender de los costes estimados, los riesgos, las condiciones de ejecución y las probabilidades generadas por un modelo. Si una estimación tiene sobreajuste, una aparente precisión puede ocultar la incertidumbre. Una probabilidad no es una promesa, y un buen resultado histórico no sustituye las pruebas con datos realmente independientes.
Conviene preguntarse si la evaluación se hizo con observaciones posteriores que no se habían utilizado; si se aplicaron la misma métrica y los mismos supuestos en todo el proceso; y si los resultados se mantienen en distintas acciones y condiciones de mercado relevantes. Probar modelos repetidamente con un conjunto de prueba supuestamente intacto puede acabar convirtiendo ese conjunto en parte del proceso de ajuste.
Cómo lo utiliza PreTrAIde
PreTrAIde ofrece análisis previo a la operación de una cesta de acciones propuesta, antes de que el usuario introduzca una orden. Su capa cuantitativa determinista y reproducible estima, entre otras medidas, el diferencial, el impacto de mercado, la volatilidad diaria y el valor en riesgo a un día al 95 %. Sus agentes de IA razonan a partir de puntuaciones cuantitativas, noticias y calificaciones de analistas; las salvaguardas corrigen resultados que contradicen las condiciones de datos especificadas.
La información del producto no indica que PreTrAIde calcule una puntuación de sobreajuste ni describe resultados de validación fuera de muestra. Su probabilidad de éxito es una estimación del modelo acotada entre el 5 % y el 95 %, no una garantía ni una previsión de rentabilidad. Los veredictos del análisis sirven de apoyo a la decisión y no son recomendaciones.
Errores frecuentes
- Confundir un buen ajuste histórico con fiabilidad futura. Un backtest puede reflejar decisiones adaptadas a los mismos datos.
- Filtrar información futura en las pruebas. Incluir datos que no estaban disponibles en el momento de la decisión puede inflar artificialmente los resultados.
- Ajustar el modelo al conjunto de prueba. Hacer cambios repetidos a partir de sus resultados socava su independencia.
- Considerar sobreajuste cualquier diferencia. Los cambios en las condiciones del mercado, las muestras pequeñas y los errores de medición también pueden explicar las diferencias.
- Confundir precisión con calibración. Un modelo puede clasificar correctamente muchos casos y, aun así, asignar probabilidades engañosas.