Overanpassung

Was es bedeutet

Ein Trading-Modell kann auf historischen Daten überzeugend wirken und bei noch nicht bekannten Beobachtungen trotzdem schlecht abschneiden. Genau das ist die zentrale Sorge bei Overfitting (Überanpassung). Das Modell hat möglicherweise Rauschen, eine vorübergehende Marktlage oder Stichprobeneigenheiten gelernt statt eines dauerhaft bestehenden Zusammenhangs.

Overfitting kann ein Kursmodell, eine Schätzung der Ausführungskosten, eine Risikoschätzung oder eine KI-generierte Einschätzung betreffen. Es kann auch ohne komplexe KI entstehen: Wer eine einfache Handelsregel immer wieder anpasst, bis ihre historischen Ergebnisse attraktiv aussehen, schafft dasselbe Problem. Eine gute Anpassung an historische Daten allein belegt nicht, dass ein Modell auch mit künftigen Daten funktioniert.

Berechnung

Für Overfitting gibt es keine allgemein gültige Kennzahl. Ein nützlicher Diagnosewert ist die Validierungslücke: die Differenz zwischen dem Ergebnis eines Modells auf den Daten, mit denen es angepasst wurde, und seinem Ergebnis auf separaten, bislang ungesehenen Daten. Wenn größere Werte der gewählten Kennzahl eine bessere Leistung bedeuten, gilt:

Validierungslücke = Trainingskennzahl − Out-of-Sample-Kennzahl

• Trainingskennzahl ist die ausgewählte Leistungskennzahl, berechnet anhand der Daten, die zum Anpassen des Modells verwendet wurden.
• Out-of-Sample-Kennzahl ist dieselbe Kennzahl in denselben Einheiten, berechnet anhand von Daten, die bei der Anpassung nicht verwendet wurden.
• Validierungslücke wird in denselben Einheiten angegeben. Eine große positive Lücke kann ein Warnsignal sein, beweist aber kein Overfitting.

Bei einer Kennzahl, bei der kleinere Werte besser sind, etwa beim durchschnittlichen Prognosefehler, wird die Subtraktion umgekehrt, damit eine Verschlechterung als positive Zahl erscheint: Validierungslücke = Out-of-Sample-Fehler − Trainingsfehler. Die Stichproben müssen vergleichbar sein, und die zurückgehaltenen Daten dürfen die Modellauswahl nicht beeinflusst haben. Bei zeitlich geordneten Marktdaten ist ein Test mit späteren Beobachtungen oft aussagekräftiger, als vergangene und künftige Beobachtungen zufällig zu mischen.

Rechenbeispiel

Angenommen, ein Modell schätzt, ob eine Aktienorder innerhalb einer bestimmten Zeit ausgeführt wird. Die folgenden Beispiele sind erfunden und keine Belege für die Leistung eines tatsächlich eingesetzten Modells.

1. Eine Entwicklerin passt das Modell anhand von 100 historischen Orders an. 90 davon klassifiziert es korrekt: 90 ÷ 100 = 90 % Trefferquote auf den Trainingsdaten.
2. Anschließend bewertet sie das unveränderte Modell anhand von 100 späteren Orders, die weder zum Anpassen noch zur Auswahl des Modells verwendet wurden. 60 davon klassifiziert es korrekt: 60 ÷ 100 = 60 % Out-of-Sample-Trefferquote.
3. Die Validierungslücke beträgt 90 % − 60 % = 30 Prozentpunkte.

Diese Lücke wirft die Frage auf, wie gut sich die Ergebnisse verallgemeinern lassen. Sie belegt nicht die Ursache: Die späteren Orders können sich hinsichtlich Liquidität, Ordertyp, Marktbedingungen oder Datenqualität unterscheiden. Die Trefferquote zeigt außerdem nicht, ob die Wahrscheinlichkeitsangaben des Modells gut kalibriert sind oder ob Fehler bei bestimmten Orders schwerer wiegen als andere.

Warum es vor dem Handel wichtig ist

Eine Pre-Trade-Entscheidung kann von geschätzten Kosten und Risiken, Ausführungsbedingungen sowie modellbasierten Wahrscheinlichkeiten abhängen. Ist eine Schätzung überangepasst, kann scheinbare Präzision die Unsicherheit verschleiern. Eine Wahrscheinlichkeit ist keine Zusage, und ein starkes historisches Ergebnis ersetzt keine Prüfung anhand tatsächlich unabhängiger Daten.

Wichtige Fragen: Wurden spätere, unberührte Beobachtungen zur Bewertung herangezogen? Wurden durchgehend dieselbe Kennzahl und dieselben Annahmen verwendet? Bleiben die Ergebnisse für relevante Aktien und Marktbedingungen bestehen? Wer Modelle wiederholt anhand eines vermeintlich unberührten Testdatensatzes ausprobiert, macht diesen Datensatz womöglich selbst zum Teil des Anpassungsprozesses.

Verwendung bei PreTrAIde

PreTrAIde bietet eine Pre-Trade-Analyse für einen vorgeschlagenen Aktienkorb, bevor Nutzer eine Order platzieren. Die deterministische, reproduzierbare quantitative Komponente schätzt unter anderem Geld-Brief-Spanne, Markteinfluss, tägliche Volatilität und den Ein-Tages-Value-at-Risk zum 95-%-Konfidenzniveau. Die KI-Agenten werten quantitative Kennzahlen, Nachrichten und Analystenbewertungen aus; Leitplanken korrigieren Ausgaben, die den vorgegebenen Datenbedingungen widersprechen.

Die Produktangaben nennen weder eine von PreTrAIde berechnete Overfitting-Kennzahl noch Ergebnisse einer Out-of-Sample-Validierung. Die Erfolgswahrscheinlichkeit ist eine Modellschätzung zwischen 5 % und 95 %, keine Garantie und keine Renditeprognose. Die Analyseurteile GO / NO-GO / MODIFY dienen der Entscheidungsunterstützung und sind keine Empfehlungen.

Häufige Fehler

• Historische Anpassung mit künftiger Zuverlässigkeit gleichsetzen. Ein Backtest kann Ergebnisse widerspiegeln, die gezielt auf dieselben Daten zugeschnitten wurden.
• Zukunftsinformationen in den Test einfließen lassen. Daten, die zum Entscheidungszeitpunkt noch nicht verfügbar waren, können Ergebnisse künstlich verbessern.
• Das Testset wiederholt zur Abstimmung verwenden. Wiederholte Anpassungen anhand von Testergebnissen untergraben dessen Unabhängigkeit.
• Jede Abweichung als Overfitting bezeichnen. Auch veränderte Marktbedingungen, kleine Stichproben und Messfehler können Unterschiede erklären.
• Trefferquote mit Kalibrierung verwechseln. Ein Modell kann viele Fälle richtig klassifizieren und dennoch irreführende Wahrscheinlichkeiten ausgeben.