Modellkalibrierung

Bedeutung

Eine Wahrscheinlichkeitsschätzung ist gut kalibriert, wenn Ereignisse ungefähr so häufig eintreten, wie es die Schätzung nahelegt. Weist ein Modell vielen vergleichbaren Ereignissen eine Wahrscheinlichkeit von 70 % zu, sollten bei einer ausreichend großen, repräsentativen Stichprobe ungefähr 70 % dieser Ereignisse eintreten. Eine einzelne Prognose von 70 % lässt sich nicht anhand eines einzigen Ergebnisses überprüfen.

Für die Kalibrierung müssen ein konkretes Ereignis, ein Zeithorizont und eine Regel zur Erfassung des Ergebnisses festgelegt sein. Im Aktienhandel könnte ein „Erfolg“ eine Bedingung für eine geplante Ausführung oder ein späteres Marktergebnis bedeuten – das sind unterschiedliche Ereignisse. Ohne zu wissen, welches Ereignis prognostiziert wurde, lässt sich eine Prozentangabe nur schwer beurteilen. Die Kalibrierung sagt nicht aus, ob ein Trade profitabel ist, ob seine Kosten vertretbar sind oder ob sein Risiko zur Situation eines Anlegers passt.

Berechnung

Eine praktische Prüfung fasst frühere Prognosen in Wahrscheinlichkeitsklassen zusammen und vergleicht den Durchschnitt der Prognosen je Klasse mit der beobachteten Erfolgsquote:

Kalibrierungsabweichung = |(Summe der vorhergesagten Wahrscheinlichkeiten / n) − (Anzahl der beobachteten Erfolge / n)|

• Vorhergesagte Wahrscheinlichkeit: Die Schätzung des Modells für das definierte Ereignis, als Dezimalzahl ausgedrückt; 70 % entsprechen 0,70.
• Beobachteter Erfolg: Ein Ergebnis, das mit 1 erfasst wird, wenn das definierte Ereignis eingetreten ist, andernfalls mit 0.
• n: Anzahl der Prognosen in der jeweiligen Klasse.
• Kalibrierungsabweichung: Die absolute Differenz zwischen der durchschnittlichen Prognose und der beobachteten Erfolgsquote, angegeben als Wahrscheinlichkeit. Mit 100 multipliziert ergibt sich die Abweichung in Prozentpunkten.

Eine geringere Abweichung ist für die jeweilige Klasse besser, beweist aber nicht, dass das Modell insgesamt gut kalibriert ist. Analysten untersuchen auch mehrere Klassen, Stichprobengrößen, veränderte Marktbedingungen und die Frage, ob die geprüften Fälle den künftigen Fällen ähneln. Ein Modell kann insgesamt eine geringe Abweichung aufweisen und dennoch für bestimmte Gruppen irreführende Wahrscheinlichkeiten liefern.

Rechenbeispiel

Angenommen, ein Modell weist hypothetisch 100 unabhängig geprüften, vergleichbaren Pre-Trade-Fällen jeweils eine Wahrscheinlichkeit von 70 % zu. Das Ereignis und der Prüfzeitraum werden festgelegt, bevor die Ergebnisse ausgewertet werden. Später erfüllen 60 Fälle die Definition des Ereignisses.

1. Prognosen addieren: 100 × 0,70 = 70; geteilt durch 100 ergibt sich eine durchschnittliche vorhergesagte Wahrscheinlichkeit von 0,70.
2. Beobachtete Quote berechnen: 60 ÷ 100 = 0,60 beziehungsweise 60 %.
3. Abweichung berechnen: |0,70 − 0,60| = 0,10 beziehungsweise 10 Prozentpunkte.

In dieser hypothetischen Gruppe liegt die vorhergesagte Häufigkeit über der beobachteten. Dieser Befund allein erklärt nicht, woran das liegt: Die Stichprobe könnte nicht repräsentativ sein, das Ereignis könnte uneinheitlich erfasst worden sein oder die Bedingungen könnten sich verändert haben. In einer anderen Gruppe könnte die Abweichung anders ausfallen.

Bedeutung vor dem Trade

Eine Wahrscheinlichkeit kann präzise wirken, obwohl unklar ist, wie zuverlässig sie mit tatsächlichen Ergebnissen zusammenhängt. Wenn ein Privatanleger weiß, was sie misst und wie sich vergleichbare Prognosen bewährt haben, kann er sie als Schätzung statt als Versprechen einordnen. Die Kalibrierung unterscheidet sich von der Trennschärfe: Ein Modell kann Fälle mit höherem und geringerem Risiko gut einstufen, während seine Wahrscheinlichkeiten systematisch zu hoch oder zu niedrig sind.

Bei der Kalibrierungsprüfung sollte außerdem vermieden werden, nur tatsächlich umgesetzte Fälle auszuwählen, ohne ausgelassene Fälle zu berücksichtigen. Diese Gruppen können sich unterscheiden; fehlende Ergebnisse können den Vergleich verzerren. Eine gute Kalibrierung in der Vergangenheit garantiert nicht, dass die Wahrscheinlichkeiten bei veränderter Liquidität, Volatilität oder Datenlage kalibriert bleiben.

Verwendung bei PreTrAIde

PreTrAIde gibt für jedes Basket- und Linienurteil eine modellgeschätzte Erfolgswahrscheinlichkeit zwischen 5 % und 95 % an. Sie ist weder eine Garantie noch eine Renditeprognose. Die Pre-Trade-Analyse umfasst außerdem eine Risikobewertung, eine vorgeschlagene Ausführungsstrategie und eine allgemein verständliche Begründung. Quantitative Kennzahlen bilden die Grundlage der KI-Analyse; Schutzmechanismen stufen ein GO-Urteil herab, wenn die Erfolgswahrscheinlichkeit unter 50 % liegt.

Die Produktangaben nennen weder eine Kalibrierungsmethode noch eine gemessene Kalibrierungsabweichung und erheben auch nicht den Anspruch, dass diese Wahrscheinlichkeiten kalibriert sind. PreTrAIde Memory kann erfasste Handelsergebnisse nutzen, um spätere Analysen auf der KI-Ebene zu personalisieren; die quantitativen Kennzahlen bleiben unverändert. Personalisierung ist nicht mit einem Nachweis der Wahrscheinlichkeitskalibrierung gleichzusetzen.

Häufige Fehler

• 70 % als garantiertes Ergebnis verstehen: Die Angabe beschreibt die Unsicherheit eines definierten Ereignisses, nicht den Ausgang eines einzelnen Falls.
• Kalibrierung mit Profitabilität verwechseln: Selbst eine gut kalibrierte Ereigniswahrscheinlichkeit sagt für sich genommen nichts über Gewinne, Verluste oder Transaktionskosten aus.
• Unterschiedliche Ereignisse vergleichen: Prognosen und beobachtete Ergebnisse müssen dieselbe Ereignisdefinition und denselben Zeithorizont verwenden.
• Anhand einer einzigen Klasse oder einer winzigen Stichprobe urteilen: Ein einzelner Durchschnitt kann große Fehler an anderer Stelle verdecken; bei kleinen Stichproben sind die beobachteten Quoten zudem stark zufallsbeeinflusst.
• Annehmen, dass Schutzmechanismen die Kalibrierung belegen: Eine begrenzte Wahrscheinlichkeitsspanne oder die Korrektur eines widersprüchlichen Urteils ist nicht dasselbe wie der Abgleich vorhergesagter Häufigkeiten mit tatsächlichen Ergebnissen.