Backtest-Overfitting: Wenn die Vergangenheit zu gut aussieht

Fortgeschritten10 Min. Lesezeit · aktualisiert am 15. September 2026 · 9 Quellen

Backtest-Overfitting heißt: Eine Strategie ist so lange an die Vergangenheit angepasst worden, bis sie dort glänzt. Danach versagt sie. Hinzu kommen Verzerrungen in den Daten selbst: Fonds, die es nicht mehr gibt, fehlen; Informationen werden verwendet, die damals noch niemand hatte. Dieser Artikel zeigt, woran man solche Backtests erkennt und wie man sich schützt.

Das Grundproblem: Viele Versuche, ein Gewinner

Ein Backtest ist eine Simulation: Wie hätte eine Regel in der Vergangenheit abgeschnitten? Jede einzelne Simulation ist harmlos. Gefährlich wird es, wenn man viele Varianten ausprobiert (andere Zeitfenster, andere Schwellen, andere Anlagen) und am Ende nur die beste zeigt. Dann misst das Ergebnis vor allem, wie viel Glück die beste von vielen Varianten hatte.

Statistisch ist das ein Problem multipler Tests (Multiple Testing). Ein einzelner Test mit 5 % Irrtumswahrscheinlichkeit findet bei einer wertlosen Strategie in 5 % der Fälle zufällig ein „signifikantes“ Ergebnis. Bei vielen unabhängigen Tests wird ein solcher Zufallstreffer fast sicher:

Wie hoch ist die beste Sharpe Ratio aus Zufall?

Bailey und López de Prado (2014) geben eine Näherung für die erwartete höchste Sharpe Ratio unter N Strategien, die in Wahrheit alle eine Sharpe Ratio von null haben. Sie hängt nur von der Zahl der Versuche und vom Standardfehler der Sharpe Ratio ab, und der ist bei T Jahren Daten ungefähr 1 / √T.

Ein konkreter Fall: Du testest eine Trendregel mit gleitendem Durchschnitt und probierst alle Fensterlängen von 2 bis 24 Monaten aus, also 23 Varianten. Bei 20 Jahren Daten liegt der Standardfehler bei 0,22, und die beste von 23 unabhängigen Varianten käme schon durch Zufall auf eine Sharpe Ratio um 0,44. Die Varianten sind allerdings stark voneinander abhängig (ein Fenster von 9 Monaten verhält sich ähnlich wie eines von 10). Die effektive Zahl unabhängiger Versuche ist also kleiner. Trotzdem: Die gemessene Überlegenheit des besten Fensters ist nach oben verzerrt.

Die drei klassischen Verzerrungen

Survivorship Bias: Nur die Überlebenden

Datenbanken enthalten oft nur Fonds und Aktien, die es heute noch gibt. Fonds mit schlechten Ergebnissen werden aber häufiger geschlossen oder verschmolzen. Wer aus den heutigen Fonds auswählt und ihre Vergangenheit testet, sieht eine geschönte Welt. Brown u. a. (1992) zeigen, dass diese Verzerrung nicht nur das Niveau der Renditen, sondern auch Rangfolgen und scheinbare Beständigkeit von Managern verfälscht. Malkiel (1995) fand mit einem Datensatz aller damals existierenden Aktienfonds, dass die Verzerrung größer war als in früheren Studien angenommen und dass die Fonds im Schnitt hinter ihren Vergleichsportfolios lagen.

Look-ahead-Bias: Wissen aus der Zukunft

Ein Backtest darf zu jedem Zeitpunkt nur verwenden, was damals bekannt war. Typische Verstöße: Unternehmensgewinne, die erst Wochen nach dem Quartalsende veröffentlicht werden, aber schon am Quartalsende in die Rechnung eingehen; Wirtschaftsdaten in der revidierten statt der damals gemeldeten Fassung; Indexzusammensetzungen von heute für die Vergangenheit; Parameter, die mit der ganzen Historie geschätzt und dann auf dieselbe Historie angewendet werden.

Selektion und Veröffentlichung

Auch ohne eigenes Ausprobieren entsteht Auswahl: Veröffentlicht werden die Strategien, die funktioniert haben. Fondsanbieter legen neue Produkte bevorzugt auf Themen auf, die zuvor gut liefen. Werbung zeigt den Zeitraum, der am besten aussieht. Bailey und López de Prado (2014) nennen das Selection Bias: Ergebnisse werden ohne die Zahl der Versuche berichtet.

Was die Forschung zeigt: der Faktor-Zoo

So beschrieb Cochrane (2011) in seiner Rede als Präsident der American Finance Association die Lage der Faktorforschung. Harvey u. a. (2016) zogen die statistische Konsequenz: Bei Hunderten von Arbeiten und Faktoren ist ein t-Wert von 2 als Hürde zu niedrig. Ein neuer Faktor müsse einen t-Wert über 3,0 überspringen; viele behauptete Entdeckungen der Finanzforschung seien wahrscheinlich falsch.

McLean und Pontiff (2016) haben 97 veröffentlichte Variablen untersucht, die Aktienrenditen im Querschnitt vorhersagen sollten. Die Renditen der zugehörigen Portfolios waren außerhalb der ursprünglichen Stichprobe 26 % niedriger und nach der Veröffentlichung 58 % niedriger. Den ersten Teil deuten die Autoren als Obergrenze für Data Mining, den Rest als Folge davon, dass Anleger die veröffentlichten Muster handeln.

Für einzelne Strategien haben Bailey und López de Prado (2014) die Deflated Sharpe Ratio entwickelt: Sie korrigiert die gemessene Sharpe Ratio für die Zahl der Versuche und für nicht normalverteilte Renditen. Bailey u. a. (2016) schätzen mit der Combinatorially Symmetric Cross-Validation (CSCV) die Probability of Backtest Overfitting (PBO): Wie oft fällt die im ersten Teil der Daten beste Variante im zweiten Teil unter den Median aller Varianten? Wie das Verfahren alle Teilungen der Daten in zwei gleich große Hälften durchgeht, zeigt der Artikel Probability of Backtest Overfitting mit einem Rechenbeispiel.

Für Fortgeschrittene: Gegenmittel

1. Zahl der Versuche notieren: Jede getestete Variante zählt, auch die verworfenen. Ohne diese Zahl lässt sich ein Ergebnis nicht einordnen.
2. Hürde anheben: Sharpe Ratio mit dem erwarteten Maximum aus Zufall vergleichen oder die Deflated Sharpe Ratio verwenden; t-Werte über 3 statt über 2 verlangen.
3. Außerhalb der Stichprobe testen: Parameter nur mit Daten bis zu einem Zeitpunkt wählen und danach unverändert anwenden, und zwar rollierend (walk-forward) über viele Zeitpunkte. Ein einmaliger Hold-out-Zeitraum ist besser als nichts, wird aber durch wiederholtes Nachschauen selbst zur Stichprobe.
4. Robustheit prüfen: Funktioniert die Regel auch mit benachbarten Parametern, in anderen Märkten, anderen Jahrzehnten und mit Handelskosten? Ein einzelner Gipfel in einem Parametergitter ist verdächtig, ein breites Plateau weniger.
5. Ökonomische Begründung verlangen: Warum sollte die Prämie bestehen bleiben? Risiko, Verhalten oder Beschränkungen anderer Anleger? Ohne Erklärung ist ein Muster eher Zufall.
6. Daten prüfen: Datenbanken nur mit überlebenden Titeln (Survivorship Bias), Veröffentlichungsverzögerungen und Revisionen beachten; Kursreihen auf Sprünge und eingefrorene Werte prüfen.

Für die Sharpe Ratio selbst gilt zusätzlich: Ihr Standardfehler ist groß (Lo 2002). Selbst ohne jedes Ausprobieren ist eine Sharpe Ratio von 0,5 nach zehn Jahren statistisch kaum von null zu unterscheiden. López de Prado (2018) beschreibt weitere Verfahren, etwa die Purged Cross-Validation für Zeitreihen, bei der Beobachtungen rund um die Testperiode aus dem Training entfernt werden.

Checkliste für fremde Backtests

• Wie viele Varianten wurden getestet, und wird das offen genannt?
• Beginnt und endet der Zeitraum an auffälligen Stellen, etwa kurz nach einem Crash oder auf einem Höchststand?
• Sind Handelskosten, Steuern und eine realistische Ausführung (frühestens am nächsten Tag) berücksichtigt?
• Enthält der Datensatz auch aufgelöste Fonds und aus dem Index gefallene Aktien?
• Werden nur Daten verwendet, die zum jeweiligen Zeitpunkt veröffentlicht waren?
• Hält das Ergebnis in anderen Märkten, anderen Jahrzehnten und mit leicht veränderten Parametern?
• Gibt es eine einleuchtende Begründung, warum die Prämie fortbestehen sollte?

Grenzen der Gegenmittel

• Zu streng ist auch falsch: Wer jede Prämie als Zufall abtut, übersieht echte, gut begründete Effekte wie die Marktprämie. Die Statistik kann nur Wahrscheinlichkeiten liefern.
• Die Zukunft ist kein weiterer Datenpunkt: Auch ein ehrlich getesteter Effekt kann verschwinden, wenn sich Märkte, Regeln oder Teilnehmer ändern.
• Abhängige Versuche: Formeln wie oben setzen unabhängige Versuche voraus. Bei ähnlichen Varianten muss man die effektive Zahl schätzen. Das ist ein eigener Unsicherheitsfaktor.

So rechnet Portfolio Lab

Portfolio Lab kann Overfitting nicht verhindern, aber einige Verzerrungen klein halten. In der Taktik berechnet jedes Modell seine Signale nur mit Kursen bis zum jeweiligen Monatsende; umgesetzt wird zum Schlusskurs desselben Monatsendes. Das ist eine leicht optimistische Annahme, denn in der Praxis handelt man frühestens am nächsten Tag. Das Bewertungsmodell nach dem Shiller-CAPE rechnet mit einem Monat Verzögerung. In der Optimierung schätzt der Modus „rollierend“ die Gewichte nur mit den Daten bis zum jeweiligen Zeitpunkt und zeigt so ein Ergebnis außerhalb der Stichprobe. Der Reiter Overfitting-Check im Ergebnis des Backtests rechnet die Deflated Sharpe Ratio und die Probability of Backtest Overfitting über deine Portfolios; in der Taktik prüft ein eigener Reiter ein Raster von Parametern des gewählten Modells mit CSCV (Methodik).

Zu beachten: Die Wertpapier-Datenbank enthält heute handelbare Wertpapiere. Wer Fonds daraus auswählt und zurücktestet, hat einen Survivorship Bias, denn geschlossene Fonds fehlen. Die Datenprüfung meldet Auffälligkeiten in Kursreihen wie Sprünge, eingefrorene Kurse und Lücken als Hinweis, korrigiert sie aber nicht. Wie Backtests im Einzelnen gerechnet werden, steht in der Methodik des Backtests und der Datenprüfung.

Dieser Artikel erklärt eine Methode; er ist keine Anlage- oder Steuerberatung. Zahlenbeispiele sind vereinfacht und gerundet. Alle Begriffe im Glossar.