Deflated Sharpe Ratio: Wie viel Können steckt in einer Sharpe Ratio?
Die Deflated Sharpe Ratio (DSR) beantwortet eine Frage, die eine gemessene Sharpe Ratio allein offenlässt: Wie wahrscheinlich steckt hinter dem Ergebnis echtes Können und nicht Glück, eine kurze Historie, schiefe Renditen oder die beste von vielen ausprobierten Varianten? Hier lernst du die Bausteine kennen: den Standardfehler mit Schiefe und Kurtosis, die Probabilistic Sharpe Ratio, die Minimum Track Record Length und den Haircut nach Harvey und Liu, jeweils mit nachgerechnetem Beispiel.
Warum eine Sharpe Ratio allein nicht reicht
Eine Sharpe Ratio aus historischen Renditen ist eine Schätzung. Drei Dinge machen sie unsicherer, als sie aussieht: Die Historie ist kurz, die Renditen sind nicht normalverteilt, und oft ist die gezeigte Strategie die beste von vielen getesteten. Der Artikel Backtest-Overfitting zeigt, wie hoch die beste Sharpe Ratio allein durch Zufall ausfällt, wenn alle Varianten in Wahrheit nichts können. Dieser Artikel geht einen Schritt weiter und rechnet aus, mit welcher Wahrscheinlichkeit eine konkrete Sharpe Ratio über einer Schwelle liegt. Dabei zählen Schiefe, Kurtosis und die Zahl der Versuche mit.
Der Standardfehler mit Schiefe und Kurtosis
Für unabhängige, normalverteilte Renditen hat Lo (2002) den Standardfehler der Sharpe Ratio hergeleitet. Sind die Renditen schief oder haben sie Fat Tails, kommen zwei Terme hinzu. In dieser Form, die auf eine Herleitung von Elmar Mertens zurückgeht, nutzen sie Bailey und López de Prado (2012); Opdyke (2007) leitet die Verteilung allgemein für nicht normalverteilte Renditen her:
σ̂(SR̂) = √((1 − γ̂₃ × SR̂ + (γ̂₄ − 1) / 4 × SR̂²) / (T − 1))- SR̂
- geschätzte Sharpe Ratio je Periode, nicht annualisiert
- γ̂₃
- Schiefe der Renditen
- γ̂₄
- Kurtosis der Renditen, bei der Normalverteilung 3 (nicht die Exzess-Kurtosis)
- T
- Zahl der Perioden
Bei der Normalverteilung ist γ₃ = 0 und γ₄ = 3; der Zähler wird zu 1 + SR̂² / 2, der Formel von Lo. Negative Schiefe und hohe Kurtosis vergrößern den Standardfehler. Genau diese Eigenschaften haben viele Strategien, die regelmäßig kleine Gewinne und selten große Verluste bringen.
Probabilistic Sharpe Ratio
Die Probabilistic Sharpe Ratio (PSR) von Bailey und López de Prado (2012) ist die Wahrscheinlichkeit, dass die wahre Sharpe Ratio über einer Schwelle SR* liegt, gegeben die geschätzte Sharpe Ratio, die Länge der Reihe sowie Schiefe und Kurtosis:
PSR(SR*) = Φ((SR̂ − SR*) × √(T − 1) / √(1 − γ̂₃ × SR̂ + (γ̂₄ − 1) / 4 × SR̂²))- SR*
- Schwelle je Periode, etwa 0 oder die Sharpe Ratio eines Vergleichsportfolios
- Φ
- Verteilungsfunktion der Standardnormalverteilung
Minimum Track Record Length
Stellt man die PSR nach T um, erhält man die Minimum Track Record Length (MinTRL): die Zahl der Perioden, nach der eine gemessene Sharpe Ratio mit der Sicherheit 1 − α über der Schwelle liegt (Bailey und López de Prado 2012).
MinTRL = 1 + (1 − γ̂₃ × SR̂ + (γ̂₄ − 1) / 4 × SR̂²) × (z_α / (SR̂ − SR*))²- z_α
- Quantil der Standardnormalverteilung, für 95 % rund 1,645
- SR̂ − SR*
- Abstand zur Schwelle; er geht quadratisch ein
Monatsdaten, Schwelle 0, Sicherheit 95 %, Formel von Bailey und López de Prado aus dem Abschnitt oben. Unter einer Sharpe Ratio von 0,5 braucht es schnell mehr als zehn Jahre; Schiefe und Fat Tails verlängern die nötige Historie zusätzlich.
Deflated Sharpe Ratio: viele Versuche einrechnen
Die PSR unterstellt, dass nur eine Strategie getestet wurde. Bailey und López de Prado (2014) ersetzen deshalb die Schwelle durch die Sharpe Ratio, die die beste von N Varianten ohne echten Vorteil erwarten lässt. Diese Schwelle SR₀ hängt von der Zahl der unabhängigen Versuche und von der Streuung ihrer Sharpe Ratios ab:
SR₀ = √V[SR_n] × ((1 − γ) × Φ⁻¹(1 − 1/N) + γ × Φ⁻¹(1 − 1/(N × e)))
DSR = PSR(SR₀)- V[SR_n]
- Varianz der Sharpe Ratios aller getesteten Varianten (je Periode)
- N
- Zahl der unabhängigen Versuche
- γ, e
- Euler-Mascheroni-Konstante (≈ 0,5772) und Eulersche Zahl
Im Artikel Backtest-Overfitting steht dieselbe Näherung mit dem Standardfehler 1 / √T; hier nimmt man die tatsächliche Streuung der Varianten. Bei zehn Jahren liegt sie unter der Annahme ohne Vorteil bei rund 0,3 p. a., und das Beispiel nutzt diesen Wert.
Sharpe Ratio 1,0 p. a., zehn Jahre Monatsdaten, Schiefe −0,8, Kurtosis 6 wie im Beispiel. Je mehr Varianten getestet wurden und je stärker ihre Sharpe Ratios streuen, desto weniger ist dieselbe Sharpe Ratio wert.
Schwierig ist in der Praxis die Zahl N. Ähnliche Varianten (etwa gleitende Durchschnitte über 9 und 10 Monate) sind nicht unabhängig; die effektive Zahl der Versuche ist kleiner als die Zahl der Läufe. Man schätzt sie, indem man ähnliche Varianten zu Gruppen zusammenfasst. Wer N zu klein ansetzt, überschätzt die DSR.
Haircut nach Harvey und Liu
Harvey und Liu (2015) gehen den Weg über Mehrfachtests: Sie rechnen die Sharpe Ratio in einen t-Wert und einen p-Wert um, korrigieren den p-Wert für die Zahl der Tests und rechnen zurück. Der prozentuale Abschlag heißt Haircut. Für die Korrektur gibt es mehrere Verfahren, etwa Bonferroni, Holm oder Verfahren für die Rate falscher Entdeckungen; das Beispiel zeigt Bonferroni, die einfachste Variante.
Für Fortgeschrittene: Annahmen und Erweiterungen
- Unabhängige Renditen: Alle Formeln setzen voraus, dass die Renditen unabhängig und gleich verteilt sind. Bei Autokorrelation (geglätteten Bewertungen, Trendstrategien) überzeichnet schon die Annualisierung mit √12 die Sharpe Ratio; Lo (2002) gibt einen Korrekturfaktor an (siehe Sharpe Ratio).
- Datenfrequenz: Nach Bailey und López de Prado (2012) profitieren Reihen mit negativer Schiefe und hoher Kurtosis davon, die Ergebnisse in der höchsten Frequenz auszuweisen, bei der die Renditen noch unabhängig sind.
- Unsichere Momente: Schiefe und vor allem Kurtosis sind aus 120 Monaten nur grob geschätzt; ein einzelner Crash-Monat verändert sie stark. Rechne PSR und MinTRL mit mehreren plausiblen Werten.
- Zwei Strategien vergleichen: Ob eine Sharpe Ratio signifikant über einer anderen liegt, prüft man mit einem Test für die Differenz, der die Korrelation der beiden Renditereihen berücksichtigt (Opdyke 2007).
- Mindestlänge eines Backtests: Bailey u. a. (2014) zeigen, wie schnell mit vielen Varianten eine hohe Sharpe Ratio im Backtest entsteht, und leiten ab, wie lang ein Backtest bei gegebener Zahl von Varianten mindestens sein muss.
- Overfitting direkt messen: Die Probability of Backtest Overfitting von Bailey u. a. (2016) prüft, wie oft die beste Variante eines Datenabschnitts in einem anderen höchstens im Median landet. Sie braucht keine Zahl unabhängiger Versuche, nur die Renditen aller Varianten.
Was die Forschung zeigt
Lo (2002) zeigte, dass Sharpe Ratios von Hedgefonds wegen autokorrelierter Monatsrenditen um bis zu 65 % überzeichnet sein können und sich Rangfolgen nach der Korrektur stark ändern. Bailey und López de Prado (2012) führten PSR und MinTRL ein und begründeten damit, dass Reihen mit negativer Schiefe und Fat Tails eine längere Historie brauchen. Bailey und López de Prado (2014) ergänzten die Korrektur für Selection Bias bei Mehrfachtests zur Deflated Sharpe Ratio. Für die Faktorforschung forderten Harvey u. a. (2016) t-Werte über 3,0 statt über 2, und Harvey und Liu (2015) übertrugen den Gedanken mit Haircut und Gewinnhürde auf einzelne Backtests. Gemeinsam ist allen Arbeiten die Botschaft: Ohne die Zahl der Versuche und die Länge der Reihe lässt sich eine Sharpe Ratio nicht einordnen.
Grenzen und typische Fehler
- Annualisierte Werte einsetzen: In alle Formeln gehört die Sharpe Ratio je Periode. Wer 1,0 statt 0,289 einsetzt, überschätzt die PSR massiv.
- Exzess-Kurtosis statt Kurtosis: Die Formeln brauchen die Kurtosis, bei der Normalverteilung 3. Wird die Exzess-Kurtosis eingesetzt, fällt der Standardfehler zu klein aus.
- Verworfene Varianten vergessen: N umfasst alle getesteten Varianten, auch die, die man nicht gezeigt hat, und auch die der Kollegen, wenn alle an denselben Daten forschen.
- Schwelle 95 % als Naturgesetz: Die Schwelle ist eine Konvention. Eine DSR von 88 % heißt nicht, dass die Strategie wertlos ist, sondern dass die Daten das Können nicht sicher belegen.
- Nur auf die Sharpe Ratio schauen: Eine hohe PSR sagt nichts über Drawdowns, Kapazität oder Kosten. Prüfe auch Maximum Drawdown und Schiefe und Kurtosis.
So rechnet Portfolio Lab
Im Ergebnis des Backtests rechnet der Reiter Overfitting-Check für jedes Portfolio den Standardfehler der Sharpe Ratio mit Schiefe und Kurtosis, die PSR, die Minimum Track Record Length und die DSR. Die Zahl der ausprobierten Varianten und die Streuung ihrer Sharpe Ratios gibst du selbst ein; dazu kommt die Probability of Backtest Overfitting über die Portfolios. Wie das im Einzelnen gerechnet wird, steht in der Methodik des Overfitting-Checks. Die Zutaten zeigt auch die Kennzahlentabelle im Backtest: die annualisierte Sharpe Ratio aus den Überrenditen je Periode, die Schiefe und die „Kurtosis (Exzess)“ der Periodenrenditen sowie das Datum von Start und Ende. Für die Formeln teilst du die Sharpe Ratio bei Monatsdaten durch √12 (bei Tagesdaten durch √252) und addierst zur Exzess-Kurtosis 3. Wie die Werte entstehen, beschreibt die Methodik der Kennzahlen. Für Tests außerhalb der Stichprobe schätzt die Optimierung im Modus „Rollierend (walk-forward)“ die Gewichte nur mit Daten bis zum jeweiligen Zeitpunkt; die Faktorstatistik unter Faktoren zeigt für jede Faktorprämie einen t-Wert.
Häufige Fragen
Was ist die Deflated Sharpe Ratio?
Die Wahrscheinlichkeit, dass eine gemessene Sharpe Ratio echtes Können zeigt, nachdem man die Zahl der getesteten Varianten, die Länge der Reihe sowie Schiefe und Kurtosis der Renditen berücksichtigt hat. Sie ist die Probabilistic Sharpe Ratio mit der erwarteten besten Sharpe Ratio aus Zufall als Schwelle.
Wie berechnet man die Probabilistic Sharpe Ratio?
Mit der Sharpe Ratio je Periode, der Zahl der Perioden, der Schiefe und der Kurtosis: PSR = Φ((SR − Schwelle) × √(T − 1) / √(1 − Schiefe × SR + (Kurtosis − 1) / 4 × SR²)). Bei SR 1,0 p. a. über zehn Jahre und Schwelle null liegt sie im Beispiel bei 99,7 %.
Wie lange muss eine Historie sein, damit eine Sharpe Ratio aussagekräftig ist?
Das sagt die Minimum Track Record Length. Für eine Sharpe Ratio von 1,0 p. a. aus Monatsdaten sind es gegen die Schwelle null rund drei bis vier Jahre, gegen die Schwelle 0,5 schon 11 bis 15 Jahre, je nach Schiefe und Kurtosis.
Was ist der Unterschied zwischen PSR und DSR?
Die PSR prüft eine einzelne Strategie gegen eine feste Schwelle. Die DSR setzt als Schwelle die beste Sharpe Ratio, die man bei N ausprobierten Varianten ohne echten Vorteil erwarten würde.
Was ist ein Haircut der Sharpe Ratio?
Ein Abschlag für Mehrfachtests nach Harvey und Liu: Der p-Wert der Sharpe Ratio wird für die Zahl der Tests korrigiert und in eine kleinere Sharpe Ratio zurückgerechnet. Im Beispiel mit 20 Tests schrumpft eine Sharpe Ratio von 1,0 um 31,9 % auf 0,68.
Welche Kurtosis gehört in die Formel?
Die Kurtosis, die bei der Normalverteilung 3 beträgt. Viele Programme, auch Portfolio Lab, zeigen die Exzess-Kurtosis; dann musst du 3 addieren.
Literatur
- Bailey, David; Borwein, Jonathan; López de Prado, Marcos; Zhu, Qiji Jim (2016): The probability of backtest overfitting. The Journal of Computational Finance. doi:10.21314/jcf.2016.322
- Bailey, David H.; López de Prado, Marcos (2012): The Sharpe ratio efficient frontier. The Journal of Risk 15 (2), S. 3–44. doi:10.21314/JOR.2012.255
- Bailey, David H.; López de Prado, Marcos (2014): The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. The Journal of Portfolio Management 40 (5), S. 94–107. doi:10.3905/jpm.2014.40.5.094
- Bailey, David H.; Borwein, Jonathan M.; López de Prado, Marcos; Zhu, Qiji Jim (2014): Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the American Mathematical Society 61 (5), S. 458–471. doi:10.1090/noti1105
- Harvey, Campbell R.; Liu, Yan (2015): Backtesting. The Journal of Portfolio Management 42 (1), S. 13–28. doi:10.3905/jpm.2015.42.1.013
- Harvey, Campbell R.; Liu, Yan; Zhu, Heqing (2016): … and the Cross-Section of Expected Returns. Review of Financial Studies 29 (1), S. 5–68. doi:10.1093/rfs/hhv059
- Lo, Andrew W. (2002): The Statistics of Sharpe Ratios. Financial Analysts Journal 58 (4), S. 36–52. doi:10.2469/faj.v58.n4.2453
- Opdyke, John Douglas (2007): Comparing Sharpe ratios: So where are the p-values?. Journal of Asset Management 8 (5), S. 308–336. doi:10.1057/palgrave.jam.2250084
Dieser Artikel erklärt eine Methode; er ist keine Anlage- oder Steuerberatung. Zahlenbeispiele sind vereinfacht und gerundet. Alle Begriffe im Glossar.