Die Aufteilung im Voraus festlegen
Bewahren Sie bei zeitabhängigen Daten die zeitliche Reihenfolge und legen Sie Trainings-, Auswahl- und abschließende Bewertungszeiträume im Voraus fest. Passen Sie die Vorverarbeitung nur an die zulässigen Trainingsbeobachtungen an. Bei überlappenden Zielwerten können Abstände zwischen den Zeiträumen nötig sein.
Den letzten Zeitraum zurückhalten
Wenn Sie eine Strategie wiederholt nach Einsicht in ihre Ergebnisse auf zurückgehaltenen Daten ändern, beeinflusst dieser Zeitraum die Auswahl. Dokumentieren Sie diese Änderungen und suchen Sie eine neue unabhängige Bewertung. Eine Umbenennung in „Testdatensatz“ macht bereits genutzte Informationen nicht ungeschehen.
Ergebnisse mit Einschränkungen berichten
Vergleichen Sie Zeiträume mit denselben Kosten- und Messkonventionen. Erläutern Sie begrenzte Stichprobengrößen und ungewöhnliche Marktbedingungen. Eine Vorwärtssimulation kann spätere Beobachtungen ergänzen, doch simulierte Ausführungen unterscheiden sich weiterhin von tatsächlichen Ausführungen.
Quellen & Referenzen
- scikit-learn — Cross-validation and time series evaluation ↗
- Bailey et al. — The Probability of Backtest Overfitting (2015) ↗
Die Referenzen belegen bestimmte Definitionen oder liefern methodischen Kontext. Beispiele und Forschungschecklisten dienen der Erläuterung; es werden keine Performanceergebnisse behauptet.