Eine klar abgegrenzte Aufgabe testen
Vergleichen Sie bei einem Rechner die Ergebnisse mit unabhängigen Berechnungen von Hand. Prüfen Sie bei generiertem Strategiecode den Datenzugriff und testen Sie die Regel anhand einer kleinen konstruierten Datenfolge. Legen Sie bei einer Prognose Zielgröße und Verfahren für zurückgehaltene Testdaten fest, bevor Sie Vorhersagen bewerten.
Den Informationszeitpunkt berücksichtigen
Dokumentieren Sie, wann jedes Merkmal oder Dokument verfügbar wurde. Ein historischer Test mit einem aktuellen Sprachmodell kann durch Wissen aus dessen Vortraining beeinflusst sein. Ein Datum im Prompt belegt allein nicht, dass spätere Informationen ausgeschlossen wurden.
Eine nachvollziehbare Dokumentation führen
Speichern Sie Prompts, verfügbare Modellkennungen, erzeugte Dateien, Datenversionen und Bewertungsregeln. Trennen Sie deterministische Berechnungen von Modellkommentaren. Eine erneute Durchführung kann dennoch andere Texte liefern; dokumentieren Sie diese Einschränkung, statt identische Reproduzierbarkeit zu behaupten.
Quellen & Referenzen
- scikit-learn — Data leakage and common pitfalls ↗
- scikit-learn — Cross-validation and time series evaluation ↗
Die Referenzen belegen bestimmte Definitionen oder liefern methodischen Kontext. Beispiele und Forschungschecklisten dienen der Erläuterung; es werden keine Performanceergebnisse behauptet.