Document M-1
Méthodologie
L'objectif d'un audit n'est ni de vendre une stratégie, ni de la valider artificiellement. Il est de mesurer ce qu'elle produit réellement dans les conditions testées et d'identifier les limites de cette conclusion.
Axes d'analyse
M.1
Données
Sources historiques, qualité et profondeur des séries, période couverte, biais identifiés.
M.2
Exécution
Spreads, commissions et slippage intégrés au test — des hypothèses réalistes, jamais idéalisées.
M.3
Performance
Rendement, régularité, exposition, statistiques agrégées sur l'ensemble de la période testée.
M.4
Risque
Drawdowns, volatilité, concentration, sensibilité aux différentes conditions de marché.
M.5
Robustesse
Stabilité des résultats selon les sous-périodes, sensibilité aux paramètres, contrôles statistiques adaptés.
M.6
Décision
Conclusion factuelle : points forts, faiblesses mesurées, prochaines étapes recommandées.
Périmètre de la validation quantitative avancée
Selon le dossier, une validation avancée peut inclure :
- Étude de variantes contrôlées
- Analyse multi-marchés
- Analyse multi-timeframes
- Tests de sensibilité
- Stress sur les coûts d'exécution
- Analyse par sous-périodes
- Analyse de stabilité
- Bootstrap
- Analyse de dépendance au régime
- Contrôles du multiple testing
- Validation statistique avancée
- Recherche quantitative structurée
- Optimisation lorsque méthodologiquement justifiée
- Décision finale et plan de recherche
Validation statistique avancée
Lorsque le dossier le justifie, la validation peut mobiliser des méthodes issues de la littérature quantitative :
Deflated Sharpe Ratio (DSR)
Ajuste le ratio de Sharpe observé pour tenir compte du nombre d'essais et de la longueur de l'échantillon.
Probability of Backtest Overfitting (PBO)
Estime la probabilité qu'une configuration sélectionnée en échantillon sous-performe hors échantillon.
CSCV
Validation croisée combinatoire symétrique, utilisée notamment pour le calcul du PBO.
White's Reality Check / Hansen SPA
Tests de la significativité d'une règle sélectionnée parmi de nombreuses candidates.
Bootstrap
Rééchantillonnage des rendements pour estimer la variabilité des statistiques observées.
Stabilité temporelle et stress tests
Comportement par sous-périodes, sous coûts dégradés et dans des conditions de marché défavorables.
Corrections du multiple testing
Ajustement des conclusions lorsque de nombreuses variantes ont été essayées.
Ces méthodes sont sélectionnées en fonction de la stratégie, de l'échantillon et du problème statistique à traiter — jamais appliquées mécaniquement. Certaines nécessitent plusieurs modèles, plusieurs configurations ou un échantillon suffisamment important ; elles ne sont donc pas toutes utilisées sur chaque audit.
Place de l'optimisation
L'optimisation — y compris bayésienne — n'intervient qu'après définition et contrôle initial du modèle, dans le cadre d'une phase de recherche. Toute configuration issue d'une optimisation doit ensuite être revalidée. Une courbe d'équité optimisée n'est pas une preuve de robustesse — c'est précisément ce que la validation cherche à contrôler.