Pourquoi un excellent backtest peut être trompeur
Un backtest consiste à appliquer rétrospectivement des règles de trading à des données historiques afin d'observer ce qu'elles auraient produit dans le passé. Cette démarche peut aider à formaliser une méthode, à mesurer son exposition au risque et à comparer plusieurs hypothèses. Elle ne permet toutefois pas de transformer une simulation en preuve de performance future.
La sur-optimisation, aussi appelée overfitting, apparaît lorsqu'une stratégie est ajustée de manière excessive aux données disponibles. Elle finit par reproduire les particularités, les anomalies et parfois le bruit statistique de la période étudiée. Le résultat semble alors très convaincant dans le backtest, mais perd sa cohérence dès qu'il est confronté à d'autres données ou aux conditions réelles de marché.
Le problème ne vient pas seulement d'un grand nombre de paramètres. Une stratégie peut être sur-optimisée après de nombreux essais successifs, même si elle ne comporte que quelques règles. Chaque modification inspirée par le résultat précédent constitue une forme d'apprentissage sur l'historique. À force, le chercheur sélectionne indirectement une configuration qui a bénéficié du hasard.
Il faut donc distinguer deux questions : la stratégie a-t-elle été rentable sur un échantillon passé et les règles possèdent-elles une robustesse suffisante pour rester pertinentes hors échantillon ? Le premier constat est descriptif. Le second demande une méthode de validation plus exigeante.
Les mécanismes qui fabriquent une performance artificielle
Plusieurs mécanismes peuvent donner à une stratégie une apparence de précision excessive.
Le réglage des paramètres est le cas le plus visible. Un opérateur peut tester une moyenne mobile de 17 jours, puis 18, 19 ou 20, modifier un seuil d'entrée, un stop ou une période de sortie. Si des centaines de combinaisons sont essayées, il devient probable que l'une d'elles affiche un historique exceptionnel, sans que cela révèle une véritable relation durable entre le signal et le marché.
Le biais de sélection intervient lorsqu'une stratégie est conservée parce qu'elle a bien fonctionné, tandis que les essais décevants sont oubliés. Le résultat présenté ne reflète alors pas la probabilité de réussite de la méthode, mais uniquement la meilleure observation parmi de nombreuses tentatives.
Le biais de regard vers l'avenir, ou look-ahead bias, survient lorsqu'une information indisponible au moment de la décision est utilisée par erreur. Cela peut être une clôture définitive, une révision d'indice, une donnée macroéconomique publiée plus tard ou le prix de fin de séance utilisé pour simuler une entrée qui aurait dû être exécutée avant cette clôture.
Le biais de survivant apparaît lorsque l'analyse porte seulement sur les actifs encore présents dans une base de données. Les entreprises sorties d'un indice, les titres radiés ou les instruments disparus sont alors absents. Une stratégie semble plus solide parce qu'elle est testée sur des survivants, et non sur l'ensemble des actifs réellement disponibles à l'époque.
Enfin, une base de données mal nettoyée peut intégrer des erreurs de prix, des ajustements de dividendes incohérents, des changements de contrat ou des périodes de cotation manquantes. Un résultat précis au centième près ne compense pas une donnée historique dont la qualité n'a pas été vérifiée.
Les signaux d'alerte d'une stratégie trop parfaite
Aucun indicateur isolé ne suffit à conclure à une sur-optimisation. En revanche, plusieurs signaux réunis doivent inciter à la prudence :
- une courbe de capital très régulière, avec peu de pertes et presque aucune période difficile ;
- un avantage qui disparaît dès qu'un paramètre est modifié légèrement ;
- une performance concentrée sur quelques opérations ou quelques jours exceptionnels ;
- un résultat spectaculaire sur une période courte ou sur un seul actif ;
- un grand nombre de règles conditionnelles ajoutées pour expliquer des situations historiques particulières ;
- des frais, du spread, du financement et du glissement d'exécution absents du calcul ;
- une simulation qui utilise les cours théoriques sans préciser le moment et le type d'exécution ;
- une stratégie validée uniquement sur les mêmes données que celles ayant servi à la concevoir.
Le ratio rendement sur risque, le taux de réussite ou le bénéfice total ne doivent pas être lus séparément. Une méthode avec un taux de réussite élevé peut subir quelques pertes rares et très importantes. À l'inverse, une stratégie gagnante sur le long terme peut comporter de longues séries de pertes. L'analyse doit inclure le drawdown maximal, sa durée, la distribution des gains et pertes, le nombre de transactions et la stabilité des résultats selon les périodes.
Une autre alerte concerne la précision excessive. Affirmer qu'une stratégie produit exactement un certain résultat historique sans marge d'incertitude donne une illusion de mesure scientifique. Les coûts réels, la liquidité disponible et le prix d'exécution ne sont pas connus avec cette exactitude.
Backtest hors échantillon et séparation des données
La première protection contre la sur-optimisation consiste à séparer les données utilisées pour concevoir la stratégie de celles utilisées pour l'évaluer. La période de développement, souvent appelée in-sample, sert à formuler les règles. La période de validation, dite out-of-sample, reste à l'écart jusqu'à ce que la méthode soit figée.
Une démarche simple peut suivre ces étapes :
- définir la logique économique ou comportementale recherchée avant de regarder le résultat final ;
- réserver une partie chronologique des données à la validation ;
- choisir les paramètres sur la période de développement, en limitant le nombre d'essais ;
- geler les règles, puis exécuter un test hors échantillon sans modification opportuniste ;
- comparer les résultats des deux périodes, y compris les pertes, les frais et les phases de marché ;
- documenter chaque changement effectué, afin de connaître le nombre réel d'hypothèses testées.
La séparation doit respecter le temps. Mélanger aléatoirement des observations financières peut faire entrer dans la phase de conception des informations provenant d'une période future. Pour des données chronologiques, un découpage dans l'ordre des dates est généralement plus cohérent.
Lorsque l'historique est limité, il est possible d'utiliser une validation glissante ou walk-forward. La stratégie est développée sur une fenêtre passée, testée sur la fenêtre suivante, puis la période avance. Cette méthode reproduit davantage le renouvellement des informations, mais elle ne supprime pas le risque de sur-optimisation. Chaque choix de fenêtre, de fréquence de réajustement ou de paramètres peut lui aussi être exploité par hasard.
Tester la robustesse plutôt que rechercher le meilleur réglage
Un test robuste ne cherche pas nécessairement la combinaison qui affiche le meilleur résultat. Il cherche à savoir si la logique reste acceptable dans une zone de paramètres raisonnable. Par exemple, si une stratégie exige une période exactement égale à 23 jours et devient déficitaire à 22 ou 24 jours, sa stabilité est discutable. Une surface de résultats relativement régulière est généralement plus rassurante qu'un pic isolé, sans constituer une garantie.
Plusieurs analyses peuvent compléter le backtest :
- variation des paramètres : tester des intervalles cohérents plutôt qu'une seule valeur optimale ;
- variation des coûts : augmenter les hypothèses de spread, de commission et de glissement pour observer la sensibilité du résultat ;
- variation des dates : commencer et terminer l'étude à des moments différents ;
- analyse par sous-périodes : distinguer les marchés haussiers, baissiers, latéraux et les épisodes de forte volatilité ;
- rééchantillonnage des transactions : examiner l'effet d'un ordre différent des gains et des pertes ;
- tests sur plusieurs instruments comparables : vérifier si le principe dépasse un actif ou une série particulière.
Les tests de sensibilité ne prouvent pas qu'une stratégie fonctionnera. Ils permettent plutôt d'identifier les hypothèses auxquelles elle est particulièrement vulnérable. Une méthode dont l'avantage disparaît avec des coûts légèrement supérieurs mérite une analyse distincte, car la faisabilité dépend alors fortement de la qualité d'exécution.
Les coûts, la liquidité et l'exécution changent le résultat
Un backtest peut être mathématiquement correct et économiquement irréaliste. Le prix observé dans une base historique n'est pas toujours le prix auquel un ordre aurait pu être exécuté. Cette différence est particulièrement importante sur les actifs peu liquides, lors des ouvertures, autour des annonces ou pendant les mouvements rapides.
Le calcul doit préciser au minimum :
- les commissions et frais appliqués à chaque transaction ;
- le spread entre le prix acheteur et le prix vendeur ;
- le glissement entre le prix théorique et le prix d'exécution ;
- les frais de financement, d'emprunt ou de conservation lorsqu'ils existent ;
- les règles de taille minimale, de liquidité et de capacité du marché ;
- le traitement des dividendes, fractionnements, changements de contrat et autres opérations sur titres.
La capacité est souvent oubliée. Une stratégie peut produire un signal valable sur un graphique, mais devenir difficile à exécuter si le volume négocié est faible ou si l'ordre représente une part importante des échanges disponibles. Les résultats passés ne disent pas automatiquement si le capital envisagé pourrait entrer et sortir sans effet notable sur le prix.
Le levier ajoute une difficulté. Il amplifie les gains comme les pertes et peut provoquer des appels de marge ou une liquidation forcée. Un backtest qui raisonne uniquement en pourcentage final sans mesurer l'exposition, la perte maximale et les besoins de liquidité donne une vision incomplète du risque. Toute perte en capital reste possible, y compris lorsque la simulation historique paraît favorable.
Une grille pratique pour auditer un backtest
Avant de tirer une conclusion, le lecteur peut constituer une fiche d'audit. Elle doit permettre de comprendre non seulement le résultat, mais aussi la manière dont il a été obtenu.
| Point à vérifier | Question utile | Risque en cas de réponse insuffisante |
|---|
| Données | Les prix, volumes, dividendes et dates sont-ils documentés et adaptés à l'époque du signal ? | Biais de données ou erreur de calendrier |
| Règles | Les conditions d'entrée et de sortie sont-elles précises, sans interprétation manuelle ? | Résultat impossible à reproduire |
| Temporalité | Chaque information était-elle connue avant l'exécution simulée ? | Regard vers l'avenir |
| Échantillons | Une période indépendante a-t-elle été conservée jusqu'à la fin ? | Évaluation trop optimiste |
| Frais | Le spread, le glissement, le financement et les commissions sont-ils intégrés ? | Performance artificiellement gonflée |
| Risque | Le drawdown, sa durée et la taille des pertes sont-ils mesurés ? | Sous-estimation des périodes difficiles |
| Reproductibilité | Le résultat peut-il être obtenu avec les mêmes données et les mêmes règles ? | Erreur ou sélection a posteriori |
Cette grille ne remplace pas un examen technique approfondi. Elle aide toutefois à repérer rapidement les études qui ne permettent pas de distinguer une stratégie plausible d'une simple coïncidence historique. Il est également utile de conserver une version figée du code, des données et des paramètres à chaque étape. Sans archivage, il devient difficile de savoir si les règles ont été modifiées après observation du résultat.
Ce que les statistiques peuvent, et ne peuvent pas, démontrer
Une série de résultats passée comporte une incertitude statistique. Plus le nombre de transactions est faible, moins une moyenne ou un ratio est stable. Quelques opérations atypiques peuvent modifier fortement le bénéfice total, le taux de réussite ou le drawdown observé. À l'inverse, un grand nombre de trades ne suffit pas si tous proviennent d'un même régime de marché ou d'un même actif.
Le nombre d'essais compte également. Lorsqu'un grand nombre de stratégies ou de paramètres sont testés, la probabilité d'obtenir au moins un résultat exceptionnel par hasard augmente. Cette question est liée au multiple testing, c'est-à-dire aux tests multiples. Le nombre d'essais doit donc être documenté, même lorsque les essais n'ont pas été conservés dans le résultat final.
Des indicateurs statistiques plus avancés peuvent être utiles, comme des intervalles d'incertitude, des tests de stabilité ou des méthodes de correction des tests multiples. Ils ne transforment pas des données historiques en certitude. Leur interprétation dépend des hypothèses retenues et de la qualité de l'échantillon. Une personne non spécialiste peut demander à un professionnel indépendant d'expliquer ces hypothèses avant de prendre une décision financière.
Les principes de gestion des risques publiés par les autorités de marché, notamment l'Autorité des marchés financiers en France et l'Autorité européenne des marchés financiers, rappellent l'importance de comprendre les risques, les coûts et le fonctionnement des instruments utilisés. Ces éléments sont particulièrement importants lorsque le trading implique des produits dérivés ou un effet de levier.
Passer du backtest à une décision sans confondre preuve et hypothèse
Un backtest robuste peut servir à formuler une hypothèse de comportement, à comparer des scénarios et à préparer un cadre de suivi. Il ne constitue ni une promesse de résultat ni une validation définitive. Avant toute mise en œuvre, il faut vérifier que la stratégie est compréhensible, que les pertes possibles sont compatibles avec la situation financière et que les règles d'arrêt sont définies à l'avance.
Une progression prudente peut consister à :
- écrire les règles et les hypothèses économiques dans un document daté ;
- tester les données sans utiliser d'informations futures ;
- mesurer le résultat net de coûts réalistes et plusieurs niveaux de glissement ;
- évaluer les périodes défavorables, et pas seulement la performance cumulée ;
- réserver une validation hors échantillon, puis éviter de la réutiliser pour ajuster la méthode ;
- surveiller en conditions réelles simulées les écarts entre les prix théoriques et les prix effectivement disponibles ;
- réexaminer la logique lorsque les conditions de marché changent, sans modifier les règles uniquement pour effacer une perte passée.
La fiscalité, le statut du compte, les frais du prestataire, les contraintes réglementaires et l'horizon de placement peuvent aussi modifier le résultat net. Une analyse personnalisée relève d'un conseiller compétent, notamment d'un conseiller en investissement, d'un expert-comptable ou d'un conseiller bancaire selon la question posée. Le contenu d'un backtest ne remplace pas cet examen et ne constitue pas un conseil en investissement.
FAQ sur la sur-optimisation en backtest
Une stratégie rentable en backtest est-elle forcément sur-optimisée ?
Non. Une performance historique peut refléter un avantage réel, une erreur de simulation ou un effet du hasard. Il faut examiner la séparation des données, le nombre de paramètres testés, les frais, la stabilité hors échantillon et la cohérence de la logique avant de conclure.
Combien de paramètres peut-on utiliser dans une stratégie ?
Il n'existe pas de seuil universel. Le risque dépend du nombre d'observations, du nombre d'essais, de la dépendance entre les paramètres et de la complexité des règles. Plus le modèle est complexe par rapport à l'information disponible, plus la validation indépendante doit être exigeante.
Le test hors échantillon élimine-t-il le risque d'overfitting ?
Non. Il réduit un risque important, mais la période de validation peut être trop courte ou présenter un régime particulier. Elle peut aussi être utilisée à plusieurs reprises pour ajuster la stratégie, auquel cas elle cesse progressivement d'être indépendante.
Pourquoi intégrer le spread et le glissement dans le calcul ?
Parce qu'un ordre est exécuté au prix disponible, non au prix théorique affiché par une bougie historique. Le spread, le glissement et les frais réduisent le résultat net. Ils peuvent même rendre non viable une stratégie dont l'avantage par transaction est faible.
Une courbe de capital régulière est-elle un bon signe ?
Pas nécessairement. Une régularité exceptionnelle peut signaler un biais de regard vers l'avenir, des coûts oubliés, une sélection des actifs survivants ou un ajustement excessif. Il faut rechercher la reproductibilité et la robustesse plutôt qu'une apparence parfaite.