Backtest et mesure de la précision
Un prestataire annonce une précision et vous n’avez aucun moyen de la vérifier. Un modèle en production dérive lentement et personne ne s’en aperçoit avant un écart visible sur les résultats. Vous hésitez entre deux approches et il faut trancher sur autre chose que l’intuition. Vous devez justifier devant un comité l’investissement dans un modèle.
Un modèle de prévision, et une question : de combien se trompe-t-il ?
L’épreuve du modèle sur votre passé. Le backtest le remet dans la situation d’une date antérieure, en ne lui donnant que ce qui était connu ce jour-là, puis compare sa prévision à ce qui s’est réellement produit. Répété sur plusieurs périodes, il donne une erreur moyenne, et surtout l’écart entre cette erreur et celle de votre méthode actuelle.
Nous mesurons d’abord l’erreur de votre méthode actuelle : c’est la référence à battre, et beaucoup de modèles ne la battent pas. Nous validons ensuite période après période, en respectant l’ordre du temps, parce qu’un modèle entraîné sur des données postérieures à ce qu’il prédit affiche une précision qu’il n’aura jamais en production. Nous choisissons l’indicateur d’erreur selon la décision en jeu, un surstock et une rupture ne coûtant pas la même chose. Vous obtenez le protocole, les résultats période par période, et un suivi de la précision en production.
Étape de modélisation, comme critère d’arrêt : le modèle retenu est le plus simple qui atteint l’objectif mesuré. Le suivi se poursuit après l’industrialisation.
Data science appliquée →À lire sur le sujet
Découvrez nos analyses...
Cas clients et analyses sur la Data et l’IA, une fois par mois dans votre boîte mail.
Un projet à partager avec nous ?
Nous serions ravis d’en discuter pour vous conseiller sur les premières orientations.