Un modèle qui réussit trois estimations de suite semble excellent. Un modèle qui en rate trois semble inutile. Dans les deux cas, la conclusion est hâtive. Évaluer honnêtement une méthode d'estimation demande un peu de discipline, car le football est un sport où le hasard garde une place considérable.
Deux mesures, deux rôles
La première mesure, la plus utile, est le bon résultat 1-N-2 : l'issue annoncée comme la plus probable (victoire, nul ou défaite) s'est-elle réellement produite ? C'est un critère simple, lisible, qui a du sens sur la durée.
La seconde est le score exact. Elle est beaucoup plus difficile à satisfaire, puisque la probabilité d'un score précis reste faible même pour le plus probable. Elle est donc surtout intéressante comme curiosité, et ne doit pas servir de verdict principal. Un modèle qui trouverait le score exact une fois sur dix ferait déjà un travail très honorable.
Pourquoi il faut beaucoup de matchs
Lancer une pièce trois fois et obtenir trois fois pile ne prouve rien sur la pièce. Il en va de même pour un modèle : sur trois ou cinq matchs, la proportion de bons résultats peut varier énormément au gré du hasard. Il faut plusieurs dizaines, voire des centaines de rencontres pour que le pourcentage de réussite se stabilise et devienne interprétable.
Il faut aussi comparer avec un point de repère raisonnable. Un taux de bons résultats supérieur à ce que donnerait une réponse tirée au sort est un début d'information ; il n'a de sens qu'à condition d'être mesuré sur un échantillon suffisant.
Les pièges à éviter
- Trier après coup. Ne retenir que les matchs où l'estimation a fonctionné fausse totalement le bilan.
- Juger sur une série. Une belle ou une mauvaise passe ne dit rien de la qualité du modèle.
- Confondre probabilité et certitude. Un événement à 30 % qui se produit n'est pas une erreur.
Le suivi automatique dans Predicta
Pour éviter ces biais, Predicta compare automatiquement chaque estimation au score réel lorsque le match figure au calendrier. L'avantage est double : le suivi ne dépend pas de la mémoire de l'utilisateur, qui retient plus volontiers les réussites spectaculaires, et il s'accumule de manière régulière. Au fil du temps, l'historique de bons résultats 1-N-2 et de scores exacts donne une image plus fiable que n'importe quelle impression personnelle.
Même ainsi, ce bilan reste un outil d'information. Il aide à comprendre ce que le modèle fait bien et moins bien, sans jamais garantir ce qui se passera au prochain match.
À retenir
- Le bon résultat 1-N-2 est la mesure principale ; le score exact est secondaire.
- Il faut un grand nombre de matchs avant d'en tirer une conclusion.
- Trier les cas favorables après coup fausse le bilan.
- Predicta compare automatiquement ses estimations aux résultats réels des matchs du calendrier.