Tireur d’élite texan

Exemples

Le nom vient d’une vieille blague : un tireur crible de balles le mur d’une grange, puis s’approche et peint une cible autour de l’endroit où les impacts sont les plus regroupés. Et voilà, un tireur d’élite. Le même tour de passe-passe se produit avec de vraies données.

Une lectrice compare sa journée à son horoscope.

Horoscope : « Une conversation vous apporte aujourd’hui une nouvelle inattendue. » Priya : « Ma collègue a justement parlé d’une réunion surprise ! C’est d’une précision incroyable. »

L’horoscope disait aussi « une décision financière demande de la patience », ce qui ne s’est pas produit — et Priya n’en tient pas compte. Sur une douzaine de prédictions vagues, elle a remarqué celle qui correspondait à peu près et ignoré tout le reste.

Les entreprises font la même chose avec leurs données de performance :

Publication : « Depuis notre refonte, le taux de finalisation des commandes a augmenté de 12 % ! Le nouveau design fonctionne. » Réponse : « Le panier moyen n’a pas baissé de 8 %, et les tickets de support augmenté de 15 %, le même mois ? »

Sur un tableau de bord rempli d’indicateurs, un seul a évolué dans un sens flatteur. C’est lui qui a eu droit à l’annonce ; pas les autres.

Pourquoi le raisonnement ne tient pas

Des jeux de données suffisamment grands contiennent toujours, par pur hasard, un regroupement, une série ou une coïncidence — c’est à cela que ressemble le hasard à grande échelle. Le sophisme du tireur d’élite texan dessine la « cible » — l’affirmation de signification — après avoir vu où les données sont tombées, au lieu de prédire la régularité à l’avance et de la mettre à l’épreuve. Comme la cible est peinte autour des impacts, la correspondance est garantie — et c’est précisément cette garantie qui la rend sans valeur comme preuve. Une vraie découverte doit être spécifiée avant l’examen des données, ou confirmée sur un échantillon nouveau et distinct.

Comment répondre

• Demandez ce qui était prédit à l’avance : « Ce schéma était-il attendu avant de voir les résultats, ou repéré après coup ? »
• Demandez à voir l’ensemble des données : « Qu’ont fait les autres indicateurs ? N’entend-on parler que de celui qui s’est amélioré ? »
• Demandez une réplication : « Ce schéma tient-il sur un autre échantillon, ou seulement sur celui-ci ? »
• Ne rejetez pas toute observation a posteriori. Remarquer une régularité, puis concevoir un vrai test pour la vérifier, c’est exactement ainsi que commencent les vraies découvertes — le sophisme consiste à s’arrêter au stade du constat.