🔥 Produits recommandés : Canon EOS R6 II • DJI Mini 4 Pro • MacBook Pro M4
En tant qu’intello désordonné au lycée, le livre Moneyball de Michael Lewis a été mon principal point d’entrée pour fantasmer sur le sport.
Dans ce livre, des employés héroïques d’une équipe de baseball d’un petit marché utilisent leur connaissance des statistiques pour créer une équipe de baseball gagnante contre toute attente. (En l’occurrence, leur difficulté était de ne pas avoir autant de millions de dollars à dépenser en salaires que les Yankees). Des cols blancs ringards deviennent des légendes du sport grâce aux mathématiques !
Depuis lors, les analyses ont bouleversé le baseball. Les journalistes sportifs et les diffuseurs intègrent des statistiques compliquées dans leur discours quotidien sur les matchs, commentant le « Wins Above Replacement » et le « On-base Plus Slugging ».
L’un des changements les plus importants que j’ai constatés dans le domaine de la rédaction sportive au cours de cette période est une meilleure connaissance d’un aspect important des statistiques : les petits échantillons.
Dans mon souvenir, il y avait toujours des articles pendant l’entraînement de printemps et au début de la saison sur le fait qu’un joueur était en train de percer après une grosse semaine. Regardez ! Josh Towers est le nouvel as des Orioles !
Aujourd’hui, je vois toujours des articles sur les départs canon précédés d’un avertissement sur la petite taille des échantillons.
Les journalistes sportifs ont appris : On ne peut pas tirer de conclusions définitives sur la qualité d’un joueur en ne regardant qu’une poignée de matchs.
S’il est réconfortant de constater que la culture statistique générale des journalistes sportifs s’améliore, il est tout aussi difficile de se rendre compte que ces connaissances ne commencent que lentement à se répandre dans la littérature scientifique en psychologie.
Les psychologues utilisent des statistiques, car nous ne nous attendons pas à ce que les gens se comportent de manière parfaitement déterministe. Il n’existe pas d’équations permettant de prédire parfaitement comment les gens s’entendront lors d’une fête ou combien de temps ils seront tristes après une rupture. Les statistiques partent du principe qu’en examinant un grand nombre d’observations ensemble et en faisant les bonnes comparaisons, nous pouvons obtenir une bonne image de ce qui se passera en général, pour la plupart des gens.
Pour avoir une idée suffisamment précise de ce qui va se passer, il faut disposer d’un nombre suffisant d’observations.
Combien de ruptures devriez-vous observer avant d’être prêt à affirmer avec certitude ce que sont les ruptures pour la plupart des gens ? 10 ? 20 ? 100 ?
Cela dépend en partie de l’aspect de la rupture dont on parle. Si vous parlez d’un effet général important – les gens se sentiront-ils tristes ? – alors vous vous sentirez peut-être à l’aise après n’avoir vu que 20 ou 30 personnes (et en les comparant à 20 ou 30 personnes qui n’ont pas rompu).
S’il s’agit d’un petit effet spécifique – les gens seront-ils plus susceptibles d’apprendre une leçon personnelle importante – alors vous voudrez peut-être voir 100 ruptures.
D’une manière générale, cependant, vous vous rendriez compte que la recherche sur de petits groupes de personnes est limitée. À l’instar des journalistes sportifs, vous souhaiteriez que les scientifiques ajoutent un avertissement à ce type d’études : « Ne prenez pas cela trop au sérieux, car nous ne disposons pas de suffisamment d’informations pour tirer des conclusions définitives : Ne prenez pas cela trop au sérieux, car nous ne disposons pas de suffisamment d’informations pour tirer des conclusions définitives.
Tout comme vous ne feriez pas confiance à un journaliste sportif qui affirme qu’un joueur va être élu MVP parce qu’il a frappé trois home runs en une semaine, vous ne devriez pas non plus faire confiance à un scientifique qui prétend avoir « trouvé la région cérébrale de la comédie » alors qu’il n’a examiné que 20 cerveaux.
Le problème est que pendant des décennies, les psychologues ont été formés en utilisant des règles empiriques pour déterminer le nombre de personnes à inclure dans une étude – et ces règles empiriques étaient terriblement erronées.
Comme l’a écrit un célèbre psychologue social dans un article de 2016:
« Lorsque je faisais mes études supérieures dans les années 1970, le n=10 était la norme, et les personnes qui allaient jusqu’au n=20 étaient soupçonnées de s’appuyer sur des effets peu probants et de gaspiller de précieux participants à la recherche. Au fil des ans, la norme est passée à environ n=20 ».
Par « n=10 » ou « n=20 », l’auteur veut dire que le nombre de participants dans chaque condition d’une étude serait de 10 ou 20 personnes.
Ce chiffre est bien trop faible pour permettre de détecter des effets autres que les plus évidents. Comme Joe Simmons et ses collègues l’ont présenté dans un exposé en 2013, voici quelques effets que l’on peut détecter de manière fiable avec seulement 20 personnes dans une condition :
- Les hommes sont en moyenne plus grands que les femmes.
- Les personnes au-dessus de l’âge médian déclarent être plus proches de la retraite.
Voici quelques effets dont la détection nécessite la présence de plus de 20 personnes :
- Les personnes qui aiment les plats épicés sont plus susceptibles d’aimer la cuisine indienne.
- Les hommes pèsent en moyenne plus que les femmes.
Compte tenu de la formation de la première génération de psychologues sociaux, la plupart d’entre eux réalisaient des études qui ne permettaient pas de détecter de manière fiable un effet plus subtil que « si vous êtes plus âgé que la moitié de la population des États-Unis, vous envisagez de prendre votre retraite plus tôt » : « Si vous êtes plus âgé que la moitié des Américains, vous prévoyez de prendre votre retraite plus tôt.
Ils étaient essentiellement formés à faire des recherches de la même manière que les journalistes écrivaient sur le baseball avant Moneyball. Tout joueur qui frappait trois home runs en une semaine était à coup sûr le nouveau MVP !
Seulement, dans le cas de la psychologie sociale, il était plus probable que 34 personnes à qui l’on avait dit d’éviter de manger des biscuits aux pépites de chocolat passaient plus de temps à travailler sur une énigme insoluble – et donc le fait de devoir éviter les biscuits vous rendait certainement moins disposé à faire des efforts sur une tâche mentale, et donc la maîtrise de soi était certainement une ressource commune qui était drainée par la résistance à la tentation. Parfois, cette découverte était tellement médiatisée que le président la mentionnait dans un discours.
Qu’est-ce que cela signifie pour vous et moi, qui essayons de lire des études de psychologie réalisées dans les années 80, 90 et au début des années 2000 ?
Pour comprendre cela, il faut aussi savoir que les chercheurs n’essaient généralement de publier que les études qui montrent un « effet », c’est-à-dire une différence entre les groupes.
Les statisticiens ont démontré par des simulations formelles que lorsque vous combinez le biais de publication (une tendance à ne publier que les résultats qui montrent un effet) avec des tailles d’échantillon trop petites, vous pouvez obtenir une littérature publiée avec des effets qui sont 5 à 10 fois trop importants – et qui vont souvent dans la mauvaise direction (par exemple, les ruptures rendent moins triste !).
Sachant ce qu’il en est de la taille des échantillons, j’ajoute toujours la clause de non-responsabilité relative à la petite taille de l’échantillon lorsque je lis des recherches en psychologie. La plupart des études qui semblent présenter des résultats « passionnants au niveau du MVP » ne sont probablement qu’une parenthèse intéressante jusqu’à ce que nous obtenions davantage d’informations.
