L’effet Dunning-Kruger, entre erreurs d’autoévaluation et pièges statistiques

En 1999, Justin Kruger et David Dunning publient quatre études menées auprès d'étudiants de Cornell. Les épreuves portent notamment sur la logique et la grammaire anglaise ; une autre demande d'apprécier des plaisanteries. Les participants évaluent ensuite leur compétence ou leur performance par rapport à leurs pairs. Les chercheurs rapprochent ces estimations des résultats obtenus, en répartissant les personnes en quatre groupes selon leur score.

Le quart le moins performant se surestime fortement. Le résumé de l'article donne deux repères moyens, un rang réel au 12e percentile et un rang estimé au 62e. Être au 12e percentile signifie se situer au-dessus d'environ 12 % du groupe de comparaison. Cela ne signifie donc pas avoir répondu correctement à 12 % des questions.

Ces nombres décrivent un décalage entre deux positions. Imaginons une personne qui se croit légèrement au-dessus du milieu du groupe, alors que son résultat la place près du bas. Elle se trompe beaucoup sur son classement sans nécessairement se croire exceptionnelle. Il faut donc distinguer le niveau que l'on s'attribue de l'ampleur de son erreur.

L'explication proposée fait intervenir la métacognition, la capacité à apprécier la qualité de son propre raisonnement. Les connaissances nécessaires pour réussir une tâche peuvent aussi aider à repérer une réponse incorrecte. Dans cette hypothèse, une difficulté à faire juste s'accompagne parfois d'une difficulté à voir où l'on s'est trompé.

On peut l'illustrer par une situation imaginaire. Une personne applique une règle de grammaire mal comprise et relit sa phrase avec cette même règle en tête. Sa relecture lui semble confirmer sa réponse. Pour que la vérification l'aide, il lui faudrait disposer d'un critère qui permette de mettre cette règle à l'épreuve. L'exemple rend l'hypothèse intuitive, sans suffire à la démontrer.

Les auteurs ont cherché à dépasser la simple comparaison des scores. Dans leur quatrième étude, une courte formation au raisonnement logique aide les participants initialement les moins performants à mieux reconnaître leurs erreurs et à revoir leurs estimations. Le résultat est compatible avec leur explication. Il concerne toutefois une intervention précise, dans un exercice donné ; il ne permet pas de conclure qu'une personne peu compétente serait durablement incapable d'apprendre à se juger.

Une image familière représente une assurance qui monte très vite chez le débutant, s'effondre avec l'apprentissage, puis remonte lentement. Les graphiques de 1999 comparent des groupes classés selon leur performance à un test. Ils ne suivent pas les mêmes personnes au fil de leur apprentissage. On ne peut pas transformer ces comparaisons en étapes obligatoires d'une progression individuelle.

Autre glissement fréquent, affirmer que les moins compétents seraient les plus sûrs d'eux. Une erreur d'autoévaluation plus grande ne signifie pas une estimation de soi plus haute. Dans un exemple fictif, une personne située au 10e percentile se place au 55e ; une autre, située au 90e, se place au 75e. La première se surestime davantage, alors que la seconde s'attribue le meilleur rang.

Les auteurs précisent aussi que leur analyse concerne des compétences particulières. Un mauvais résultat dans un domaine ne suffit pas à attribuer une incompétence générale. Employer leur nom comme une étiquette pour disqualifier quelqu'un dans une conversation dépasse donc la portée de ces mesures. On peut examiner une affirmation et demander comment elle a été vérifiée, sans prétendre connaître les capacités de la personne qui l'énonce.

La critique statistique part d'un problème simple. Le score à un test et l'estimation personnelle ne coïncident pas parfaitement. Si l'on sélectionne les scores les plus faibles, les estimations correspondantes tendent à être moins extrêmes, donc plus proches du centre. À l'autre bout du classement, le mouvement est inverse. C'est une forme de régression vers la moyenne, qui peut produire une figure ressemblante sans supposer un déficit particulier chez les moins performants.

Ajoutons une tendance générale à se placer au-dessus de la moyenne. Le décalage devient alors plus grand en bas du classement et plus faible en haut. La fiabilité imparfaite du test complique encore la comparaison, puisqu'un résultat ponctuel ne mesure pas exactement une compétence durable.

Les bornes comptent également. À proximité de zéro, une estimation a davantage de place pour dépasser le score que pour lui être inférieure ; près du maximum, l'asymétrie s'inverse. En 2022, une étude portant sur les prévisions de notes de 665 étudiants ajuste très bien les données avec un modèle statistique tenant compte de bornes. Cela montre qu'une forme graphique peut avoir plusieurs explications. Sa ressemblance avec le dessin attendu ne permet pas, seule, de choisir entre elles.

En 2020, Gilles Gignac et Marcin Zajenkowski examinent les réponses de 929 participants ayant évalué leur intelligence et passé une épreuve de raisonnement. Ils proposent des analyses qui évitent le découpage en quartiles. Avec ces méthodes, leurs données ne soutiennent pas l'effet spécifique recherché. Ils jugent possible que certaines compétences présentent un tel effet, avec une ampleur moindre que celle suggérée par les graphiques habituels.

Le débat comprend aussi des travaux favorables à l'explication métacognitive. En 2008, Joyce Ehrlinger et ses collègues rapportent cinq études, dont certaines en situation réelle ou avec des récompenses pour une estimation exacte. Ils défendent l'idée que les erreurs observées ne se réduisent pas aux explications statistiques alors proposées.

Ces recherches ne mesurent pas toutes la même chose. Estimer son nombre de bonnes réponses et deviner sa position parmi les autres demandent des informations différentes. Pour juger une conclusion, il faut donc regarder quelle estimation était demandée et quel résultat servait de référence. Une étude sur le raisonnement ne règle pas à elle seule le cas de toutes les autres compétences. Inversement, retrouver une surestimation dans plusieurs situations ne prouve pas que son mécanisme soit toujours identique.

La conclusion prudente conserve plusieurs niveaux. L'article de 1999 documente de fortes erreurs d'autoévaluation chez les participants les moins performants de ses échantillons. L'explication par un manque de connaissances utiles à l'évaluation bénéficie de résultats expérimentaux. Son importance propre reste discutée, car des mécanismes statistiques peuvent produire une part du motif observé.

Pour une utilisation personnelle, on peut en tirer une invitation à préciser ses critères plutôt qu'à surveiller son seul sentiment de confiance. Supposons que vous appreniez à reconnaître des oiseaux. Avant de consulter la réponse, notez votre identification et votre degré d'assurance. Comparez ensuite votre réponse à une référence fiable, en examinant les indices qui auraient permis de la corriger. Cette proposition ne dépend d'aucune courbe universelle et donne un contenu vérifiable à l'autoévaluation.

Vous pourrez distinguer une erreur commise avec hésitation d'une erreur qui vous semblait impossible. Il sera aussi utile de regarder sur quels cas vous réussissez, au lieu de vous attribuer un niveau global après une seule rencontre. Pour savoir si une estimation est bonne, il faut encore la confronter à un résultat et discuter la qualité de cette comparaison.

• Kruger et Dunning (1999), Unskilled and Unaware of It, Journal of Personality and Social Psychology ; copie hébergée par l’Université du Michigan
• Ehrlinger et al. (2008), Why the Unskilled Are Unaware, Organizational Behavior and Human Decision Processes / PubMed Central
• Gignac et Zajenkowski (2020), The Dunning-Kruger effect is (mostly) a statistical artefact, Intelligence / University of Western Australia
• A Statistical Explanation of the Dunning–Kruger Effect (2022), Frontiers in Psychology

Visuel : Illustration générée par IA (Codex, outil image_gen) pour Les petits détours, Usage éditorial — Les petits détours.

Signaler une erreur