Quantifying the prevalence and impact of overreaching causal claims in social science

Beaucoup d'études en sciences sociales reposent sur des protocoles transversaux, qui mesurent des associations et ne permettent pas d'établir une cause. Leurs auteurs affirment pourtant souvent la cause. Les chercheurs ont passé 194 631 articles transversaux au crible de modèles de langage. Sur la période 1980 à 2024, 46 % en moyenne emploient un vocabulaire causal dans leur titre ou leur résumé, et cette part a presque triplé depuis 2000, passant de 20 % à 60 %. Une expérience auprès de 1 105 lecteurs montre que ce vocabulaire les conduit effectivement à y lire une preuve de causalité, et que deux correctifs atténuent l'effet : nommer explicitement la méthode et employer un vocabulaire associatif. Dernier résultat, décisif à l'heure des résumés générés : testés sur cinq modèles de langage, les résumés automatiques amplifient l'excès, retirant les précautions et introduisant des affirmations causales là où l'article original restait strictement associatif. Demander explicitement de la prudence réduit ce dérapage.

Analyse à grande échelle de 194 631 articles transversaux par modèles de langage, sur la période 1980 à 2024, pour détecter le vocabulaire causal dans les titres et résumés. Expérience sur sujets humains (N = 1 105) mesurant la lecture causale d'un résumé selon sa formulation : les étiquettes méthodologiques (bêta = -0,4, intervalle de confiance à 95 % de -0,56 à -0,19) et le vocabulaire associatif (bêta = -0,3, intervalle de -0,43 à -0,07) réduisent la lecture causale. Expériences complémentaires sur cinq modèles de langage (N = 100 résumés chacun). Publié dans Nature Human Behaviour.