Les critiques d’articles générées par l’intelligence artificielle sont « désormais meilleures » que ce que les meilleurs humains peuvent produire à tous points de vue, ont admis deux professeurs de Harvard, même si cela jette le doute sur l’avenir de leur propre service d’évaluation par les pairs.
Gary King, directeur de l'Institut des sciences sociales quantitatives de l'Université Harvard, et Steven Worthington, directeur de la science des données à l'IQSS, ont enquêté sur les articles soumis à rapidePeerleur service d'évaluation par les pairs en double aveugle destiné aux membres du corps professoral universitaire.
« Lorsque nous avons écrit ceci, nous pensions que nous trouverions une bonne justification pour la révision humaine, et donc pour notre rapidePeer organisation… et c'est une organisation très appréciée », a déclaré King.
Depuis sa création en 2019, rapidePeer a été étendu à plusieurs autres institutions.
Mais ce n’est « pas ce que nous avons trouvé », et par la suite, a déclaré King, « nous allons devoir faire pivoter ce que fait l’organisation ».
Le service, inventé par l'institut, fournit des « examens de qualité en double aveugle » des brouillons papier avant qu'ils ne soient officiellement soumis à une revue. Dans le cadre de cette initiative, les évaluateurs sont « (bien) payés pour leur temps » et sont incités à faire du « bon travail », indique le journal. Les deux hommes ont affirmé que les rédacteurs de grandes revues ont déclaré que les critiques étaient « parmi les meilleures » qu’ils aient vues.
L’aspect payant est atypique dans le monde universitaire car la révision des articles est généralement effectuée sans rémunération.
La paire a pris 134 critiques écrites par des humains sur 124 articles scientifiques soumis entre 2019 et 2026 et a généré une revue d’IA équivalente à l’aide de l’outil Claude Opus d’Anthropic. Les articles couvraient un large éventail de domaines de recherche, y compris les analyses statistiques de données empiriques et les études purement qualitatives.
Ils ont choisi un modèle différent, le GPT-5.5 d'OpenAI, pour servir de juge de l'IA et ont fait appel à trois anciens rédacteurs de grandes revues scientifiques pour examiner 10 paires de critiques sélectionnées au hasard et les classer. Les juges humains et IA ont reçu le même rapidePeer critères pour évaluer la qualité de l’examen.
L'IA a battu l'évaluation humaine dans 100 % des paires dans l'ensemble lorsqu'elle est jugée par un autre modèle d'IA et dans 87 % lorsqu'elle est jugée par les éditeurs de revues humaines, selon un article qui n'a pas encore été évalué par des pairs. « Les résultats sont sans ambiguïté : quelle que soit la façon dont nous examinons les données, l’IA gagne », ajoute-t-il.
De plus, l’examen de l’IA a obtenu une « note moyenne plus élevée » dans les sept domaines évalués : « sources, faiblesses, méthodes, théorie et idée, cadrage, communication et chiffres et tableaux ».
King a déclaré que les opportunités pour l’IA de rendre le processus d’examen plus efficace sont « énormes ».
« Imaginez un processus de révision qui prend une semaine et demie », a-t-il déclaré.
Dans l'évaluation par les pairs, les évaluateurs, les auteurs et les éditeurs essaient de ne pas s'offenser les uns les autres, a expliqué King. L’IA « supprime cette flagornerie », a-t-il déclaré, ce qu’il considère comme une inefficacité majeure dans le processus actuel.
Mais King, un chercheur de premier plan en méthodologie politique qui a son propre chatbot « GaryAI » sur son profil à Harvard, a déclaré que l’IA présentait également des dangers. Par exemple, « OpenAI et Anthropic devraient-ils décider de ce qu'est une bonne science ? » il a demandé.
Le document indique que « l’IA profite à chacun d’entre nous, mais risque de rendre les efforts collectifs de la science plus homogènes et ordinaires », citant des études qui montrent que l’IA tend « vers les idées conventionnelles, orthodoxes et majoritaires ». Les revues d’IA peuvent également présenter les mêmes problèmes, « poussant potentiellement les articles individuels et la science dans son ensemble vers des arguments et des conclusions homogènes », préviennent les auteurs.
King et Worthington poursuivent en citant les changements de politique potentiels que les revues pourraient mettre en œuvre compte tenu de leurs conclusions. La solution la plus « réaliste » qu’ils citent est que certaines revues pourraient éviter « l’utilisation routinière de critiques humaines ».
Un éditeur de revue pourrait plutôt simplement examiner un « dossier soumis par l'auteur (comprenant l'article, la revue d'IA générée à partir de l'invite officielle d'IA de la revue et la réponse de l'auteur à l'IA) ». Cette révision pourrait être facilitée par une nouvelle révision par l'IA générée par des invites privées choisies par l'éditeur et, seulement si cela est jugé nécessaire, par une révision humaine.
D'autres avantages de l'examen de l'IA identifiés par l'étude comprenaient une plus grande précision et moins de risques de biais dans le processus, selon King.
« Si nous parvenons à mettre en place de bonnes politiques, le travail du rédacteur en chef pourrait alors être amélioré et intéresser davantage les personnes de grande qualité que la communauté scientifique attire pour ce travail », concluent les auteurs.
