Perroquet stochastique

Dans le domaine de l'apprentissage automatique (ou machine learning), le terme perroquet stochastique est une métaphore, introduite par Emily Bender et ses collègues dans un article de 2021, qui présente les grands modèles linguistiques comme des systèmes qui assemblent de manière aléatoire des formes linguistiques à partir d’un vaste corpus d’entraînement, sans modélisation explicite du sens ou de l’intention^[1],[2].

Le terme a été utilisé pour la première fois dans l'article « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? » de Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell (sous le pseudonyme « Shmargaret Shmitchell »)^[1],[2]. Les autrices y soutiennent que les grands modèles de langage (LLM) présentent des dangers tels que des coûts environnementaux et financiers élevés, et une opacité qui rend difficiles à détecter leurs biais potentiellement dangereux. Elles affirment également que ces modèles sont incapables de comprendre les concepts sous-jacents à ce qu’ils apprennent^[3].

Le mot « stochastique » – du grec ancien "στοχαστικός" ( stokhastikos, "basé sur des suppositions") – est un terme issu de la théorie des probabilités signifiant « déterminé aléatoirement »^[2]. Le mot « perroquet » fait référence à la capacité des perroquets à imiter le langage humain, sans en comprendre le sens^[2].

Dans leur article, Bender et al. soutiennent que les LLM relient de manière probabiliste des mots et des phrases sans tenir compte du sens. Par conséquent, ils sont qualifiés de simples « perroquets stochastiques »^[1]. Selon les spécialistes de l'apprentissage automatique Lindholm, Wahlström, Lindsten et Schön, cette analogie met en évidence deux limites essentielles^[4],[5] :

• Les grands modèles de langage (LLMs) sont limités par les données sur lesquelles ils ont été entraînés et se contentent de répéter de manière stochastique le contenu de ces corpus.
• Comme ils génèrent des sorties à partir de leurs données d’entraînement, les grands modèles de langage (LLMs) ne savent pas s’ils produisent des contenus incorrects ou inappropriés.

Lindholm et al. ont souligné que, lorsqu’un système d’apprentissage est entraîné sur des jeux de données de mauvaise qualité ou confronté à d’autres limitations, il peut produire des résultats « dangereusement erronés »^[4].

À la suite d'une revue interne, Google a demandé à Timnit Gebru de retirer l’article ou d’en supprimer les noms des employés de l’entreprise. En réponse, Gebru a formulé des exigences, parmi lesquelles la divulgation des commentaires des évaluateurs internes, faute de quoi elle quitterait l'entreprise. Google a décliné. Peu après, elle a reçu un email indiquant que l’entreprise « acceptait sa démission », bien qu’elle n’ait pas officiellement démissionné. Cet événement a provoqué une vague de protestation parmi les employés de Google, qui y ont vu une tentative de censure des travaux critiques sur l’IA^[6].

« Perroquet stochastique » est un néologisme utilisé par les sceptiques de l'IA pour signifier que les LLM ne comprennent pas le sens de leurs résultats. La véracité de cette affirmation est sujette à débat^[7],[8]. Le terme a une connotation négative^[2]. Sam Altman, PDG d'OpenAI, l'a utilisé lorsqu'il a tweeté : « je suis un perroquet stochastique, et toi aussi. »^[2] Ce terme a été désigné mot de l'année 2023 lié à l'IA par l'American Dialect Society^[9],[10].

• A. Lindholm, N. Wahlström, F. Lindsten et T. B. Schön, Machine Learning: A First Course for Engineers and Scientists, Cambridge University Press, 2022 (ISBN 978-1-108-84360-7)
• [vidéo] « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 »,‎ 13 juillet 2021, Alan Turing Institute Keynote by Emily Bender. The presentation was followed by a panel discussion.
• Bogost, « ChatGPT Is Dumber Than You Think: Treat it like a toy, not a tool », The Atlantic,‎ 7 décembre 2022 (lire en ligne, consulté le 17 janvier 2024)
• Noam Chomsky, « The False Promise of ChatGPT », The New York Times,‎ 8 mars 2023 (lire en ligne, consulté le 17 janvier 2024)
• Glenberg et Jones, « It takes a body to understand the world – why ChatGPT and other language AIs don't know what they're saying », The Conversation,‎ 6 avril 2023 (lire en ligne, consulté le 17 janvier 2024)
• D. McQuillan, Resisting AI: An Anti-fascist Approach to Artificial Intelligence, Bristol University Press, 2022 (ISBN 978-1-5292-1350-8)
• E. Thompson, Escape from Model Land: How Mathematical Models Can Lead Us Astray and What We Can Do about It, Basic Books, 2022 (ISBN 978-1-5416-0098-0)
• « Sur les dangers des perroquets stochastiques : les modèles de langage peuvent-ils être trop grands ? » sur Wikimedia Commons

• Auto-complétion
• Chambre chinoise
• Réseau de neurones artificiels
• Apprentissage profond
• Intelligence artificielle générative

• Portail de l’intelligence artificielle
• Portail des données