Papuga stochastyczna

Papuga stochastyczna[1] – metafora wprowadzona przez Emily M. Bender i współpracowników w artykule z 2021, w którym duże modele językowe (LLMy) ujęte są jako systemy, które statystycznie naśladują tekst bez rzeczywistego zrozumienia[2][3].

Późniejsze badania i komentarze ekspertów, w tym badania porównawcze i analizy przeprowadzone przez Geoffreya Hintona, zakwestionowały tę metaforę, dokumentując pojawiające się umiejętności rozumowania i rozwiązywania problemów we współczesnych LLMach[4][5].

Użycie

Papuga stochastyczna jest neologizmem używanym przez sceptyków sztucznej inteligencji do sugerowania braku zrozumienia przez LLMy[3]. Jego zastosowanie rozszerzyło się jeszcze bardziej, gdy Sam Altman, dyrektor generalny Open AI, użył tego terminu ironicznie, pisząc na Twitterze: „i am a stochastic parrot and so r u” (pol. "jestem papugą stochastyczną, jak i ty"), pokazując, że przez taki tok rozumowania, można również deprecjonować ludzi jako zwykłych predyktorów następnego słowa, które po prostu generują statystycznie prawdopodobne sekwencje[3].

Debata

Niektóre LLMy, takie jak ChatGPT, są w stanie komunikować się z użytkownikami, prowadząc konwersacje przypominające te prowadzone przez ludzi[6]. Rozwój tych nowych systemów pogłębił dyskusję na temat tego, w jakim stopniu LLM-y rozumieją wiedzę, a w jakim tylko ją „powtarzają”.

Subiektywne doświadczenia

W umyśle człowieka słowa i język odpowiadają rzeczom, których doświadczył[7]. W przypadku LLMów słowa mogą odpowiadać wyłącznie innym słowom i wzorcom użycia wprowadzonym do danych treningowych[8][9][2]. Zwolennicy teorii papug stochastycznych dochodzą zatem do wniosku, że LLMy nie są w stanie faktycznie rozumieć języka[8][2].

Halucynacje

Potwierdza się tendencję LLMów do przedstawiania fałszywych informacji jako faktów[10]. Halucynacje to zjawisko,generowania informacji pasujących do pewnego wzorca, ale nie do rzeczywistości[8][9]. Fakt, że LLMy nie potrafią odróżnić faktów od fikcji, prowadzi do twierdzenia, że nie potrafią połączyć słów ze zrozumieniem świata, co powinno być cechą języka[8].

Benchmarki i eksperymenty

Jednym z argumentów przeciwko hipotezie, że LLM-y są stochastycznymi papugami, są ich wyniki w benchmarkach dotyczących rozumowania, zdrowego rozsądku i rozumienia języka. W 2023 niektóre LLMy uzyskały dobre wyniki w wielu testach rozumienia języka, takich jak Super General Language Understanding Evaluation (SuperGLUE)[9][11]. Test GPT-4 uzyskał wynik ponad 90% w teście Uniform Bar Examination i 93% dokładności w teście matematycznym zadań olimpiady szkolnej, co przewyższa oczekiwania w zakresie dopasowywania wzorców[12]. Według badania z 2022 takie testy i płynność wielu odpowiedzi LLM sprawiają, że aż 51% specjalistów ds. sztucznej inteligencji wierzy, że przy wystarczającej ilości danych mogą naprawdę rozumieć język[9].

Odpowiedzi ekspertów

Wiodący badacze sztucznej inteligencji kwestionują pogląd, że LLMy po prostu papugują dane treningowe.

  • Geoffrey Hinton twierdzi, że „aby dokładnie przewidzieć następne słowo, trzeba zrozumieć zdanie” – pogląd ten przedstawił w programie 60 Minutes w 2023. Wykorzystuje również łamigłówki logiczne, aby wykazać, że LLMy rzeczywiście rozumieją język[13].
  • Raport techniczny GPT-4 wykazał wyniki na poziomie ludzkim w egzaminach zawodowych i akademickich (np. Uniform Bar Exam i USMLE), co podważa charakterystykę tzw papugowania[12].

Zobacz też

Przypisy

  1. ↑ Czy sztuczna inteligencja nas zje? Wszystko co chcemy wiedzieć o AI, a boimy się zapytać - w rozmowie z naszym ekspertem Maciejem Jaworskim [online], Politechnika Krakowska im. Tadeusza Kościuszki, 26 marca 2025.
  2. 1 2 3 Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜, FAccT '21, New York, NY, USA: Association for Computing Machinery, 1 marca 2021, s. 610–623, DOI: 10.1145/3442188.3445922, ISBN 978-1-4503-8309-7 [dostęp 2025-07-06].
  3. 1 2 3 Ben Zimmer, ‘Stochastic Parrot’: A Name for AI That Sounds a Bit Less Intelligent [online], WSJ [dostęp 2025-07-06] (ang.).
  4. ↑ Sébastien Bubeck i inni, Sparks of Artificial General Intelligence: Early experiments with GPT-4, arXiv, 13 kwietnia 2023, DOI: 10.48550/arXiv.2303.12712 [dostęp 2025-07-06].
  5. ↑ 60 Minutes during his tenure at the venerable CBS newsmagazine Read Full Bio Scott Pelley, Geoffrey Hinton on the promise, risks of artificial intelligence | 60 Minutes - CBS News [online], www.cbsnews.com, 16 czerwca 2024 [dostęp 2025-07-06] (ang.).
  6. ↑ Konstantine Arkoudas, ChatGPT is no Stochastic Parrot. But it also Claims that 1 is Greater than 1, „Philosophy & Technology”, 36 (3), 2023, s. 54, DOI: 10.1007/s13347-023-00619-6, ISSN 2210-5441 [dostęp 2025-07-06] (ang.).
  7. ↑ Usama M. Fayyad, From Stochastic Parrots to Intelligent Assistants—The Secrets of Data and Human Interventions, „IEEE Intelligent Systems”, 38 (3), 2023, s. 63–67, DOI: 10.1109/MIS.2023.3268723, ISSN 1941-1294 [dostęp 2025-07-06].
  8. 1 2 3 4 Walid S. Saba, Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs, arXiv, 14 września 2023, DOI: 10.48550/arXiv.2309.05918 [dostęp 2025-07-06].
  9. 1 2 3 4 Melanie Mitchell, David C. Krakauer, The Debate Over Understanding in AI's Large Language Models, arXiv, 10 lutego 2023, DOI: 10.48550/arXiv.2210.13966 [dostęp 2025-07-06].
  10. ↑ Usama M. Fayyad. From Stochastic Parrots to Intelligent Assistants—The Secrets of Data and Human Interventions. „IEEE Intelligent Systems”. 38 (3), s. 63–67, 2023-05-26. DOI: 10.1109/MIS.2023.3268723. ISSN 1541-1672.
  11. ↑ Alex Wang i inni, SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems, arXiv, 13 lutego 2020, DOI: 10.48550/arXiv.1905.00537 [dostęp 2025-07-06].
  12. 1 2 OpenAI i inni, GPT-4 Technical Report, arXiv, 4 marca 2024, DOI: 10.48550/arXiv.2303.08774 [dostęp 2025-07-06].
  13. ↑ "Godfather of AI" Geoffrey Hinton: The 60 Minutes Interview. 60 Minutes 2023-10-09. [dostęp 2025-07-07].

Linki zewnętrzne

This article is issued from Wikipedia. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.