GPT-1

GPT-1
Tipustransformadors generatius pre-entrenats Modifica el valor a Wikidata
CriptònimGPT-1 i Finetuned Transformer LM Modifica el valor a Wikidata
Data d'anunci11 juny 2018 Modifica el valor a Wikidata
Versió inicial11 juny 2018 Modifica el valor a Wikidata
Versió estable
110M (11 juny 2018) Modifica el valor a Wikidata
Úsprocessament del llenguatge natural i generació de llenguatge natural Modifica el valor a Wikidata
Llicènciallicència MIT Modifica el valor a Wikidata
Característiques tècniques
Utilitzaaprenentatge per transferència i aprenenentatge no supervisat Modifica el valor a Wikidata
Mida110000000 paràmetres Modifica el valor a Wikidata
Equip
Desenvolupador(s)OpenAI Modifica el valor a Wikidata
Més informació
Lloc webopenai.com… (anglès) Modifica el valor a Wikidata
GPT-2 Modifica el valor a Wikidata →
Logotip de flor d'OpenAI, utilitzat des del febrer del 2025

El Transformador Preentrenat Generatiu 1 (GPT-1) representa el primer dels models de llenguatge grans d'OpenAI després de la invenció de l'arquitectura del transformador per part de Google el 2017.[1] El juny de 2018, OpenAI va publicar un article titulat "Millora de la comprensió del llenguatge mitjançant el preentrenament generatiu",[2] en què van introduir aquest model inicial juntament amb el concepte general d'un transformador preentrenat generatiu.[3]

Arquitectura GPT original

Fins a aquell moment, els models de PNL neuronal amb millor rendiment empraven principalment l'aprenentatge supervisat a partir de grans quantitats de dades etiquetades manualment. Aquesta dependència de l'aprenentatge supervisat limitava el seu ús de conjunts de dades que no estaven ben anotats, a més de fer que fos prohibitivament car i laboriós entrenar models extremadament grans;[4][5] moltes llengües (com el suahili o el crioll haitià) són difícils de traduir i interpretar utilitzant aquests models a causa de la manca de text disponible per a la construcció de corpus.[5] En canvi, l'enfocament "semisupervisat" d'un GPT implicava dues etapes: una etapa de "preentrenament" generatiu no supervisat en què s'utilitzava un objectiu de modelització lingüística per establir paràmetres inicials, i una etapa d'"afinament fi" discriminatiu supervisat en què aquests paràmetres s'adaptaven a una tasca objectiu.[4]

L'ús d'una arquitectura de transformador, a diferència de les tècniques anteriors que implicaven RNN augmentades per l'atenció, va proporcionar als models GPT una memòria més estructurada que la que es podia aconseguir mitjançant mecanismes recurrents; això va resultar en un "rendiment de transferència robust en diverses tasques".[6]

Arquitectura

L'arquitectura GPT-1 és un transformador només de descodificador de dotze capes, que utilitza dotze capçals d'autoatenció emmascarats, amb estats de 64 dimensions cadascun (per a un total de 768). En lloc d'un simple descens de gradient estocàstic, es va utilitzar l'algorisme d'optimització Adam; la taxa d'aprenentatge es va augmentar linealment des de zero durant les primeres 2.000 actualitzacions fins a un màxim de 2,5 × 10−4, i es va reduir a 0 mitjançant una programació de cosinus.[7] GPT-1 té 117 milions de paràmetres.[8]

Tot i que l'ajustament fi es va adaptar a tasques específiques, el seu entrenament previ no ho va ser; per dur a terme les diverses tasques, es van realitzar canvis mínims a la seva arquitectura de model subjacent agnòstica a la tasca.[9] Malgrat això, GPT-1 encara va millorar els punts de referència anteriors en diverses tasques de processament del llenguatge, superant els models entrenats discriminativament amb arquitectures orientades a tasques en diverses tasques diverses.[9]

Rendiment i avaluació

El GPT-1 va aconseguir una millora del 5,8% i l'1,5% respecte als millors resultats anteriors[10] en tasques d'inferència del llenguatge natural (també coneguda com a implicació textual), avaluant la capacitat d'interpretar parells d'oracions de diversos conjunts de dades i classificar la relació entre elles com a "implicació", "contradicció" o "neutral".[10] Exemples d'aquests conjunts de dades inclouen QNLI (articles de la Viquipèdia) i MultiNLI (discurs transcrit, ficció popular i informes governamentals, entre altres fonts);[11] De manera similar, va superar els models anteriors en dues tasques relacionades amb la resposta a preguntes i el raonament de sentit comú: en un 5,7% en RACE,[12] un conjunt de dades de parells de preguntes i respostes escrites d'exàmens de secundària i batxillerat, i en un 8,9% en el Story Cloze Test.[13]

GPT-1 va millorar els models anteriors de millor rendiment en un 4,2% en la similitud semàntica (o detecció de paràfrasis), avaluant la capacitat de predir si dues frases són paràfrasis l'una de l'altra, utilitzant el conjunt de dades Quora Question Pairs (QQP).[14]

El GPT-1 va aconseguir una puntuació de 45,4, en comparació amb el rècord anterior de 35,0[15] en una tasca de classificació de text utilitzant el Corpus d'Acceptabilitat Lingüística (CoLA). Finalment, el GPT-1 va aconseguir una puntuació global de 72,8 (en comparació amb un rècord anterior de 68,9) a GLUE, una prova multitasca.[16]

Referències

  1. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion Advances in Neural Information Processing Systems, 30, 2017.
  2. ↑ Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  3. ↑ «GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared» (en anglès), 11-04-2023. Arxivat de l'original el 2023-04-15. [Consulta: 29 abril 2023].
  4. 1 2 Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  5. 1 2 Tsvetkov, Yulia. «Opportunities and Challenges in Working with Low-Resource Languages» (en anglès). Carnegie Mellon University, 22-06-2017. Arxivat de l'original el 31 March 2020. [Consulta: 23 gener 2021].
  6. ↑ Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  7. ↑ Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  8. ↑ «GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared» (en anglès), 11-04-2023. Arxivat de l'original el 2023-04-15. [Consulta: 29 abril 2023].
  9. 1 2 Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  10. 1 2 Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  11. ↑ Williams, Adina. «A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference» (en anglès). Association for Computational Linguistics, 01-06-2018. Arxivat de l'original el 11 February 2020. [Consulta: 23 gener 2021].
  12. ↑ RACE: Large-scale ReAding Comprehension Dataset From Examinations.
  13. ↑ Mostafazadeh, Nasrin. «LSDSem 2017 Shared Task: The Story Cloze Test» (en anglès). Association for Computational Linguistics, 03-04-2017. Arxivat de l'original el 22 November 2020. [Consulta: 23 gener 2021].
  14. ↑ Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  15. ↑ Radford, Alec. «Improving Language Understanding by Generative Pre-Training» (en anglès) p. 12. OpenAI, 11-06-2018. Arxivat de l'original el 26 January 2021. [Consulta: 23 gener 2021].
  16. ↑ GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding.
This article is issued from Viquipèdia. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.