ELMo

ELMo — це одна з систем вкладання слів для представляння слів та фраз як векторів.[1] Лексеми рівня символів беруть як входи до двоспрямованої ДКЧП, що виробляє вкладення рівня слів. Як і BERT (але на відміну від вкладень слів, які виробляють підходи «торби слів» та раніші векторні підходи, такі як word2vec та GloVe), вкладання ELMo є чутливими до контексту, виробляючи відмінні представлення для слів, що мають однакове написання, але різні значення (омоніми), такі як англ. bank у англ. river bank (річковий берег) та англ. bank balance (банківський залишок).[2]

Її побудував та підтримує Інститут Аллена науки про мозок та Вашингтонський університет[3].

Примітки

  1. ↑ Peters ME, Neumann M, Iyyer M, Gardner M, Clark C, Lee K, Zettlemoyer L (2018). Deep contextualized word representations. arXiv:1802.05365. {{cite arXiv}}: |arxiv= є обов'язковим параметром (довідка)Обслуговування CS1: Сторінки з пропущеним параметром class (посилання) (англ.)
  2. ↑ How to use ELMo Embedding in Bidirectional LSTM model architecture?. www.insofe.edu.in (амер.). 2020–02–11GMT+000007:28:49+00:00. Архів оригіналу за 4 квітня 2023. Процитовано 4 квітня 2023.{{cite web}}: Обслуговування CS1: Сторінки з неправильним форматом в діапазонах дат (посилання)
  3. ↑ Архівована копія. Архів оригіналу за 29 жовтня 2020. Процитовано 27 жовтня 2020.{{cite web}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title (посилання)


This article is issued from Вікіпедія. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.