Spazio latente

Uno spazio latente, noto anche come spazio delle caratteristiche latenti o spazio di immersione, è un embedding di un insieme di elementi all'interno di una varietà in cui elementi simili sono posizionati più vicini fra loro. La posizione all'interno dello spazio latente può essere considerata come definita da un insieme di variabili latenti che emergono dalle similarità tra gli oggetti.

Nella maggior parte dei casi, si sceglie uno spazio latente di dimensionalità inferiore a quella dello spazio delle caratteristiche da cui sono estratti i punti dati, il che rende la costruzione di uno spazio latente una forma di riduzione della dimensionalità, che può essere considerata anche come una forma di compressione dei dati. [1] Gli spazi latenti sono solitamente appresi tramite metodi di apprendimento automatico per poi definire rappresentazioni dei dati utili a costruire altri modelli di apprendimento, quali classificatori e altri predittori supervisionati.

L'interpretazione degli spazi latenti nei modelli di apprendimento automatico costituisce un'attiva area di ricerca, ma individuare precisamente tali interpretazioni rimane un compito sfidante. La natura "black-box" di questi modelli rende spesso lo spazio latente poco intuitivo, mentre le sue caratteristiche ad alta dimensionalità, complesse e non lineari ne rendono ancor più ardua la comprensione.[2] L'analisi della geometria dello spazio latente dei modelli di diffusione rivela una struttura frattale delle transizioni di fase nello spazio latente, caratterizzata da bruschi cambiamenti nella metrica di Fisher. [3]

Sono state sviluppate alcune tecniche di visualizzazione per collegare lo spazio latente al mondo visivo, ma spesso non esiste una connessione diretta tra l'interpretazione dello spazio latente e il modello stesso. Fra le altre tecniche, la t-SNE, in cui lo spazio latente viene mappato su due dimensioni per la visualizzazione. Le distanze dello spazio latente non hanno unità fisiche, quindi l'interpretazione di queste distanze può dipendere dall'applicazione.[4]

Modelli di incorporamento

Illustrazione visiva delle analogie quantitative negli embedding di parole

Sono stati sviluppati diversi modelli di embedding per eseguire questa trasformazione e creare proiezioni nello spazio latente, a partire da un insieme di elementi di dati e da una misura di similarità. Tali modelli imparano gli embedding sfruttando tecniche statistiche e algoritmi di apprendimento automatico. Alcuni modelli comunemente utilizzati sono i seguenti:

  1. Word2Vec : [5] Word2Vec è un modello di embedding molto diffuso nell'ambito dell'elaborazione del linguaggio naturale (NLP). Esso costruisce embedding di parole addestrando una rete neurale su un ampio corpus di testo. Word2Vec cattura le relazioni semantiche e sintattiche tra le parole, basandosi calcoli significativi come le analogie tra parole.
  2. GloVe: [6] GloVe (Global Vectors for Word Representation) è un altro modello di embedding ampiamente utilizzato per l'elaborazione del linguaggio naturale. Combina informazioni statistiche globali da un corpus con informazioni sul contesto locale per apprendere gli embedding di parole. È noto che gli embedding di GloVe riescono a catturare similarità sia semantiche sia relazionali tra le parole.
  3. Reti siamesi: [7] Le reti siamesi sono un tipo di architettura di rete neurale comunemente utilizzata per l'incorporamento basato sulla similarità. Sono costituite da due sotto-reti identiche che elaborano due campioni di input e producono i rispettivi incorporamenti. Le reti siamesi sono spesso utilizzate per attività come la similarità delle immagini, i sistemi di raccomandazione e il riconoscimento facciale.
  4. Autoencoder variazionali (VAE): [8] I VAE sono modelli generativi che imparano simultaneamente a codificare e decodificare i dati. Lo spazio latente nei VAE funge da spazio di incorporamento. Addestrando i VAE su dati ad alta dimensionalità, come immagini o audio, il modello impara a codificare i dati in una rappresentazione latente compatta. I VAE sono noti per la loro capacità di generare nuovi campioni di dati dallo spazio latente appreso.

Multimodalità

La multimodalità comporta l'analisi e l'integrazione di più modalità o tipologie di dati all'interno di un singolo modello o framework. L'integrazione di dati multimodali implica l'acquisizione di relazioni e interazioni tra diverse tipologie di dati, quali immagini, testo, audio e dati strutturati.

I modelli di embedding multimodale mirano ad apprendere rappresentazioni congiunte che combinano informazioni provenienti da più modalità, consentendo analisi e attività intermodali. Tali modelli consentono applicazioni come la creazione automatica di didascalie di immagini, il question answering visivo e l'analisi del sentiment multimodale.

Per incorporare dati multimodali, si utilizzano architetture specializzate come le reti profonde o transformer multimodali. Tali architetture combinano diversi tipi di moduli di reti neurali per elaborare e integrare informazioni provenienti da diverse modalità. Gli embedding risultanti catturano le complesse relazioni fra tipi di dati diversi, facilitando la loro analisi e comprensione multimodale.

Applicazioni

Lo spazio latente di embedding e i modelli di embedding multimodale hanno trovato numerose applicazioni in vari domini:

  • Ritrovamento delle informazioni: le tecniche di embedding favoriscono la definizione di sistemi efficienti di ricerca basati su similarità e di raccomandazione, rappresentando i punti dati in uno spazio compatto.
  • Elaborazione del linguaggio naturale: gli embedding di parole hanno rivoluzionato le attività NLP come l'analisi del sentiment, la traduzione automatica e la classificazione di documenti.
  • Visione artificiale: l'embedding di immagini e video consente attività quali il riconoscimento di oggetti, il ritrovamento di immagini e la sintesi di video.
  • Sistemi di raccomandazione: gli embedding aiutano a catturare le preferenze degli utenti e le caratteristiche degli articoli, consentendo raccomandazioni personalizzate.
  • Assistenza sanitaria: tecniche di embedding sono state applicate alle cartelle cliniche elettroniche, all'imaging medico e ai dati genomici per la previsione, la diagnosi e il trattamento delle malattie.
  • Sistemi sociali: tecniche di embedding possono essere utilizzate per apprendere rappresentazioni latenti di sistemi sociali come i sistemi di migrazione interna, [9] reti di citazioni accademiche, [10] e reti di commercio mondiale. [11]

Note

  1. ↑ (EN) Yang Liu, Eunice Jun e Qisheng Li, Latent Space Cartography: Visual Analysis of Vector Space Embeddings, in Computer Graphics Forum, vol. 38, n. 3, 2019, pp. 67–78, DOI:10.1111/cgf.13672.
  2. ↑ Ziqiang Li, Rentuo Tao e Jie Wang, Interpreting the Latent Space of GANs via Measuring Decoupling, in IEEE Transactions on Artificial Intelligence, vol. 2, n. 1, 2021-02, pp. 58–70, DOI:10.1109/TAI.2021.3071642.
  3. ↑ Lobashev A., Guskov D., Larchenko M., Tamm M., Hessian Geometry of Latent Space in Generative Models, su International Conference on Machine Learning ICML 2025, July 11, 2025.
  4. ↑ Georgios Arvanitidis, Lars Kai Hansen e Søren Hauberg, Latent Space Oddity: on the Curvature of Deep Generative Models, 13 dicembre 2021, DOI:10.48550/arXiv.1710.11379.
  5. ↑ Tomas Mikolov, Ilya Sutskever e Kai Chen, Distributed Representations of Words and Phrases and their Compositionality, 16 ottobre 2013, DOI:10.48550/arXiv.1310.4546.
  6. ↑ (EN) Jeffrey Pennington, Richard Socher e Christopher Manning, Glove: Global Vectors for Word Representation, Association for Computational Linguistics, 2014, pp. 1532–1543, DOI:10.3115/v1/D14-1162.
  7. ↑ (EN) Davide Chicco, Siamese Neural Networks: An Overview, Springer US, 2021, pp. 73–94, DOI:10.1007/978-1-0716-0826-5_3, ISBN 978-1-0716-0826-5.
  8. ↑ (EN) P. Kingma Diederik e Welling Max, An Introduction to Variational Autoencoders, in Foundations and Trends® in Machine Learning, vol. 12, n. 4, 28 novembre 2019, pp. 307–392, DOI:10.1561/2200000056.
  9. ↑ (EN) Furkan Gürsoy e Bertan Badur, Investigating internal migration with network analysis and latent space representations: an application to Turkey, in Social Network Analysis and Mining, vol. 12, n. 1, 6 ottobre 2022, pp. 150, DOI:10.1007/s13278-022-00974-w.
  10. ↑ (EN) Kimitaka Asatani, Junichiro Mori e Masanao Ochi, Detecting trends in academic research from a citation network using network representation learning, in PLOS ONE, vol. 13, n. 5, 21 mag 2018, pp. e0197260, DOI:10.1371/journal.pone.0197260.
  11. ↑ (EN) Guillermo García-Pérez, Marián Boguñá e Antoine Allard, The hidden hyperbolic geometry of international trade: World Trade Atlas 1870–2013, in Scientific Reports, vol. 6, n. 1, 16 settembre 2016, pp. 33441, DOI:10.1038/srep33441.

Voci collegate 

Questa voce è stata pubblicata da Wikipedia. Il testo è rilasciato in base alla licenza Creative Commons Attribution-Share Alike 4.0, salvo diversa indicazione. Potrebbero essere applicate clausole aggiuntive per i file multimediali.