Matrice aleatoria

Enrico Fermi e collaboratori furono i primi che, tramite esperimenti, mostrarono che i nucleoni all’interno di un nucleo atomico non possono essere modellati come particelle che si muovono indipendentemente. Dunque questa osservazione indusse Niels Bohr alla formulazione del concetto di nucleo composto^[7], secondo il quale le interazioni tra nucleoni, prima di decadere, danno luogo a stati intermedi. Fu questa teoria, nell’ambito della fisica nucleare, la prima ad utilizzare gli strumenti delle matrici aleatorie, al di fuori della letteratura matematica^[3].

In assenza di una conoscenza dettagliata delle interazioni dirette tra nucleoni, Eugene Wigner propose di modellare l’Hamiltoniana nucleare come una matrice aleatoria^[3]. Per atomi con un numero elevato di nucleoni, la distribuzione degli autovalori dell’Hamiltoniana poteva essere utilizzata per stimare le sezioni d’urto dei processi di scattering, facendo ricorso alla distribuzione di Wishart^[3].

Negli anni successivi, Freeman Dyson formalizzò ulteriormente il quadro teorico introducendo il concetto di ensemble di matrici aleatorie, in particolare classificando i cosiddetti ensemble classici (gaussiano ortogonale, unitario e simplettico), noti con l’acronimo inglese GOE, GUE e GSE^[4]. Tali ensemble descrivono differenti simmetrie fisiche associate all’Hamiltoniana, e si distinguono per il comportamento statistico degli autovalori^[4].

Oltre alla fisica nucleare, la teoria delle matrici aleatorie ha trovato applicazioni in numerosi altri contesti, tra cui la fisica delle particelle, i sistemi disordinati (come la teoria della localizzazione di Anderson), la teoria dei numeri, la finanza quantitativa, e più recentemente, l’apprendimento automatico^[6].

In particolare, sviluppi recenti nel campo del deep learning hanno mostrato che modelli di reti neurali profonde possono essere analizzati utilizzando strumenti della teoria delle matrici aleatorie^[8]. Le matrici dei pesi nelle reti neurali, soprattutto dopo l’addestramento, presentano spettro e proprietà statistiche che possono essere descritte in termini di distribuzioni di Wigner o Marčenko–Pastur. Tali osservazioni hanno portato alla nascita di una nuova disciplina, talvolta chiamata “Random Matrix Theory for Deep Learning”, che fornisce una cornice teorica per analizzare generalizzazione, dinamiche di apprendimento e stabilità nei modelli neurali complessi^[8][9].

Una matrice aleatoria è una funzione misurabile definita su uno spazio di probabilità, i cui valori sono matrici a coefficienti reali o complessi. Formalmente, data una tripla ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ che rappresenta uno spazio di probabilità, una matrice aleatoria è una funzione^[1]

${\displaystyle X\colon \Omega \to \mathbb {K} ^{n\times n}}$

dove ${\displaystyle \mathbb {K} =\mathbb {R} }$ oppure ${\displaystyle \mathbb {C} }$, e ogni elemento ${\displaystyle X_{ij}(\omega )}$ della matrice è una variabile aleatoria. La distribuzione congiunta degli elementi (oppure degli autovalori) della matrice è specificata da un modello probabilistico, detto ensemble^[1][2][10].

Tra i casi più studiati si trovano:^[2]

• le matrici di Wigner, simmetriche o hermitiane, con elementi indipendenti a media nulla;
• le matrici di Wishart, definite come ${\displaystyle W=XX^{\top }}$ a partire da matrici gaussiane;
• l'ensemble di Ginibre, costituito da matrici non hermitiane con entrate gaussiane indipendenti.

In molti casi, l'interesse principale non risiede negli elementi della matrice, ma nel comportamento statistico degli autovalori, ad esempio mediante la misura spettrale empirica

${\displaystyle \mu _{X}:={\frac {1}{n}}\sum _{i=1}^{n}\delta _{\lambda _{i}},}$

dove ${\displaystyle \lambda _{1},\dots ,\lambda _{n}}$ sono gli autovalori della matrice ${\displaystyle X}$. Tale approccio è alla base della moderna teoria delle matrici aleatorie e delle sue applicazioni in fisica teorica, statistica multivariata, teoria dei numeri e apprendimento automatico^[6].

Nel contesto della teoria delle matrici aleatorie, un ensemble è una famiglia di matrici aleatorie dotata di una distribuzione di probabilità specifica, spesso determinata da proprietà di simmetria. Gli ensemble classici più studiati sono tre, introdotti e classificati da Freeman J. Dyson nel 1962 sulla base delle simmetrie fondamentali dei sistemi fisici e del comportamento sotto trasformazioni ortogonali, unitarie o simplettiche^[4].

I principali ensemble gaussiani sono^[4]:

• GOE (Gaussian Orthogonal Ensemble): comprende matrici reali simmetriche, i cui elementi sono distribuiti secondo leggi gaussiane indipendenti, con simmetria ${\displaystyle A=A^{\top }}$. Rilevante per sistemi con simmetria temporale e senza spin.
• GUE (Gaussian Unitary Ensemble): comprende matrici hermitiane complesse, ovvero ${\displaystyle A=A^{\dagger }}$, con elementi complessi gaussiani. Rilevante per sistemi senza simmetria temporale, come quelli con campo magnetico esterno.
• GSE (Gaussian Symplectic Ensemble): comprende matrici hermitiane quaternioniche (o rappresentazioni matriciali ${\displaystyle 2\times 2}$), associate a sistemi con simmetria temporale e spin.

Questi ensemble condividono una densità di probabilità del tipo:

${\displaystyle P(A)\propto \exp \left(-{\frac {\beta }{2}}\mathrm {Tr} (A^{2})\right)}$

dove ${\displaystyle \beta =1}$ (GOE), ${\displaystyle \beta =2}$ (GUE), ${\displaystyle \beta =4}$ (GSE), e ${\displaystyle \mathrm {Tr} }$ indica la traccia della matrice. ${\displaystyle A}$ è una matrice aleatoria e ${\displaystyle \mathrm {Tr} (A^{2})}$ è la traccia del quadrato della matrice, ovvero la somma dei quadrati dei suoi autovalori. Il parametro ${\displaystyle \beta }$ codifica invece il tipo di simmetria. Dunque, ${\displaystyle P(A)}$ è una densità: descrive quanto è probabile che la matrice aleatoria ${\displaystyle A}$ assuma certi valori spettrali. Il parametro ${\displaystyle \beta }$ ha anche interpretazione fisica in termini di temperatura nella meccanica statistica^[4].

Sigla	Denominazione	Tipologia	${\displaystyle \beta }$	Sistema
GOE	Ortogonale	Reale simmetrica	1	Sistemi con simmetria temporale
GUE	Unitaria	Complessa hermitiana	2	Sistemi senza simmetria temporale
GSE	Simplettica	Quaternionica hermitiana	4	Sistemi con spin e simmetria temporale

Un'importante classe di matrici aleatorie non gaussiane è costituita dalle matrici di Wishart. Introdotte da John Wishart nel 1928 in ambito statistico, esse emergono naturalmente nel contesto dell’analisi multivariata, della teoria dell’informazione e della fisica statistica^[10].

Sia ${\displaystyle X}$ una matrice rettangolare di dimensione ${\displaystyle n\times p}$ i cui elementi sono variabili aleatorie gaussiane reali, indipendenti e identicamente distribuite, con media zero e varianza unitaria. La matrice

${\displaystyle W=X^{\top }X}$

è detta matrice di Wishart. Si tratta di una matrice simmetrica semi-definita positiva di dimensione ${\displaystyle p\times p}$, che segue una distribuzione di Wishart. Più in generale, se le righe di ${\displaystyle X}$ sono distribuite secondo una legge normale multivariata ${\displaystyle {\mathcal {N}}_{p}(0,\Sigma )}$, allora ${\displaystyle W=X^{\top }X}$ segue la distribuzione di Wishart con parametro di scala ${\displaystyle \Sigma }$ e ${\displaystyle n}$ gradi di libertà^[10].

Le matrici di Wishart svolgono un ruolo cruciale in numerosi contesti. Per esempio^[10]:

• In statistica, per stimare matrici di covarianza campionarie.
• In fisica teorica e reti complesse, per modellare la struttura spettrale di sistemi non hermitiani o con correlazioni.

Un ensemble importante associato a queste matrici è detto ensemble di Wishart–Laguerre, in quanto la densità spettrale degli autovalori segue, nel limite asintotico, la legge di Marchenko–Pastur:

${\displaystyle \rho (\lambda )={\frac {1}{2\pi \lambda }}{\sqrt {(\lambda _{+}-\lambda )(\lambda -\lambda _{-})}}}$

dove ${\displaystyle \lambda _{\pm }=(1\pm {\sqrt {c}})^{2}}$ e ${\displaystyle c={\frac {p}{n}}}$ nel limite ${\displaystyle n,p\to \infty }$ con ${\displaystyle c}$ costante^[10][11].

Al di fuori del regime classico degli ensemble gaussiani densi, esiste un ampio interesse per le matrici aleatorie sparse e non gaussiane, che modellano sistemi fisici e reti con connettività limitata o distribuzioni di probabilità non standard^[12].

Una matrice aleatoria sparsa è una matrice ${\displaystyle A=(a_{ij})}$ in cui la maggior parte degli elementi è nulla, e solo una frazione ${\displaystyle \rho \ll 1}$ di essi è diversa da zero. Tipicamente, gli indici non nulli sono scelti in modo casuale, e i valori associati seguono una certa distribuzione (gaussiana, di Bernoulli, uniforme, ecc.).

Queste matrici emergono in^[6]:

• modelli di vetri di spin e transizioni di fase,
• reti complesse e teoria dei grafi,
• teoria della localizzazione di Anderson e trasporto quantistico,
• apprendimento automatico e compressive sensing.

Diversamente dagli ensemble gaussiani, gli autovalori delle matrici sparse possono mostrare localizzazione spettrale, comportamento non universale nei bordi dello spettro e assenza di legge semicircolare nei limiti di densità spettrale. Le distribuzioni degli elementi non devono essere gaussiane: studi recenti hanno esaminato matrici con elementi di tipo sub-gaussiano, di Lévy, o appartenenti a leggi a coda pesante (heavy-tailed)^[13].

Questi ensemble richiedono metodi differenti per l’analisi teorica, come il metodo delle cavità, il formalismo di replica e la teoria dei grafi aleatori.^[12][13]

Nel contesto degli ensemble gaussiani simmetrici (come il GOE), la distribuzione limite degli autovalori è descritta dalla legge semicircolare di Wigner^[3].

Sia ${\displaystyle W_{N}}$ una matrice simmetrica di dimensione ${\displaystyle N\times N}$ i cui elementi ${\displaystyle W_{ij}}$ sono variabili aleatorie indipendenti (fatta eccezione per la simmetria), con media nulla e varianza ${\displaystyle \sigma ^{2}/N}$. Allora, nel limite ${\displaystyle N\to \infty }$, la densità degli autovalori converge a

${\displaystyle \rho _{\text{sc}}(\lambda )={\begin{cases}\displaystyle {\frac {1}{2\pi \sigma ^{2}}}{\sqrt {4\sigma ^{2}-\lambda ^{2}}}&{\text{se }}|\lambda |\leq 2\sigma \\0&{\text{altrimenti}}\end{cases}}}$

Questa distribuzione è supportata sull'intervallo ${\displaystyle [-2\sigma ,2\sigma ]}$ ed è detta legge semicircolare per via della forma del suo grafico. Il risultato, scoperto da Eugene Wigner negli anni '50, è uno dei primi esempi di comportamento universale nella teoria delle matrici aleatorie: la forma semicircolare emerge indipendentemente dalla distribuzione precisa degli elementi (purché soddisfino ipotesi di momenti)^[3].

È possibile derivare la distribuzione congiunta degli autovalori reali di una matrice casuale (GOE, GUE, GSE) mediante un cambiamento di base. La densità di probabilità congiunta ha la forma:

${\displaystyle P(\lambda _{1},\dots ,\lambda _{N})=C_{N}\exp \left(-g\sum _{i}\lambda _{i}^{2}\right)\prod _{i<j}|\lambda _{i}-\lambda _{j}|^{\beta }}$

dove ${\displaystyle \lambda _{i}}$ sono gli autovalori, ${\displaystyle C_{N}}$ è una costante di normalizzazione, ${\displaystyle g>0}$ un parametro di scala, e ${\displaystyle \beta =1,2,4}$ corrisponde rispettivamente agli ensemble GOE, GUE e GSE. Questa distribuzione implica una repulsione tra gli autovalori: la probabilità che due autovalori siano molto vicini (${\displaystyle s\to 0}$) tende a zero, in netto contrasto con il comportamento di un processo di Poisson. Questa proprietà è nota come repulsione dei livelli^[3].

La legge di Marčenko–Pastur descrive il comportamento asintotico dello spettro delle matrici di covarianza campionarie, ed è la controparte della legge semicircolare per matrici rettangolari^[14].

Sia ${\displaystyle X}$ una matrice ${\displaystyle n\times p}$ con elementi reali indipendenti e identicamente distribuiti, a media zero e varianza ${\displaystyle \sigma ^{2}}$. Si considera la matrice di covarianza non normalizzata

${\displaystyle W={\frac {1}{n}}X^{\top }X}$

che è una matrice di Wishart. Se ${\displaystyle n,p\to \infty }$ con rapporto ${\displaystyle c={\frac {p}{n}}\in (0,+\infty )}$ fisso, allora la densità empirica degli autovalori di ${\displaystyle W}$ converge (quasi sicuramente) alla distribuzione di Marčenko–Pastur^[14]:

${\displaystyle \rho _{\text{MP}}(\lambda )={\begin{cases}\displaystyle {\frac {1}{2\pi \sigma ^{2}c\lambda }}{\sqrt {(\lambda _{+}-\lambda )(\lambda -\lambda _{-})}}&{\text{se }}\lambda \in [\lambda _{-},\lambda _{+}]\\0&{\text{altrimenti}}\end{cases}}}$

dove i bordi dello spettro sono

${\displaystyle \lambda _{\pm }=\sigma ^{2}(1\pm {\sqrt {c}})^{2}}$

Per ${\displaystyle c<1}$, la distribuzione presenta un atomo di Dirac in zero con peso ${\displaystyle 1-c}$.

La legge di Marčenko–Pastur trova applicazioni in statistica multivariata (analisi delle componenti principali), fisica teorica (spettro delle matrici di tipo Wishart) ed apprendimento automatico e random feature models^[14].

Oltre alla distribuzione globale degli autovalori, grande interesse teorico e applicativo riguarda il comportamento degli autovalori estremi, in particolare il massimo (o minimo) autovalore di matrici aleatorie di grande dimensione.

Per molte classi di matrici (come l’ensemble gaussiano ortogonale – GOE, unitario – GUE, o simmetrico reale), si dimostra che l’autovalore più grande ${\displaystyle \lambda _{\text{max}}}$ non cresce indefinitamente con ${\displaystyle N}$, ma fluttua intorno a un valore deterministico, con fluttuazioni descritte da una legge non gaussiana, detta legge di Tracy–Widom.^[15]

Sia ${\displaystyle W_{N}}$ una matrice del GUE di dimensione ${\displaystyle N\times N}$, allora vale^[15]:

${\displaystyle \mathbb {P} \left({\frac {\lambda _{\text{max}}-2\sigma {\sqrt {N}}}{N^{-1/6}}}\leq s\right)\longrightarrow F_{2}(s)}$

dove ${\displaystyle F_{2}(s)}$ è la distribuzione di Tracy–Widom di tipo 2. Analogamente, per il GOE si ottiene ${\displaystyle F_{1}(s)}$. Queste distribuzioni sono legate alle soluzioni dell’equazione di Painlevé II e non hanno espressioni chiuse elementari. Tuttavia, esse descrivono in modo universale le fluttuazioni dell’autovalore massimo per un’ampia classe di matrici, anche al di fuori dei modelli gaussiani^[15].

La legge di Tracy–Widom compare in numerosi ambiti^[6][15]:

• statistica multivariata (massimo autovalore in PCA),
• combinatoria (problema della sottosequenza crescente massima),
• fisica statistica (interfacce aleatorie, crescita stocastica – KPZ),
• teoria delle code e teoria dei numeri.

Nello studio delle matrici aleatorie non solo gli autovalori sono oggetto di analisi, ma anche le proprietà strutturali degli autovettori associati. Una questione centrale è se un autovettore associato a un certo autovalore sia localizzato (concentrato su poche componenti) oppure delocalizzato (distribuito uniformemente su tutte le componenti)^[16].

Formalmente, dati gli autovettori ${\displaystyle v^{(1)},\dots ,v^{(N)}}$ di una matrice aleatoria simmetrica ${\displaystyle A_{N}}$, si definisce un indice di partecipazione come:

${\displaystyle {\text{IPR}}(v)=\sum _{i=1}^{N}|v_{i}|^{4}}$

Un valore piccolo di ${\displaystyle {\text{IPR}}(v)}$ indica che il vettore è distribuito su molte componenti (delocalizzato), mentre un valore grande segnala localizzazione. Per le matrici gaussiane dense (GOE, GUE), è noto che gli autovettori sono fortemente delocalizzati: ciascuna componente ha modulo quadrato dell’ordine di ${\displaystyle 1/N}$ con alta probabilità. Viceversa, in modelli sparsi o con disordine forte (es. matrici a banda o matrici con struttura casuale), può emergere localizzazione. In tali casi, solo un sottoinsieme ristretto delle componenti dell'autovettore è significativamente diverso da zero.^[16]

La transizione tra comportamento localizzato e delocalizzato è legata a fenomeni di transizione di Anderson^[16], con implicazioni nella:^[16]

• fisica della materia condensata (conduzione elettronica nei solidi disordinati),
• informazione quantistica (stati entangled),
• analisi numerica e teoria del disordine.