Kernel della funzione di base radiale

Nell'apprendimento automatico, il kernel della funzione di base radiale, o kernel RBF, è una funzione kernel popolare utilizzata in vari algoritmi di apprendimento kernelizzati. In particolare, essa è comunemente utilizzata nella classificazione tramite macchine a vettori di supporto^[1].

Date due istanze ${\displaystyle \mathbf {x} \in \mathbb {R} ^{k}}$ e ${\displaystyle \mathbf {x'} \in \mathbb {R} ^{k}}$ rappresentate come vettori di caratteristiche in uno spazio di input ${\displaystyle k}$-dimensionale, il kernel RBF è definito come segue^[2]:

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)}$

${\displaystyle \textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}}$ è riconoscibile come la distanza quadratica euclidea fra i due vettori. ${\displaystyle \sigma }$ è un parametro libero. In una tipica definizione equivalente si usa un parametro ${\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}$:

Poiché il valore del kernel RBF diminuisce con la distanza e varia tra zero (caso-limite di distanza infinita) e uno (quando x = x'), esso ha una interpretazione immediata come misura di similarità .

Lo spazio delle caratteristiche del kernel ha un numero infinito di dimensioni; per ${\displaystyle \sigma =1}$, utilizzando il teorema multinomiale la sua espansione risulta^[3]:

${\displaystyle {\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp(-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}}$

${\displaystyle \varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)}$

dove ${\displaystyle \ell _{j}={\tbinom {k+j-1}{j}}}$ ,

${\displaystyle a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}}$

Poiché le macchine a vettori di supporto e altri modelli che utilizzano il kernel trick non si scalano bene su un gran numero di campioni di addestramento o su un gran numero feature nello spazio di input, sono state introdotte diverse approssimazioni del kernel RBF (e kernel simili).

In genere, queste assumono la forma di una funzione z che mappa un singolo vettore su un vettore di dimensionalità superiore, approssimando il kernel:

${\displaystyle \langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )}$

dove ${\displaystyle \textstyle \varphi }$ è la trasformazione implicita incorporata nel kernel RBF.

• funzione gaussiana
• Kernel
• Kernel polinomiale
• Funzione di base radiale
• Rete di funzioni di base radiali