Statistica di Hopkins

La statistica di Hopkins è un parametro che permette di valutare la tendenza di un dataset a essere raggruppato in cluster.^[1] Esso si basa sul confronto tra un campione casuale di dati e lo stesso numero di punti distribuiti in maniera casuale ma uniforme.

Dato ${\displaystyle X}$ un insieme di ${\displaystyle n}$ dati, si estraggono senza reimmissione ${\displaystyle m\ll n}$ punti ${\displaystyle {\tilde {X}}=\{{\tilde {x}}_{1},\dots ,{\tilde {x}}_{m}\}}$ da ${\displaystyle X}$, ed ${\displaystyle m}$ punti con distribuzione uniforme ${\displaystyle R=\{{\tilde {r}}_{1},\dots ,{\tilde {r}}_{m}\}}$ dallo spazio convesso di ${\displaystyle X}$.

Si definisce quindi l'indice di Hopkins come:^[2]

${\displaystyle h={\frac {\sum _{i=1}^{m}d_{r_{i}}}{\sum _{i=1}^{m}d_{r_{i}}+\sum _{i=1}^{m}d_{{\tilde {x}}_{i}}}}}$

dove ${\displaystyle d_{r_{i}}}$ e ${\displaystyle d_{{\tilde {x}}_{i}}}$ sono le distanze tra i punti ${\displaystyle r_{i}}$ e ${\displaystyle {\tilde {x}}_{i}}$ con i loro primi vicini nello stesso insieme di appartenenza. Ne deriva che ${\displaystyle h\in [0,1]}$: se i punti del dataset sono ordinati spazialmente in ordine casuale, allora i valori delle due sommatorie sono comparabili, e l'indice tende a 0,5; se invece i dati tendono naturalmente a raggrupparsi in cluster, allora la distanza tra di loro è inferiore rispetto a quella dei punti con distribuzione uniforme, e dunque l'indice tende a 1. Una valutazione della statistica di Hopkins permette quindi di stabilire se l'applicazione di algoritmi di clustering può avere un esito positivo.