Classificazione probabilistica

Nell'apprendimento automatico e settori affini, un classificatore probabilistico è un classificatore in grado di restituire, data un'osservazione di input, una distribuzione di probabilità di appartenenza alle classi (mutuamente esclusive) di un insieme predefinito, piuttosto che predire la classe più probabile. I classificatori probabilistici possono essere utili in sé ^[1] o combinati con altri classificatori in un modello ensemble.

Formalmente, un classificatore "ordinario" è una regola, ovvero una funzione, che assegna a un campione ${\displaystyle x}$ l'etichetta di una classe ${\displaystyle {\hat {y}}}$:

${\displaystyle {\hat {y}}=f(x)}$

I campioni provengono da un insieme ${\displaystyle X}$ (ad esempio, un insieme di documenti o di immagini), mentre le etichette delle classi formano un insieme finito ${\displaystyle Y}$ definito preliminarmente.

I classificatori probabilistici generalizzano tale nozione di classificatore: invece di funzioni, essi sono distribuzioni condizionali ${\displaystyle \Pr(Y\vert X)}$, il che significa che per un dato ${\displaystyle x\in X}$, assegnano probabilità a tutte le etichette ${\displaystyle y\in Y}$ (quindi a somma unitaria). La classificazione "rigida" può quindi essere ricavata utilizzando la regola decisionale ottimale ^[2] 

${\displaystyle {\hat {y}}=\operatorname {\arg \max } _{y}\Pr(Y=y\vert X)}$

ossia la classe predetta è quella con probabilità più alta.

In statistica, i classificatori probabilistici binari sono anche detti modelli di regressione binaria. In econometria, la classificazione probabilistica in generale viene definita come scelta discreta.

Alcuni modelli di classificazione, come il classificatore Naive Bayes, la regressione logistica (multinomiale) e i percettroni multistrato (se addestrati con un'opportuna funzione obiettivo), sono intrinsecamente probabilistici. Altri modelli, come le SVM, non lo sono, ma esistono metodi per trasformarli in classificatori probabilistici.

Alcuni modelli, come la regressione logistica, sono addestrati come modelli discrminativi condizionati: ottimizzano direttamente la probabilità condizionata ${\displaystyle \Pr(Y\vert X)}$ su un training set (si veda la voce sulla minimizzazione del rischio empirico).

Altri classificatori, come il Naive Bayes, vengono addestrati in modalità generativa ossia mirando a ottimizzare ${\displaystyle \Pr(X,Y)}$: in fase di addestramento, si trovano le distribuzioni condizionate rispetto alle classi ${\displaystyle \Pr(X\vert Y)}$ e la distribuzione a priori ${\displaystyle \Pr(Y)}$ derivando poi ${\displaystyle \Pr(Y\vert X)}$ usando la regola di Bayes.^[2]

Non tutti i modelli di classificazione sono naturalmente probabilistici, e alcuni che lo sono, in particolare i classificatori Naive Bayes, gli alberi di decisione e i metodi di boosting, producono distribuzioni di probabilità delle classi distorte.^[3] Nel caso degli alberi di decisione, dove ${\displaystyle {\text{Pr}}(y|\mathbf {x} )}$ è la proporzione di campioni di addestramento con etichetta ${\displaystyle y}$ nella foglia in cui finisce ${\displaystyle \mathbf {x} }$, queste distorsioni si verificano perché gli algoritmi di apprendimento (come C4.5 o CART) mirano esplicitamente a produrre foglie omogenee (assegnando probabilità vicine a 0 o 1 e quindi con un bias elevato) pur utilizzando pochi campioni per stimare la proporzione in questione (con alta varianza).^[4]

La calibrazione può essere valutata utilizzando un grafico di calibrazione (chiamato anche diagramma di affidabilità).^[3] Un grafico di calibrazione mostra la proporzione di elementi in ciascuna classe per bande di probabilità o punteggi predetti (quali, ad es., una distribuzione di probabilità distorta o la "distanza con segno dall'iperpiano" in una SVM). Deviazioni dalla funzione identità denotano un classificatore scarsamente calibrato per il quale le probabilità o i punteggi predetti non possono essere utilizzati come probabilità. In questo caso è possibile utilizzare un metodo per trasformare questi punteggi in probabilità di appartenenza alla classe opportunamente calibrate.

Nel caso binario, un approccio comune è quello di applicare il metodo di scalatura di Platt, che apprende un modello di regressione logistica sui punteggi.^[5] Il metodo alternativo che utilizza invece la regressione isotonica ^[6] risulta generalmente migliore del metodo di Platt a patto che siano disponibili sufficienti dati di addestramento.^[3]

Nel caso multiclasse, si può ricorrere a una decomposizione del problema in compiti binari, seguita da calibrazione univariata con uno degli algoritmi descritti in precedenza e dalla successiva applicazione dell'algoritmo di abbinamento a coppie di T. Hastie e R. Tibshirani.^[7]

Una regola di scoring è un metodo utilizzato per assegnare punteggi a coppie di probabilità predette e risultati discreti effettivi, in modo da poter confrontare diversi metodi predittivi. Tali regole vengono utilizzate per confrontare la probabilità predetta con i risultati osservati; fra queste si annoverano, ad esempio, la loss logaritmica, lo score di Brier, il CRPS (punteggio continuo di probabilità ordinata) e altri.

Aspetti specifici come accuratezza, calibrazione, precisione o dispersione possono variare da un classificatore probabilistico all'altro e possono essere oggetto di indagini specifiche.

Le metriche degli errori di calibrazione mirano a quantificare la misura in cui gli output di un classificatore probabilistico siano ben calibrati. Come ha affermato Philip Dawid, "un predittore è ben calibrato se, ad esempio, degli eventi a cui assegna una probabilità del 30%, la proporzione a lungo termine effettivamente registrata risulta essere del 30%".^[8] Il contributo basilare nel campo della misurazione dell'errore di calibrazione è rappresentato dalla metrica dell'Errore di Calibrazione Atteso (ECE).^[9] Lavori più recenti propongono varianti dell'ECE volte a superare limiti della metrica che possono emergere quando i punteggi dei classificatori si concentrano su un sottoinsieme ristretto di [0,1], tra queste l'Errore di Calibrazione Adattivo (ACE) ^[10] e l'Errore di Calibrazione Basato su Test (TCE).^[11]

• La libreria Python scikit-learn implementa diversi classificatori probabilistici e tecniche di calibrazione.
• MoRPE ^[12] è un classificatore probabilistico addestrabile che utilizza la regressione isotonica per la calibrazione della probabilità. Risolve il problema nel caso multiclasse mediante la sua riduzione a più compiti binari. È un tipo di macchina kernel che utilizza un kernel polinomiale non omogeneo.