Regressione isotonica

In statistica e analisi numerica, la regressione isotonica o monotona è una tecnica non parametrica di regressione che si applica a una sequenza ordinata di osservazioni, in modo tale che la funzione risultante, non vincolata a una forma specifica, sia ovunque non decrescente (o non crescente) e passi il più vicino possibile alle osservazioni.

Sia dato un insieme di osservazioni ${\displaystyle \{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\}}$, dove ${\displaystyle y_{i}\in \mathbb {R} }$ e gli ${\displaystyle x_{i}}$ ricadono in un insieme parzialmente ordinato. Nel caso più generale, a ogni osservazione ${\displaystyle (x_{i},y_{i})}$ si può anche assegnare un peso ${\displaystyle w_{i}\geq 0}$, sebbene comunemente si pone ${\displaystyle w_{i}=1}$ per ogni ${\displaystyle i}$.

La regressione isotonica risolve un problema ai minimi quadrati ponderati ${\displaystyle {\hat {y}}_{i}\approx y_{i}}$ per ogni ${\displaystyle i}$, sotto il vincolo ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}}$ ogni volta che ${\displaystyle x_{i}\leq x_{j}}$. Ciò si traduce nel seguente programma quadratico nelle variabili ${\displaystyle {\hat {y}}_{1},\ldots ,{\hat {y}}_{n}}$:

${\displaystyle \min \sum _{i=1}^{n}w_{i}({\hat {y}}_{i}-y_{i})^{2}\quad {\text{ sub: }}{\hat {y}}_{i}\leq {\hat {y}}_{j}{\text{ per ogni }}(i,j)\in E}$

dove ${\displaystyle E=\{(i,j)\mid x_{i}\leq x_{j}\}}$ specifica l'ordinamento parziale degli input osservati ${\displaystyle x_{i}}$ (può essere considerato come l'insieme degli archi di un grafo aciclico diretto con vertici ${\displaystyle 1,2,\ldots n}$). Problemi di questa forma possono essere risolti mediante tecniche generiche di programmazione quadratica.

Nel caso tipico in cui i valori di ${\displaystyle x_{i}}$ rientrino in un insieme totalmente ordinato come ${\displaystyle \mathbb {R} }$, si può assumere, senza perdita di generalità, che le osservazioni siano ordinate in modo che ${\displaystyle x_{1}\leq x_{2}\leq \cdots \leq x_{n}}$ e considerare ${\displaystyle E=\{(i,i+1)\mid 1\leq i<n\}}$. In tal caso, un semplice metodo iterativo per risolvere il programma quadratico è l'algoritmo pool adjacent violators (PAVA).^[1] In alternativa, è stata sviluppata una soluzione basata sull'identificazione di insiemi attivi per la quale è stato proposto un algoritmo primale ^[2]. Questi due approcci possono essere considerati come reciprocamente duali ed entrambi hanno una complessità computazionale di ${\displaystyle O(n)}$ su dati già ordinati.^[2]

Per assolvere al compito della regressione isotonica, si può scegliere una qualsiasi funzione non decrescente ${\displaystyle f(x)}$, tale che ${\displaystyle f(x_{i})={\hat {y}}_{i}}$ per ogni ${\displaystyle i}$. Una funzione di questo tipo ovviamente risolve

${\displaystyle \min _{f}\sum _{i=1}^{n}w_{i}(f(x_{i})-y_{i})^{2}\quad {\text{sub: }}f{\text{ non decrescente}}}$

e può essere in seguito utilizzata per predire il valore di ${\displaystyle y}$ per nuovi valori di ${\displaystyle x}$. Una scelta comune nel caso di ${\displaystyle x_{i}\in \mathbb {R} }$ è quella di interpolare linearmente tra coppie di osservazioni ${\displaystyle (x_{i},{\hat {y}}_{i})}$, come illustrato in figura, ottenendo una funzione lineare continua a tratti:

${\displaystyle f(x)={\begin{cases}{\hat {y}}_{1}&{\text{se }}x\leq x_{1}\\{\hat {y}}_{i}+{\dfrac {x-x_{i}}{x_{i+1}-x_{i}}}({\hat {y}}_{i+1}-{\hat {y}}_{i})&{\text{se }}x_{i}\leq x\leq x_{i+1}\\{\hat {y}}_{n}&{\text{se }}x\geq x_{n}\end{cases}}}$

Come mostrato nella figura iniziale, in presenza di violazioni della monotonicità la curva interpolata risultante avrà intervalli piatti (in cui è costante). In applicazioni dose-risposta è generalmente noto che ${\displaystyle f(x)}$ non è solo monotona ma anche liscia (smooth). Intervalli piatti sono incompatibili con la forma assunta per ${\displaystyle f(x)}$ e si può dimostrare che siano frutto di distorsione (bias). Per tali casi è stata allora sviluppata una semplice strategia migliorativa, denominata regressione isotonica centrata (CIR), ed è stato dimostrato che essa sia capace di ridurre sostanzialmente l'errore di stima sia per le applicazioni dose-risposta che per quelle di ricerca della dose.^[3]

La CIR e la regressione isotonica standard per il caso univariato, semplicemente ordinato, sono implementate nel package "cir" di R.^[4] Tale libreria fornisce anche stime analitiche di intervalli di confidenza.

La regressione isotonica trova applicazione nell'inferenza statistica. Ad esempio, può essere utilizzata per adattare una curva isotonica alle medie di un insieme di risultati sperimentali quando ci si aspetta un aumento di tali medie secondo un determinato ordinamento. Un vantaggio della regressione isotonica è che non è vincolata ad assumere una data forma di funzione, come la linearità imposta dalla regressione lineare, purché la funzione sia monotona crescente.

Un'altra applicazione è lo scaling multidimensionale non metrico,^[5] nel quale si cerca una immersione a bassa dimensionalità (embedding) per i punti tale che l'ordine delle distanze tra di essi nell'immersione corrisponda all'ordine delle dissimilarità tra coppie. La regressione isotonica viene utilizzata iterativamente per adattare le distanze nello spazio di embedding in modo da preservare l'ordine di dissimilarità relativa originario.

La regressione isotonica viene utilizzata anche nella classificazione probabilistica per calibrare le probabilità predette da modelli di apprendimento supervisionato.^[6]

Nel caso di ordinamento semplice fra ${\displaystyle x}$ e ${\displaystyle y}$ univariate, la regressione isotonica è stata applicata alla stima delle relazioni dose-risposta continue in campi come l'anestesiologia e la tossicologia. In senso stretto, la regressione isotonica fornisce solo stime puntuali per i valori osservati di ${\displaystyle x.}$ La stima della curva dose-risposta completa, senza ulteriori ipotesi, viene solitamente effettuata tramite interpolazione lineare tra le stime puntuali.^[7]

• (EN) T. Robertson, F. T. Wright e R. Dykstra, Order restricted statistical inference, collana Wiley series in probability and mathematical statistics, Wiley, 1988, ISBN 978-0-471-91787-8.
• (EN) R. E. Barlow, D. J. Bartholomew e J. M. Bremner, Statistical inference under order restrictions; the theory and application of isotonic regression, Wiley, 1972, ISBN 978-0-471-04970-8.
• (EN) Thomas S. Shively, Thomas W. Sager e Stephen G. Walker, A Bayesian Approach to Non-Parametric Monotone Function Estimation, in Journal of the Royal Statistical Society Series B: Statistical Methodology, vol. 71, n. 1, 2009, pp. 159-175, DOI:10.1111/j.1467-9868.2008.00677.x.
• (EN) W. B. Wu, Isotonic regression: Another look at the changepoint problem, in Biometrika, vol. 88, n. 3, 2001, pp. 793-804, DOI:10.1093/biomet/88.3.793.