Robustesse (statistiques)

En statistiques, la robustesse d'un estimateur est sa capacité à ne pas être perturbé par une modification dans une petite partie des données — y compris par l'introduction de données aberrantes — ou dans les paramètres du modèle choisi pour l'estimation.

Le principe d'une statistique robuste est de résister aux erreurs de mesure, dans le cas où les hypothèses de départ sont vérifiées. Ceci se traduit par, sous les bonnes hypothèses, une bonne efficacité, un biais statistique assez petit, et être asymptotiquement sans biais.

Le cas le plus courant est la robustesse distributionnelle dans le cas des tests d'adéquation, où les limites sont atteintes à cause des problèmes de queue : les lois à longue traîne vont générer plus de valeurs extrêmes qu'une loi normale, et les estimateurs vont être plus fortement perturbés que si ces valeurs n'avaient pas été prises en compte. Cependant, certains auteurs préfèrent parler de robustesse dans le cas de tests d'hypothèse.

La moyenne n'est pas une mesure robuste de tendance centrale. Si le jeu de données, par exemple les valeurs {2 ; 3 ; 5 ; 6 ; 9}, alors si on ajoute une autre donnée de valeur –1000 ou +1000, la nouvelle moyenne va beaucoup varier par rapport à la moyenne de l'ensemble de données de référence. Le même phénomène apparait en remplaçant une des valeurs par –1000 ou +1000.

La médiane est une mesure robuste de tendance centrale. En reprenant l'exemple précédent, ajouter la valeur ±1000 ou remplacer une donnée par cette valeur ne fera pas varier la médiane de façon importante.

Plus précisément, la médiane a un point de rupture de 50%, ce qui signifie que la moitié des données doivent être aberrantes avant que la médiane ne soit significativement influencée par celles-ci, alors que la moyenne a un point de rupture de 1/n pour un ensemble de n valeurs, car une seule donnée aberrante peut la faire varier^[1].

L'écart absolu médian (en) et l'écart interquartile sont des mesures robustes de dispersion statistique, contrairement à la variance et l'étendue^[2].

Le troncage d'estimateurs et la winsorisation sont des méthodes courantes pour améliorer la robustesse d'un estimateur. Les L-estimateurs sont une classe générale de statistiques simples, souvent robustes, tandis que les M-estimateurs sont une classe générale de statistiques robustes, plus souvent utilisée dans la pratique, malgré la complexité de leur calcul^[3].

Intuitivement, le point de rupture d'un estimateur est la proportion de données incorrectes (e.g. mesures arbitrairement grandes) qu'un estimateur peut prendre en compte avant de donner un résultat incorrect. On pourra utiliser le point de rupture comme la limite asymptotique, bien qu'en pratique, le point de rupture d'un jeu de données fini est plus utile^[4]. Par exemple, pour ${\displaystyle n}$ variables aléatoires indépendantes ${\displaystyle (X_{1},\dots ,X_{n})}$ et les réalisations correspondantes ${\displaystyle x_{1},\dots ,x_{n}}$, on peut utiliser ${\textstyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$ comme estimateur de la moyenne. Cet estimateur a un point de rupture de 0 (ou un point de rupture à jeu fini de ${\displaystyle 1/n}$) car on peut rendre ${\displaystyle {\overline {x}}}$ arbitrairement grand en changeant une seule valeur parmi ${\displaystyle x_{1},\dots ,x_{n}}$.

Plus le point de rupture d'un estimateur est élevé, plus il est robuste. On peut déduire qu'un point de rupture ne peut excéder 50% car si plus de la moitié des observations sont perturbées, il n'est plus possible de distinguer les valeurs correctes représentant la loi sous-jacente des données contaminées^[5]. Ainsi, le point de rupture maximal est 0,5 et il existe des estimateurs atteignant ce maximum, comme la médiane. Un estimateur tronqué à X% a un point de rupture de X%, pour un niveau X donné^[6],[4],[7].

Les statistiques avec un grand point de rupture sont parfois appelées statistiques résistantes^[8].

La fonction d'influence empirique est une mesure de la dépendance de l'estimateur par rapport à la valeur de n'importe quel point de l'échantillon. Il s'agit d'une mesure indépendante du modèle, dans le sens où elle repose simplement sur le recalcul de l'estimateur à partir d'un échantillon différent. À droite se trouve le bipoids de Tukey qui, comme on le verra plus tard, est un exemple de ce à quoi devrait ressembler une « bonne » fonction d'influence empirique.

En termes mathématiques, une fonction d'influence est définie comme un vecteur dans l'espace de l'estimateur, qui est lui-même défini pour un échantillon qui est un sous-ensemble de la population :

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$ est un espace de probabilité,
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$ est un espace mesurable (espace d'états),
3. ${\displaystyle \Theta }$ est un espace de paramètres de dimension ${\displaystyle p\in \mathbb {N} ^{*}}$,
4. ${\displaystyle (\Gamma ,S)}$ est un espace mesurable,

Par exemple,

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$ est un espace de probabilité quelconque,
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$,
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$,

La fonction d'influence empirique est définie comme suit.

Soit ${\displaystyle n\in \mathbb {N} ^{*}}$ et ${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\to ({\mathcal {X}},\Sigma )}$ des variables i.i.d. et ${\displaystyle (x_{1},\dots ,x_{n})}$ un échantillon tiré de ces variables. ${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\to (\Gamma ,S)}$ est un estimateur. Soit ${\displaystyle i\in \{1,\dots ,n\}}$. La fonction d'influence empirique ${\displaystyle EIF_{i}}$ à l'observation ${\displaystyle i}$ est définie par :

$${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$$

Cela signifie qu'on remplace la i-ième valeur de l'échantillon par une valeur arbitraire et qu'on observe la nouvelle valeur de l'estimateur. Autrement dit, l'EIF est défini comme l'effet, pondéré par n + 1 au lieu de n, sur l'estimateur de l'ajout du point x à l'échantillon.

Au lieu de se fier uniquement aux données, on peut utiliser la distribution des variables aléatoires. L'approche est assez différente de celle du paragraphe précédent, car on va cette fois modifier la loi sous-jacente des variables : elle suppose une « distribution » et mesure la sensibilité au changement de cette distribution. En revanche, l'influence empirique suppose un « ensemble d'échantillons » et mesure la sensibilité au changement des échantillons^[9].

Soit ${\displaystyle A}$ un sous-ensemble convexe de l'ensemble de toutes les mesures signées finies sur ${\displaystyle \Sigma }$. On veut estimer le paramètre ${\displaystyle \theta \in \Theta }$ d'une loi ${\displaystyle F}$ dans ${\displaystyle A}$. Soit la fonctionnelle ${\displaystyle T:A\to \Gamma }$ la valeur asymptotique d'une suite d'estimateurs ${\displaystyle (T_{n})_{n\in \mathbb {N} }}$. On suppose que cette fonctionnelle est consistant au sens de Fisher (en), c'est-à-dire que ${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$. Cela signifie que, pour le modèle ${\displaystyle F}$, la suite d'estimateurs mesure asymptotiquement la quantité correcte.

Soit ${\displaystyle G}$ une loi dans ${\displaystyle A}$. On s'intéresse donc au comportement lorsque les données ne suivent pas exactement le modèle ${\displaystyle F}$, mais un autre modèle, légèrement différent, qui « tend vers » ${\displaystyle G}$ ?

On s'intéresse à : $${\displaystyle dT_{G-F}(F)=\lim _{t\to 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}},}$$

qui est la dérivée de Gâteaux unilatérale de ${\displaystyle T}$ en ${\displaystyle F}$, dans la direction de ${\displaystyle G-F}$.

Soit ${\displaystyle x\in {\mathcal {X}}}$. ${\displaystyle \Delta _{x}}$ est la mesure de probabilité qui donne une masse de 1 à ${\displaystyle \{x\}}$. On choisit ${\displaystyle G=\Delta _{x}}$. La fonction d'influence est alors définie par : $${\displaystyle IF(x;T;F):=\lim _{t\to 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$$

Elle décrit l'effet d'une contamination infinitésimale au point ${\displaystyle x}$ sur l'estimation qu'on recherche, normalisée par la masse ${\displaystyle t}$ de la contamination (le biais asymptotique causé par la contamination dans les observations). Pour un estimateur robuste, on recherche une fonction d'influence bornée, c'est-à-dire une fonction qui ne tend pas vers l'infini lorsque ${\displaystyle x}$ devient arbitrairement grand.

La fonction d'influence empirique utilise la fonction de répartition empirique ${\displaystyle {\hat {F}}}$ à la place de la fonction de distribution ${\displaystyle F}$, en recourant au principe de substitution.

• (en) Ricardo A. Maronna, R. Douglas Martin et Victor J. Yohai; Robust Statistics - Theory and Methods, Wiley Series in Probability and Statistics (2006). (ISBN 9780470010921)
• (fr) Dagnelie P.; Statistique théorique et appliquée. Tome 2 : Inférence statistique à une et à deux dimensions, Paris et Bruxelles (2006), De Boeck et Larcier.

• Biais (statistique)
• Estimateur (statistique)
• Fonction d'influence
• Inférence statistique
• Théorème de Masreliez
• Variance

• Estimation robuste cours de l'INSA de Lyon
• Glossaire sur robustesse.

• Portail des probabilités et de la statistique