Funkcja wynikowa (statystyka)

Chociaż funkcja wynikowa jest funkcją wektora ${\displaystyle \theta }$, zależy też od wektora obserwacji ${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{T})}$ dla którego jest wyznaczana; uwzględniając losowy charakter próbkowania, można wyznaczyć jej wartość oczekiwaną. Przy pewnych warunkach regularności funkcji gęstości zmiennych losowych^[2][3] wartość oczekiwana funkcji wynikowej dla prawdziwej wartości parametru ${\displaystyle \theta }$, wynosi zero. Można to wykazać, traktując funkcję wiarygodności ${\displaystyle {\mathcal {L}}}$ jak funkcję gęstości prawdopodobieństwa: ${\displaystyle {\mathcal {L}}(\theta ;x)=f(x;\theta )}$. Niech ${\displaystyle {\mathcal {X}}}$ oznacza przestrzeń próbek. Wtedy:

${\displaystyle {\begin{aligned}\operatorname {E} (s\mid \theta )&=\int _{\mathcal {X}}f(x;\theta ){\frac {\partial }{\partial \theta }}\log {\mathcal {L}}(\theta ;x)\,dx\\[6pt]&=\int _{\mathcal {X}}f(x;\theta ){\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx=\int _{\mathcal {X}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}}$

Przyjęte warunki regularności pozwalają na zamianę pochodnej i całki (patrz twierdzenie Leibniza (o różniczkowaniu pod znakiem całki), stąd powyższe jest równe:

${\displaystyle {\frac {\partial }{\partial \theta }}\int _{\mathcal {X}}f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.}$

Oczekiwana wartość wyniku przy prawdziwej wartości parametru ${\displaystyle \theta }$ wynosi zero, co oznacza, że gdyby ktoś wielokrotnie pobierał próbki z pewnego rozkładu i wielokrotnie obliczał wartość funkcji wynikowej, średnia wartość wyników będzie zbliżać się do zera.

Wariancja funkcji wynikowej, ${\displaystyle \operatorname {Var} (s(\theta ))=\operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})}$, można być wyprowadzona z powyższego wyrażenia dla wartości oczekiwanej.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\operatorname {E} (s\mid \theta )\\[6pt]&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\left\{{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}\left\{{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}f(x;\theta )+{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial f(x;\theta )}{\partial \theta ^{\mathsf {T}}}}\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial f(x;\theta )}{\partial \theta ^{\mathsf {T}}}}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx\\[6pt]&=\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}\right)+\operatorname {E} \left({\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\left[{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\right]^{\mathsf {T}}\right)\end{aligned}}}$

Stąd wariancja wyniku jest równa ujemnej wartości oczekiwanej macierzy Hessego logarytmu funkcji wiarygodności^[4].

${\displaystyle \operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})=-\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}}{\partial \theta \,\partial \theta ^{\mathsf {T}}}}\right)}$

Ten ostatni wynik znany jest pod nazwą informacja Fishera, co często oznacza się ${\displaystyle {\mathcal {I}}(\theta )}$.

Załóżmy, że w pierwszych n próbach procesu Bernoulliego, w którym prawdopodobieństwo sukcesu wynosiło θ, sukces wystąpił A razy, zaś pozostałe B prób okazało się porażkami,

Funkcja wiarygodności ${\displaystyle {\mathcal {L}}}$ to:

${\displaystyle {\mathcal {L}}(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},}$

więc funkcja wynikowa ma postać:

${\displaystyle s={\frac {\partial \log {\mathcal {L}}}{\partial \theta }}={\frac {1}{\mathcal {L}}}{\frac {\partial {\mathcal {L}}}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.}$

Teraz możemy sprawdzić, czy oczekiwany wynik wynosi zero. Zauważmy, że wartość oczekiwana A to nθ, a wartość oczekiwana B wynosi n (1 − θ ), stąd wartość oczekiwana s wynosi

${\displaystyle E(s)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.}$

Możemy również sprawdzić wariancję ${\displaystyle s}$. Wiemy, że B = n − A, zaś wariancja A wynosi nθ (1 − θ ), stąd wariancja s wynosi

${\displaystyle {\begin{aligned}\operatorname {var} (s)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}}$