WnioskowanieStatystyczne/MLF

Metoda (funkcja) największej wiarygodności

W procesie estymacji na podstawie próby \(\mathbf{x}=\{x_{i}\}_{i=1\ldots N}\) wyznaczamy parametr \(\lambda\) opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo zmiennej losowej \(x_i\): \(P(x_i | \lambda)\).

Logicznym wydaje się postulat, aby parametr(y) \(\lambda\) dobierać tak, aby zmaksymalizować łączny rozkład prawdopodobieństw a posteriori wszystkich prób \(x_i\), zwany funkcją wiarygodności. Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem prawdopodobieństw:

\( L= P(\mathbf{x} | \lambda) = \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad \)

Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu ():

\( l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) \)

Przykład

Wyznaczanie stałej fizycznej na podstawie \(N\) różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.

Estymowany parametr \(\lambda\) to wartość oczekiwana stałej. Prawdopdobieństwo a posteriori wyniku \(x_{i}\) eksperymentu o danej wariancji \(\sigma _{i}^{2}\)

\( { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } \)

Funkcja wiarygodności

\( L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \)

Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności

\( l=\ln\left( \underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) = \ln\left( \underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}} \right) + \ln\left( \underset{i=1}{\overset{N}{\prod }} e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) \\ = -\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) -\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma _{i}^{2}} \)

Maksimum przewidujemy w zerze pochodnej

\( \frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }} \frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N }{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{ \sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1 }{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N }{\sum }}\frac{1}{\sigma _{i}^{2}}} \)