WnioskowanieStatystyczne/Statystyki i estymatory

Spis treści

1 Statystyki i estymatory
2 Estymator wartości oczekiwanej
3 Estymator wariancji
- 3.1 Estymator wariancji wartości średniej

Statystyki i estymatory

Funkcję \(S(x_{1},x_{2},...x_{n})\) określoną na elementach próby \(\{x_i\}\) zwiemy statystyką. Obliczane w praktyce statystyki służą weryfikacji hipotez statystycznych (zwiemy je wtedy statystykami testowymi — tym zajmiemy się w następnym rozdziale) lub estymacji (szacowaniu) parametrów rozkładu prawdopodobieństwa w populacji zmiennej \(x\), z której pobierana jest próba. W tym drugim przypadku zwiemy je estymatorami. Na przykład wartość średnia próby

\(\displaystyle \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} \qquad \) może być estymatorem wartości oczekiwanej populacji \(\mu=E(x)\).

Estymator zwiemy nieobciążonym, jeśli dla każdej wielkości próby \(n\) jego wartość oczekiwana jest równa wartości estymowanego parametru (oznaczmy go np. \(\beta\)):

\(\displaystyle \forall n \ E(S(x_{1}...x_{n}))=\beta. \)

Estymator zwiemy zgodnym, jeśli przy wielkości próby dążącej do nieskończoności jego wariancja dąży do zera:

\(\displaystyle \underset{n\rightarrow \infty }{\lim }\sigma (S(x_{1}...x_{n}))=0. \)

Estymator wartości oczekiwanej

Dla rozkładów dyskretnych wartość oczekiwana \(\displaystyle \mu=E(x)=\overset{n}{\underset{i=1}{\sum }}x_{i}P(X=x_{i}) \)

Dla rozkładów ciągłych wartość oczekiwana \(\displaystyle \mu=E(x)=\underset{-\infty }{\overset{\infty }{\int }}x p(x)dx \)

Estymator wartości oczekiwanej postaci

\(\displaystyle \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} \)

jest nieobciążony i zgodny.

Dowód:

\(\displaystyle E(\overline{x})=E\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}\right)= \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}E(x_{i}) =\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu =\frac{1}{n}n\mu =\mu \)

\(\displaystyle \sigma ^{2}\left( \overline{x}\right) = E \left( \left( \overline{x}-E(\overline{x})\right)^{2}\right) = E\left(\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}- \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu \right)^{2}\right) = \)

\(\displaystyle =\frac{1}{n^{2}}E\left(\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )\right)^{2}\right) \)

Jeśli elementy próby są niezależne, to \(\displaystyle E\left((x_{i}-\mu)(x_{j}-\mu )\right) =\delta _{ij}\sigma ^{2}(x_{i}), \)

gdzie \(\delta_{ij}\) oznacza deltę Kroneckera (\(\delta_{ij}=1\ \textrm{ dla }\ i=j, \delta_{ij}=0\ \textrm{ dla }\ i\neq j\)), czyli:

\(\sigma ^{2}\left( \overline{x}\right) =\frac{1}{n^{2}}E\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )^{2}\right) =\frac{1}{n^{2}}\left(\underset{i=1}{\overset{n}{\sum }}E(x_{i}-\mu )^{2}\right) = \frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x_i) \)

Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to \(\sigma ^{2}(x_{i})=\sigma^{2}(x)\), czyli

\(\displaystyle { \sigma ^{2}(\overline{x})=\frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x)=\frac{1}{n}\sigma ^{2}(x)\ }. \)

Prawo wielkich liczb (opcjonalnie)

Do zgodności estymatora wartości oczekiwanej odnosi się również prawo wielkich liczb. Mówi ono, że

wartość średnia \(\overline{x}=\frac{1}{n}\sum\limits_{i=1}^{n} x_i\), obliczona z odpowiednio dużej próby (o liczności co najmniej \(n_0\)), pobieranej z populacji o skończonej wariancji, może być dowolnie bliska wartości oczekiwanej \(\mu\).

Co to znaczy "odpowiednio duża próba" i "dowolnie bliska"?

Jeśli chcemy, żeby wartość średnia nie odbiegała od \(\mu\) o więcej niż \(\varepsilon\) z prawdopodobieństwem ,,prawie jeden", czyli \(1-\eta\), to dla wybranych (dowolnie małych, dodatnich) \(\varepsilon \) i \(\eta\) istnieje takie \(n_{0}\), że dla każdego \(n\gt n_{0}\):

\(\displaystyle \exists {\varepsilon, \eta} \forall{n\gt n_0} P\left( \left| \frac{1}{n}\sum\limits_{i=1}^{n} x_i -\mu \right| \lt \varepsilon \right) \gt 1-\eta. \)

Jest to tzw. słabe prawo wielkich liczb; mocne prawo wielkich liczb mówi, że

\(\displaystyle \underset{n\rightarrow \infty }{\lim} \frac{1}{n}\sum\limits_{i=1}^{n} x_i = \mu . \) Dokładniejsze formulacje i dowody można znaleźć np. w książce "Wnioskowanie statystyczne" L. Gajek i M. Kałuszka, WNT 2000.

Estymator wariancji

Spróbujmy skonstruować estymator wariancji z próby jako \(\displaystyle s_o^{2}=\frac{1}{n} \underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.\)

Aby wyliczyć jego wartość oczekiwaną, wyprowadźmy jeszcze kilka prostych zależności. Na początek wykażemy, że wariancja zmiennej losowej jest równa różnicy wartości oczekiwanej kwadratu tej zmiennej i kwadratu jej wartości oczekiwanej:

\(\displaystyle \sigma^{2}(x_i)=E((x_i-\mu)^{2})=E(x_i^{2}-2x_i\mu+\mu ^{2})=E(x_i^{2})-2\mu E(x_i)+\mu^{2}=\\ \quad\;\;\;\;\;\: = E(x_i^{2})-\mu^{2}=E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} \)

Czyli

\(\displaystyle \sigma ^{2}(x_i) = E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} = E(x_i^{2}) - \mu^2 \)

Wynika stąd w szczególności, że

\(\displaystyle E(x_i^{2}) = \sigma_{x_i}^2 + \mu^2 \)

Analogicznie dla wariancji wartości średniej

\(\displaystyle E(\overline{x}^2) = \sigma_\overline{x}^2 + \mu^2 \)

Czyli \(\sigma_\overline{x}^2 = E(\overline{x}^2) - \mu^2\). Ponieważ \( \sigma^{2}_\overline{x}=\frac{1}{n}\sigma^{2}_{x_i} \) dostajemy

\(\displaystyle \frac{1}{n}\sigma^{2}_{x_i} = E(\overline{x}^2) - \mu^2 \)

\(\displaystyle E(\overline{x}^2) = \frac{1}{n}\sigma^{2}_{x_i} + \mu^2 \)

Policzmy teraz wartość oczekiwaną proponowanego estymatora wariancji \(\displaystyle s_o^{2}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}\)

\(\displaystyle E\left( s_o^{2}\right) = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}(x_{i}-\overline{x})^{2}\right) \)

\(\displaystyle = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}x_{i}^2 + \sum\limits_{i=1}^{n}\overline{x}^{2} - 2\sum\limits_{i=1}^{n} \overline{x} x_i \right) \)

\(\displaystyle = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + \sum\limits_{i=1}^{n}E(\overline{x}^{2}) - 2 E \left(\overline{x} \sum\limits_{i=1}^{n} x_i \right) \right) \)

\(\displaystyle = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + n E(\overline{x}^{2}) - 2 n E (\overline{x}^2 ) \right) \)

\(\displaystyle = \frac{1}{n} \left(n E\left(x_{i}^2\right) - n E\left(\overline{x}^{2}\right) \right) \)

podstawiając wyprowadzone wcześniej wzory na \(E(x_{i}^2)\) i \(E(\overline{x}^{2})\) dostajemy

\(\displaystyle E\left( s_o^{2}\right) = \frac{1}{n} \left( n \left(\sigma^2_{x_i} + \mu^2\right) -n \left( \frac{1}{n}\sigma^2_{x_i} + \mu^2 \right) \right) =\frac{n-1}{n}\sigma^{2}_{x_i} \)

czyli nie jest dla każdej wielkości próby \(n\) wartość oczekiwana tego estymatora wyniesie \(\sigma^2(x)\). Tak więc \(s_o^2\) jest estymatorem obciążonym. W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować

\(\displaystyle { s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}- \overline{x})^{2} } \)

Estymator wariancji wartości średniej

Podstawiając tę zależność do wyprowadzonego powyżej wzoru na wariancję wartości średniej w miejsce \(\sigma^2\), dostajemy wzór na estymator wariancji wartości średniej próby

\(\displaystyle s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}. \)

Pierwiastek tej wielkości

\(\displaystyle s_{\overline{x}} = \sqrt{ \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}} \)

jest estymatorem odchylenia standardowego wartości średniej.