WnioskowanieStatystyczne/Regresja liniowa

Regresja liniowa

Pary pomiarów \((x_{i},y_{i})\). Dla każdego \(x_{i}\), \(y_{i}\) traktujemy jak zmienną losową z rozkładu normalnego o wartości średniej \(a+b\) \(x_{i}\) i wariancji \(\sigma _{i}^{2}\). Prawdopodobieństwo a posteriori otrzymania \(N\) wyników \(y_{i}\) dla określonych \(x_{i}\) przy założeniu wartości \(a\) i \(b\)

\( P(\overline{y} \mid \overline{x}, a, b) =\underset{i=1}{\overset{N}{\prod }} \frac{1}{\sqrt{2\pi \sigma _{i}^{2}}}e^{\frac{(y_{i}-a-bx_{i})^{2}}{2\sigma_{i}^{2}}} =\frac{1}{\sqrt{(2\pi )^{n}}} \; \underset{i=1}{\overset{N}{\prod }} \frac{1}{\sigma _{i}} \; e^{-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{ (y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}} \)

logarytmiczna funkcja wiarygodności:

\( l=-\frac{N}{2}\ln 2\pi +\ln (\underset{i=1}{\overset{N}{\prod }}\frac{1}{ \sigma _{i}})-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{ (y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}} \)

\(\sigma _{i}\) zwykle nie znamy, więc przyjmujemy jako stałą \(\forall i \sigma _{i}=\sigma\). Pozostaje szukanie minimum sumy

\(S=\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})^{2}\)

w zerze pochodnej po parametrach \(a\) i \(b\)

\( \frac{\partial S}{\partial a}=-2\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})\\ \underset{i=1}{\overset{N}{\sum }} \left(y_i - a - bx_i\right) = 0 \\ \underset{i=1}{\overset{N}{\sum }} y_i = \underset{i=1}{\overset{N}{\sum }} a + b\underset{i=1}{\overset{N}{\sum }} x_i \\ \underset{i=1}{\overset{N}{\sum }} y_i = N a + b\underset{i=1}{\overset{N}{\sum }} x_i \\ \frac{1}{N} \underset{i=1}{\overset{N}{\sum }} y_{i} = a + \frac{1}{N} b \underset{i=1}{\overset{N}{\sum }} x_i \)

\( \bar{y} = a + b\bar{x} \)

\( a = \bar{y} - b\bar{x} \)

wyznaczone stąd \(a\) podstawiamy do wzoru na \(S\)

\( S=\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})^{2} \)

\( = \underset{i=1}{\overset{N}{\sum}}(y_{i}-\bar{y} - b\bar{x}-bx_{i})^{2} \)

\( =\underset{i=1}{\overset{N}{\sum}} \left( (y_{i}-\bar{y}) - b (x_i - \bar{x}) \right)^2 \)

po podstawieniu przyrównujemy do zera pochodną po \(b\)

\( \dfrac{\partial S}{\partial b}= -2\sum_{i=1}^N \left( (y_{i} - \bar{y}) - b(x_{i} - \bar{x})\right)\left(x_{i}-\bar{x}\right) = 0 \)

\( \sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right) - b\sum_{i=1}^N \left(x_i - \bar{x}\right)^2 = 0 \)

\( b = \dfrac{\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right)}{\sum_{i=1}^N \left(x_{i}-\bar{x}\right)^2} \)

i ostatecznie dostajemy znajome wzory:

\( b=\dfrac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}- \overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}}, \qquad a=\overline{y}-b\overline{x} \)