Willkommen bei Stats by Randolph. Hier geht es zur Hauptseite mit weiteren Informationen und Inhalten.
Autor:innen dieser Seite: An den Inhalten dieser Seite haben mitgearbeitet: Valentin Koob, Eva Röttger und Markus Janczyk. Der Inhalt dieser Seite wird in der Lehre in den Studiengängen Psychologie von der AG Forschungsmethoden und Kognitive Psychologie an der Universität Bremen verwendet, steht aber allen Interessierten zur Verfügung. Rückmeldungen/Fehler/Vorschläge können gesendet werden an randolph@uni-bremen.
Versionshistory:
Wir hatten festgehalten, dass im Falle der einfachen linearen Regression die optimalen Werte für \(b\) und \(a\) wie folgt sind: \[b=\frac{\text{Kov}(X,Y)}{S_X^2}\text{ und }a=M_Y-bM_X\] Bzgl. der Herleitung hatten wir nur festgehalten:
Im folgenden Text werden diese Schritte durchgeführt explizit gezeigt.
Ausgangspunkt ist die Funktion \(Q\), deren Minimum gesucht ist: \[Q(b,a)=\sum_{i=1}^n(y_i-(bx_i+a))^2=\sum_{i=1}^n (y_i-bx_i-a)^2\]
\[\begin{equation} \frac{\partial Q(b,a)}{\partial a} = \sum_{i=1}^n2(y_i-bx_i-a)(-1) \end{equation}\]
\[\begin{equation} \frac{\partial Q(b,a)}{\partial b} = \sum_{i=1}^n2(y_i-bx_i-a)(-x_i) \end{equation}\]
Wir beginnen mit der partiellen Ableitung nach \(a\), weil wir die Lösung dann später bei der partiellen Ableitung nach \(b\) benötigen werden.
\[\begin{equation*} \begin{aligned} &\sum_{i=1}^n2(y_i-bx_i-a)(-1) = 0 \\ \Leftrightarrow&-2\sum_{i=1}^n(y_i-bx_i-a) = 0 \\ \Leftrightarrow&\sum_{i=1}^n y_i -b\sum_{i=1}^nx_i-na = 0 \\ \Leftrightarrow&\sum_{i=1}^n y_i -b\sum_{i=1}^nx_i = na \\ \Leftrightarrow&\frac{\sum_{i=1}^n y_i -b\sum_{i=1}^nx_i}{n} = a \\ \Leftrightarrow&\frac{\sum_{i=1}^n y_i}{n} -b\frac{\sum_{i=1}^nx_i}{n} = a \\ \Leftrightarrow&\boxed{M_Y-bM_X=a} \end{aligned} \end{equation*}\]
\[\begin{equation*} \begin{aligned} &\sum_{i=1}^n2(y_i-bx_i-a)(-x_i) = 0 \\ \Leftrightarrow&2\sum_{i=1}^n(-y_ix_i+bx_i^2+ax_i) = 0\\ \Leftrightarrow&-\sum_{i=1}^n y_ix_i+b\sum_{i=1}^nx_i^2+a\sum_{i=1}^nx_i = 0\\ \Leftrightarrow&-\sum_{i=1}^n y_ix_i+b\sum_{i=1}^nx_i^2+(M_Y-bM_X)\sum_{i=1}^nx_i = 0\hspace{1cm}|a \text{ eingesetzt}\\ \Leftrightarrow&-\sum_{i=1}^n y_ix_i+b\sum_{i=1}^nx_i^2+M_Y\sum_{i=1}^nx_i-bM_X\sum_{i=1}^nx_i = 0\\ \Leftrightarrow&b\left(\sum_{i=1}^nx_i^2-M_X\sum_{i=1}^nx_i\right) -\sum_{i=1}^n y_ix_i+M_Y\sum_{i=1}^nx_i = 0\\ \Leftrightarrow&b\left(\sum_{i=1}^nx_i^2-M_X\sum_{i=1}^nx_i\right) = \sum_{i=1}^n y_ix_i-M_Y\sum_{i=1}^nx_i\\ \Leftrightarrow&b = \frac{\sum_{i=1}^n y_ix_i-M_Y\sum_{i=1}^nx_i}{\sum_{i=1}^nx_i^2-M_X\sum_{i=1}^nx_i}\\ \Leftrightarrow&b = \frac{\frac{1}{N}\left(\sum_{i=1}^n y_ix_i-M_Y\sum_{i=1}^nx_i\right)} {\frac{1}{N}\left(\sum_{i=1}^nx_i^2-M_X\sum_{i=1}^nx_i\right)}\hspace{1cm}|\text{ erweitert mit }\frac{1}{N}\\ \Leftrightarrow&b = \frac{M_{YX}-M_YM_X}{M_{X^2}-(M_X)^2}\\ \Leftrightarrow&\boxed{b = \frac{\text{Kov}(Y,X)}{S_X^2}}\\ \end{aligned} \end{equation*}\]