next up previous
Next: 6 スケール変換に対する不変性 Up: 相関係数に関する一考察 Previous: 4 回転不変性について (PDF ファイル: corel1.pdf)


5 点と直線の距離を用いた回帰直線

この節では、通常の回帰直線とは違い、 データ点と直線の距離の平方和を最小にする直線を求めることにする。

直線を $y=ax+b$ として、3 節と同様に行なう。 ただし、この場合は $f(a,b)$ の代わりに

\begin{displaymath}
g(a,b)=\sum_{j=1}^n d_j^2\hspace{1zw}(d_j = \mbox{$(x_j,y_j)$\ と $y=ax+b$\ との距離})
\end{displaymath}

を考えることになる。

ところで、$d_j$ $\vert y_j-(ax_j+b)\vert$ を比較すると、 直線の傾きが $a$ なので、

\begin{displaymath}
d_j:\vert y_j-(ax_j+b)\vert = 1:\sqrt{a^2+1}
\end{displaymath}

となり、よって

\begin{displaymath}
g(a,b)=\frac{1}{a^2+1}f(a,b)
\end{displaymath}

であることがわかる。 よって、$b$ に関する最小値は 3 節の計算と同じで、 $b=\overline{y}\,-a\overline{x}\,$ のときにとる。 その最小値 $g_1(a)$

\begin{displaymath}
g_1(a)=\frac{1}{a^2+1}f_1(a) = \frac{a^2S_{xx}-2aS_{xy}+S_{yy}}{a^2+1}
\end{displaymath}

となる。この分数関数の最小値を求めれば良い。微分すると、

\begin{eqnarray*}\frac{d}{da}g_1(a)
& = & \frac{(2aS_{xx}-2S_{xy})(a^2+1)-2a(a^...
...
& = & \frac{2\{a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}\}}{(a^2+1)^2}\end{eqnarray*}

となる。この分子の $a$ に関する 2 次式は、判別式が

\begin{displaymath}
D=(S_{xx}-S_{yy})^2+4S_{xy}^2\geq 0
\end{displaymath}

となるので、

\begin{displaymath}
S_{xy}(a-\lambda_1)(a-\lambda_2)
\end{displaymath}

と書ける。ここで、$\lambda_1$, $\lambda_2$

\begin{displaymath}
\lambda_1=\frac{S_{yy}-S_{xx}-\sqrt{D}}{2S_{xy}},\hspace{1zw}
\lambda_2=\frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}
\end{displaymath}

であり、これにより、$g_1(a)$ の微分は

\begin{displaymath}
\frac{d}{da}g_1(a)=\frac{S_{xy}(a-\lambda_1)(a-\lambda_2)}{(a^2+1)^2}
\end{displaymath}

となる。
  1. $S_{xy}>0$ のとき
    このとき、 $\lambda_1<\lambda_2$ であり、よって最小値は $a=-\infty$$a=\lambda_2$ で取る。
  2. $S_{xy}<0$ のとき
    このときは、 $\lambda_1>\lambda_2$ であるが、$g_1'(a)$ には $S_{xy}$ がかかっているので、最小値は $a=\infty$$a=\lambda_2$ で取る。
  3. $S_{xy}=0$ のとき
    このときは、

    \begin{displaymath}
g_1(a)=\frac{a^2S_{xx}+S_{yy}}{a^2+1} = S_{xx} + \frac{S_{yy}-S_{xx}}{a^2+1}
\end{displaymath}

    より、$S_{yy}>S_{xx}$ ならば $\vert a\vert=\infty$ のときに最小値 $S_{xx}$ を、 $S_{yy}<S_{xx}$ ならば $a=0$ のときに最小値 $S_{yy}$ を、 $S_{xx}=S_{yy}$ ならばつねに $S_{xx}$ に等しい値を取る。

$g_1(\pm\infty)=S_{xx}$ であるから、 次は $S_{xy}\neq 0$ のときに、これと $g_1(\lambda_2)$ とを比較する。

$a=\lambda_2$

\begin{displaymath}
a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}=0
\end{displaymath}

の解なので

\begin{displaymath}
S_{yy}-S_{xx}=\frac{a^2-1}{a}S_{xy}
\end{displaymath}

となる。これにより、$a=\lambda_2$ に対し、

\begin{displaymath}
g_1(a) = S_{xx}+\frac{S_{yy}-S_{xx}-2aS_{xy}}{a^2+1}
= S_{xx...
...{(a^2-1)S_{xy}-2a^2S_{xy}}{a(a^2+1)}
= S_{xx}-\frac{S_{xy}}{a}
\end{displaymath}

となるが、

\begin{displaymath}
a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}=0
\end{displaymath}

より、

\begin{eqnarray*}\frac{S_{xy}}{a}
& = & aS_{xy}+S_{xx}-S_{yy} = \lambda_2S_{xy...
...\
& = & \frac{S_{xx}-S_{yy}+\sqrt{D}}{2}
(= -\lambda_1 S_{xy})\end{eqnarray*}

となる。ここで、$D$ の定義より、 $\sqrt{D}\geq \vert S_{xx}-S_{yy}\vert$ (等号は $S_{xy}=0$) であるので、

\begin{displaymath}
g_1(a) = S_{xx} - \frac{S_{xx}-S_{yy}+\sqrt{D}}{2}
\end{displaymath}

は、$S_{xy}\neq 0$ のとき、確かに $S_{xx}$ より小さく、 よってこれが最小値となる。

結局、$g_1(a)$ の最小値は以下のようになる。

この $S_{xy}\neq 0$ のときの最小値 $g_1(\lambda_2)$ は、 以下のように書き換えることができる。

\begin{eqnarray*}g_1(\lambda_2)
& = & \frac{S_{xx}+S_{yy}-\sqrt{(S_{xx}-S_{yy})...
...\sqrt{1-4\frac{S_{xx}S_{yy}-S_{xy}^2}{(S_{xx}+S_{yy})^2}}\right\}\end{eqnarray*}

ここで、
\begin{displaymath}
\hat{r} = \sqrt{1-4\frac{S_{xx}S_{yy}-S_{xy}^2}{(S_{xx}+S_{yy})^2}}
\left(=\frac{\sqrt{D}}{S_{xx}+S_{yy}}\right)\end{displaymath} (5)

とすると、最小値 $g_1(\lambda_2)$
\begin{displaymath}
g_1(\lambda_2)=\frac{S_{xx}+S_{yy}}{2}(1-\hat{r})\end{displaymath} (6)

と書ける。

なお、$S_{xy}=0$ の場合、$\hat{r}$

\begin{displaymath}
\hat{r}=\frac{\vert S_{xx}-S_{yy}\vert}{S_{xx}+S_{yy}}
\end{displaymath}

となるので、

\begin{displaymath}
\frac{S_{xx}+S_{yy}}{2}(1-\hat{r})
=\frac{S_{xx}+S_{yy}-\vert S_{xx}-S_{yy}\vert}{2}=\min\{S_{xx},S_{yy}\}
\end{displaymath}

となり、式 (6) は $S_{xy}=0$ の場合も最小値を与えていることになる。

この $\hat{r}$ は、以下に述べるような色々な性質を持っている。

以上のことから、ある意味ではむしろ $r$ よりも優れている性質を持つ、 あらたな「相関係数」$\hat{r}$ が得られたことになる。 相関係数として $\hat{r}$ を使えば、問題 1 もある意味で解決する。

また、上で得られた「回帰直線」の傾き $\hat{a}=\lambda_2$ も、 もちろん回転不変性 (すなわちデータの回転に合わせて直線も同じだけ回転) を持ち、$x$, $y$ の入れ替えにも対応することが、その定義からすぐに分かる。 さらに次も言える。


命題 1

$\hat{a}=\lambda_2$, $a=S_{xy}/S_{xx}$, および データの $x$,$y$ を入れ替えて作った回帰直線を $y=x$ に関して 対称に折り返した直線の傾き $\tilde{a}=S_{yy}/S_{xy}$ (cf. 4 節) に対して次が成り立つ。

\begin{displaymath}
\left\{\begin{array}{lll}
S_{xy} > 0 & \Rightarrow & \tild...
...tarrow & \tilde{a} \leq \hat{a} \leq a < 0
\end{array}\right. \end{displaymath}

なお、4 つの不等号の等号成立は、いずれも完全な直線相関のとき ($\vert r\vert=1$)。


証明

$\hat{a}$ は、

\begin{displaymath}
\hat{a}=\lambda_2 = \frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}
\end{displaymath}

なので、

\begin{eqnarray*}\tilde{a}-\hat{a}
& = & \frac{S_{yy}}{S_{xy}}-\frac{S_{yy}-S_...
...qrt{(S_{xx}+S_{yy})^2-4(S_{xx}S_{yy}-S_{xy}^2)}}%
{2S_{xy}}\\
\end{eqnarray*}

で、 $S_{xx}S_{yy}\geq S_{xy}^2$ より $\tilde{a}$$\hat{a}$ の大小関係が得られる。そして等号成立は $S_{xx}S_{yy}=S_{xy}^2$、すなわち $\vert r\vert=1$ のときであることもわかる。

また、

\begin{eqnarray*}\hat{a}-a
& = & \frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}-\frac{...
...y}\frac{S_{xx}+S_{yy}-\sqrt{D}}{S_{xx}(\sqrt{D}+S_{xx}-S_{yy})}
\end{eqnarray*}

であり、 $\sqrt{D}+S_{xx}-S_{yy}>0$ より $\hat{a}$$a$ の大小関係が得られる。等号成立はこちらも $S_{xx}S_{yy}=S_{xy}^2$ の場合となる。


なお、 $S_{xy}\rightarrow 0$ のときは、 $a\rightarrow 0$, $\tilde{a}$

\begin{displaymath}
\lim_{S_{xy}\rightarrow \pm0}\tilde{a} = \pm\infty
\end{displaymath}

であるが、$\hat{a}$ は、$S_{yy}>S_{xx}$ のときは

\begin{displaymath}
\lim_{S_{xy}\rightarrow \pm0}(S_{yy}-S_{xx}+\sqrt{D}) = 2(S_{yy}-S_{xx}) >0
\end{displaymath}

なので

\begin{displaymath}
\lim_{S_{xy}\rightarrow \pm0}\hat{a} = \pm\infty
\end{displaymath}

であり、$S_{yy}<S_{xx}$ のときは

\begin{displaymath}
\lim_{S_{xy}\rightarrow \pm0}\hat{a}
= \lim_{S_{xy}\rightarr...
...m_{S_{xy}\rightarrow \pm0}\frac{2S_{xy}}{2(S_{xx}-S_{yy})}
= 0
\end{displaymath}

となる。$S_{xx}=S_{yy}$ のときは、 $\hat{a}= \vert S_{xy}\vert/S_{xy}=\mathrm{sgn}{S_{xy}}$ より、

\begin{displaymath}
\lim_{S_{xy}\rightarrow \pm0}\hat{a}=\pm 1
\end{displaymath}

となる。

以上が問題 3 の前半部分に対する答えとなる。


next up previous
Next: 6 スケール変換に対する不変性 Up: 相関係数に関する一考察 Previous: 4 回転不変性について
Shigeharu TAKENO
2004年 10月 18日