(PDF ファイル: corel1.pdf)

5 点と直線の距離を用いた回帰直線

この節では、通常の回帰直線とは違い、 データ点と直線の距離の平方和を最小にする直線を求めることにする。

直線を $y=ax+b$ として、3 節と同様に行なう。 ただし、この場合は $f(a,b)$ の代わりに

$$g(a,b)=\sum_{j=1}^n d_j^2\hspace{1zw}(d_j = \mbox{$(x_j,y_j)$\ と $y=ax+b$\ との距離})$$

を考えることになる。

ところで、$d_j$ と $\vert y_j-(ax_j+b)\vert$ を比較すると、 直線の傾きが $a$ なので、

$$d_j:\vert y_j-(ax_j+b)\vert = 1:\sqrt{a^2+1}$$

となり、よって

$$g(a,b)=\frac{1}{a^2+1}f(a,b)$$

であることがわかる。 よって、$b$ に関する最小値は 3 節の計算と同じで、 $b=\overline{y}\,-a\overline{x}\,$ のときにとる。 その最小値 $g_1(a)$ は

$$g_1(a)=\frac{1}{a^2+1}f_1(a) = \frac{a^2S_{xx}-2aS_{xy}+S_{yy}}{a^2+1}$$

となる。この分数関数の最小値を求めれば良い。微分すると、

$$\begin{eqnarray*}\frac{d}{da}g_1(a) & = & \frac{(2aS_{xx}-2S_{xy})(a^2+1)-2a(a^... ... & = & \frac{2\{a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}\}}{(a^2+1)^2}\end{eqnarray*}$$

となる。この分子の $a$ に関する 2 次式は、判別式が

$$D=(S_{xx}-S_{yy})^2+4S_{xy}^2\geq 0$$

となるので、

$$S_{xy}(a-\lambda_1)(a-\lambda_2)$$

と書ける。ここで、$\lambda_1$, $\lambda_2$ は

$$\lambda_1=\frac{S_{yy}-S_{xx}-\sqrt{D}}{2S_{xy}},\hspace{1zw} \lambda_2=\frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}$$

であり、これにより、$g_1(a)$ の微分は

$$\frac{d}{da}g_1(a)=\frac{S_{xy}(a-\lambda_1)(a-\lambda_2)}{(a^2+1)^2}$$

となる。

1. $S_{xy}>0$ のとき
   このとき、 $\lambda_1<\lambda_2$ であり、よって最小値は $a=-\infty$ か $a=\lambda_2$ で取る。
2. $S_{xy}<0$ のとき
   このときは、 $\lambda_1>\lambda_2$ であるが、$g_1'(a)$ には $S_{xy}$ がかかっているので、最小値は $a=\infty$ か $a=\lambda_2$ で取る。
3. $S_{xy}=0$ のとき
   このときは、
   
   $$g_1(a)=\frac{a^2S_{xx}+S_{yy}}{a^2+1} = S_{xx} + \frac{S_{yy}-S_{xx}}{a^2+1}$$
   
   
   より、$S_{yy}>S_{xx}$ ならば $\vert a\vert=\infty$ のときに最小値 $S_{xx}$ を、 $S_{yy}<S_{xx}$ ならば $a=0$ のときに最小値 $S_{yy}$ を、 $S_{xx}=S_{yy}$ ならばつねに $S_{xx}$ に等しい値を取る。

$g_1(\pm\infty)=S_{xx}$ であるから、 次は $S_{xy}\neq 0$ のときに、これと $g_1(\lambda_2)$ とを比較する。

$a=\lambda_2$ は

$$a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}=0$$

の解なので

$$S_{yy}-S_{xx}=\frac{a^2-1}{a}S_{xy}$$

となる。これにより、$a=\lambda_2$ に対し、

$$g_1(a) = S_{xx}+\frac{S_{yy}-S_{xx}-2aS_{xy}}{a^2+1} = S_{xx... ...{(a^2-1)S_{xy}-2a^2S_{xy}}{a(a^2+1)} = S_{xx}-\frac{S_{xy}}{a}$$

となるが、

$$a^2S_{xy}+a(S_{xx}-S_{yy})-S_{xy}=0$$

より、

$$\begin{eqnarray*}\frac{S_{xy}}{a} & = & aS_{xy}+S_{xx}-S_{yy} = \lambda_2S_{xy... ...\ & = & \frac{S_{xx}-S_{yy}+\sqrt{D}}{2} (= -\lambda_1 S_{xy})\end{eqnarray*}$$

となる。ここで、$D$ の定義より、 $\sqrt{D}\geq \vert S_{xx}-S_{yy}\vert$ (等号は $S_{xy}=0$) であるので、

$$g_1(a) = S_{xx} - \frac{S_{xx}-S_{yy}+\sqrt{D}}{2}$$

は、$S_{xy}\neq 0$ のとき、確かに $S_{xx}$ より小さく、 よってこれが最小値となる。

結局、$g_1(a)$ の最小値は以下のようになる。

• $S_{xy}=0$ のときは、 $S_{xx}<S_{yy}$ ならば $\vert a\vert=\infty$ のときに最小値 $S_{xx}$、 $S_{xx}>S_{yy}$ ならば $a=0$ のときに最小値 $S_{yy}$、 $S_{xx}=S_{yy}$ ならば全ての $a$ に対し $g_1(a)=S_{xx}(=S_{yy})$ となる。
• $S_{xy}\neq 0$ のときは、 $a=\lambda_2$ のときに最小値
  
  $$g_1(a)= \frac{S_{xx}+S_{yy}-\sqrt{D}}{2}$$
  
  
  を取る。

この $S_{xy}\neq 0$ のときの最小値 $g_1(\lambda_2)$ は、 以下のように書き換えることができる。

$$\begin{eqnarray*}g_1(\lambda_2) & = & \frac{S_{xx}+S_{yy}-\sqrt{(S_{xx}-S_{yy})... ...\sqrt{1-4\frac{S_{xx}S_{yy}-S_{xy}^2}{(S_{xx}+S_{yy})^2}}\right\}\end{eqnarray*}$$

ここで、

$$\hat{r} = \sqrt{1-4\frac{S_{xx}S_{yy}-S_{xy}^2}{(S_{xx}+S_{yy})^2}} \left(=\frac{\sqrt{D}}{S_{xx}+S_{yy}}\right)$$ (5)

とすると、最小値 $g_1(\lambda_2)$ は

$$g_1(\lambda_2)=\frac{S_{xx}+S_{yy}}{2}(1-\hat{r})$$ (6)

と書ける。

なお、$S_{xy}=0$ の場合、$\hat{r}$ は

$$\hat{r}=\frac{\vert S_{xx}-S_{yy}\vert}{S_{xx}+S_{yy}}$$

となるので、

$$\frac{S_{xx}+S_{yy}}{2}(1-\hat{r}) =\frac{S_{xx}+S_{yy}-\vert S_{xx}-S_{yy}\vert}{2}=\min\{S_{xx},S_{yy}\}$$

となり、式 (6) は $S_{xy}=0$ の場合も最小値を与えていることになる。

この $\hat{r}$ は、以下に述べるような色々な性質を持っている。

• 回転不変性
  4 節で見た回転不変量で表現されるので、 回転不変性を持つ。
• 散布図の広がりに関わらない
  $S_{xx}+S_{yy}$ は
  
  $$S_{xx}+S_{yy} = \sum_{j=1}^n\{(x_j-\overline{x}\,)^2+(y_j-\overline{y}\,)^2\}$$
  
  
  であり、これは回転不変で、 かつ散布図の広がり (2 次元的な分散) を表しているが、 一方 $\hat{r}$ は、
  
  $$\frac{1-\hat{r}}{2} = \frac{\mbox{$g(a,b)$\ の最小値}}{S_{xx}+S_{yy}}$$
  
  
  と書けるので、この右辺は散布図の広がり (スケール) には関わらない量に なっているので、$\hat{r}$ も散布図の広がりには影響を受けない値となる。
• 直線相関をあらわす
  ($g(a,b)$ の最小値)/ $(S_{xx}+S_{yy})$ は、 もちろんそれが小さい程直線相関が強く、それが大きければ直線相関が弱くなる。 2 節で見たように、 $S_{xy}^2\leq S_{xx}S_{yy}$ なので $\hat{r}$ は $0\leq\hat{r}\leq 1$ の値を取り、 $\hat{r}=1$ ならば $S_{xy}^2=S_{xx}S_{yy}$ となり、 $r$ の場合と同様、確かに完全な直線相関となる。
• $\hat{r}=0$ の状態が説明できる (直線相関がない)
  $\hat{r}=0$ のときは、$D=0$、すなわち
  
  $$S_{xx}=S_{yy} \hspace{1zw}\mbox{かつ}\hspace{1zw}S_{xy}=0$$
  
  
  となり、この場合は常に $g_1(a)=S_{xx}$ となる。つまり、 直線が $(\overline{x}\,,\overline{y}\,)$ を通れば ( $b=\overline{y}\,-a\overline{x}\,$) $g(a,b)$ の値はその直線の傾き $a$ にはよらない。 これは $(\overline{x}\,,\overline{y}\,)$ を通る、どのような方向の直線に対しても、 データからの距離の平方和は一定である、ということを意味している。 「どのような方向にもデータからの誤差が一定」ということは 「どのような方向にも相関性はない」ということを意味しているように思える。

  通常の相関係数は、$r=0$ のときには $S_{xy}=0$ しか得られないが、 $\hat{r}$ の場合はそれに加えて $S_{xx}=S_{yy}$ も得られるので、 $r=0$ よりもやや強いことが言えるのである。

• $\hat{r}\geq \vert r\vert$
  相乗平均と相加平均の関係より、
  
  $$4S_{xx}S_{yy}\leq(S_{xx}+S_{yy})^2$$
  
  
  なので、 $S_{xx}S_{yy}-S_{xy}^2 = S_{xx}S_{yy}(1-r^2)$ より、
  $$\begin{eqnarray*}\hat{r} &=& \frac{\sqrt{(S_{xx}+S_{yy})^2-4S_{xx}S_{yy}(1-r^2)}... ...^2-(S_{xx}+S_{yy})^2(1-r^2)}}% {S_{xx}+S_{yy}} = \vert r\vert \end{eqnarray*}$$
  
  

以上のことから、ある意味ではむしろ $r$ よりも優れている性質を持つ、 あらたな「相関係数」$\hat{r}$ が得られたことになる。 相関係数として $\hat{r}$ を使えば、問題 1 もある意味で解決する。

また、上で得られた「回帰直線」の傾き $\hat{a}=\lambda_2$ も、 もちろん回転不変性 (すなわちデータの回転に合わせて直線も同じだけ回転) を持ち、$x$, $y$ の入れ替えにも対応することが、その定義からすぐに分かる。 さらに次も言える。

命題 1

$\hat{a}=\lambda_2$, $a=S_{xy}/S_{xx}$, および データの $x$,$y$ を入れ替えて作った回帰直線を $y=x$ に関して 対称に折り返した直線の傾き $\tilde{a}=S_{yy}/S_{xy}$ (cf. 4 節) に対して次が成り立つ。

$$\left\{\begin{array}{lll} S_{xy} > 0 & \Rightarrow & \tild... ...tarrow & \tilde{a} \leq \hat{a} \leq a < 0 \end{array}\right.$$

なお、4 つの不等号の等号成立は、いずれも完全な直線相関のとき ($\vert r\vert=1$)。

証明

$\hat{a}$ は、

$$\hat{a}=\lambda_2 = \frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}$$

なので、

$$\begin{eqnarray*}\tilde{a}-\hat{a} & = & \frac{S_{yy}}{S_{xy}}-\frac{S_{yy}-S_... ...qrt{(S_{xx}+S_{yy})^2-4(S_{xx}S_{yy}-S_{xy}^2)}}% {2S_{xy}}\\ \end{eqnarray*}$$

で、 $S_{xx}S_{yy}\geq S_{xy}^2$ より $\tilde{a}$ と $\hat{a}$ の大小関係が得られる。そして等号成立は $S_{xx}S_{yy}=S_{xy}^2$、すなわち $\vert r\vert=1$ のときであることもわかる。

また、

$$\begin{eqnarray*}\hat{a}-a & = & \frac{S_{yy}-S_{xx}+\sqrt{D}}{2S_{xy}}-\frac{... ...y}\frac{S_{xx}+S_{yy}-\sqrt{D}}{S_{xx}(\sqrt{D}+S_{xx}-S_{yy})} \end{eqnarray*}$$

であり、 $\sqrt{D}+S_{xx}-S_{yy}>0$ より $\hat{a}$ と $a$ の大小関係が得られる。等号成立はこちらも $S_{xx}S_{yy}=S_{xy}^2$ の場合となる。

なお、 $S_{xy}\rightarrow 0$ のときは、 $a\rightarrow 0$, $\tilde{a}$ は

$$\lim_{S_{xy}\rightarrow \pm0}\tilde{a} = \pm\infty$$

であるが、$\hat{a}$ は、$S_{yy}>S_{xx}$ のときは

$$\lim_{S_{xy}\rightarrow \pm0}(S_{yy}-S_{xx}+\sqrt{D}) = 2(S_{yy}-S_{xx}) >0$$

なので

$$\lim_{S_{xy}\rightarrow \pm0}\hat{a} = \pm\infty$$

であり、$S_{yy}<S_{xx}$ のときは

$$\lim_{S_{xy}\rightarrow \pm0}\hat{a} = \lim_{S_{xy}\rightarr... ...m_{S_{xy}\rightarrow \pm0}\frac{2S_{xy}}{2(S_{xx}-S_{yy})} = 0$$

となる。$S_{xx}=S_{yy}$ のときは、 $\hat{a}= \vert S_{xy}\vert/S_{xy}=\mathrm{sgn}{S_{xy}}$ より、

$$\lim_{S_{xy}\rightarrow \pm0}\hat{a}=\pm 1$$

となる。

以上が問題 3 の前半部分に対する答えとなる。