next up previous
Next: この文書について... (PDF ��������: system1.pdf)

平成 13 年 7 月 18 日
過剰な連立一次方程式の最小自乗解
新潟工科大学 情報電子工学科 竹野茂治

過剰な連立一次方程式

\begin{displaymath} \begin{array}{ll} A \mbox{\boldmath$x$} = \mbox{\boldmath$b... ... \mbox{\boldmath$b$} = {}^T\!(b_1,b_2,\ldots,b_m) \end{array}\end{displaymath}

($m>n$) は、一般には解を持つとは限らない。これの最小自乗解、すなわち 自乗誤差

\begin{displaymath} Err = \sum_{k=1}^{m}(\mbox{\boldmath$\alpha$}_k \mbox{\boldm... ...( \mbox{\boldmath$\alpha$}_k = (a_{k1},a_{k2},\ldots ,a_{kn})) \end{displaymath}

を最小にする $\mbox{\boldmath$x$}$ を求めることを考える。


命題 1

そのような $\mbox{\boldmath$x$}$ がただ一つに決まるのは、$A$ の列ベクトル

\begin{displaymath} \mbox{\boldmath$\beta$}_1,\mbox{\boldmath$\beta$}_2,\ldots,... ...mbox{\boldmath$\beta$}_k={}^T\!(a_{1k},a_{2k},\ldots,a_{mk})) \end{displaymath}

が一次独立のとき、そしてそのときのみであり、その場合、そのような $\mbox{\boldmath$x$}$ は連立方程式

\begin{displaymath} {}^T\!A A\mbox{\boldmath$x$} = {}^T\!A\mbox{\boldmath$b$} \end{displaymath}

で与えられる。


証明

一般の場合も同様なので、$n=2$, $m=3$ で行う。方程式を

\begin{displaymath} \left\{ \begin{array}{lll} ax+by & = & p\\ cx+dy & = & q\\ ex+fy & = & r \end{array} \right. \end{displaymath}

として考える。つまりこの場合

\begin{displaymath} A = \left[\begin{array}{ll}a & b\\ c & d \\ e & f\end{array... ...ath$x$}={}^T\!(x,y), \ \ \ \mbox{\boldmath$b$}={}^T\!(p,q,r) \end{displaymath}

である。自乗誤差は

\begin{displaymath} Err=(ax+by-p)^2+(cx+dy-q)^2+(ex+fy-r)^2 \end{displaymath}

である。2 変数関数の極大極小の理論により、その最小値を与える停留点は

\begin{displaymath} \frac{\partial Err}{\partial x}= \frac{\partial Err}{\partial y}=0 \end{displaymath}

となる点 $(x,y)$ であり、

\begin{eqnarray*}\frac{\partial Err}{\partial x} & = & 2a(ax+by-p) + 2c(cx+dy-... ...rr}{\partial y} & = & 2b(ax+by-p) + 2d(cx+dy-q) + 2f(ex+fy-r) \end{eqnarray*}



なので、よって、

\begin{eqnarray*}&& \left[\begin{array}{l} a(ax+by-p) + c(cx+dy-q) + e(ex+fy-r... ...ath$b$}\\ & = & \left[\begin{array}{l}0\\ 0\end{array}\right] \end{eqnarray*}



を満たすものがその停留点となる。

\begin{eqnarray*}\det({}^T\!A A) & = & \left\vert \left[\begin{array}{lll}a &... ...2+d^2+f^2)-(ab+cd+ef)^2\\ & = & (ad-cb)^2+(af-eb)^2+(cf-ed)^2 \end{eqnarray*}



なので、これが 0 になるのは $ad=cb$, $af=eb$, $cf=ed$, すなわち $a:c:e=b:d:f$ となるとき、つまり $A$ の列ベクトル ${}^T\!(a,c,e)$ と ${}^T\!(b,d,f)$ が平行であるとき、となる。

それ以外の場合には方程式 ${}^T\!A A\mbox{\boldmath$x$}-{}^T\!A\mbox{\boldmath$b$}=0$ によって一意に停留点が求まる。



next up previous
Next: この文書について...
Shigeharu TAKENO
2001年 8月 17日