叶卢庆的博客

推导正规方程

Gilbert Strang的《线性代数及其应用》(第二版,侯自新等翻译)第119页推导了关于多变元最小二乘法的正规方程.在此,我使用自己更加能接受的方式重新推导正规方程.

设$n$个$m$维向量$\mathbf{v}_{1},\mathbf{v}_{2},\cdots,\mathbf{v}_{n}$张成子空间$W$.设$m$维向量$\mathbf{b}$在子空间$W$中的射影为$\mathbf{b}’$.则$\mathbf{b}-\mathbf{b}’$正交于子空间$W$,也即与$\mathbf{v}_{1},\mathbf{v}_{2},\cdots,\mathbf{v}_{n}$都正交.设
$$
\mathbf{b}’=x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n},
$$
则$\mathbf{b}-\mathbf{b}’=\mathbf{b}-(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n})$.我们有
$$
\begin{cases}
[\mathbf{b}-(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n})]\cdot
\mathbf{v}_{1}=0\\
[\mathbf{b}-(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n}]\cdot
\mathbf{v}_{2}=0\\
\vdots\\
[\mathbf{b}-(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n}]\cdot \mathbf{v}_{n}=0.
\end{cases}
$$

$$
\begin{cases}
(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n})\cdot
\mathbf{v}_{1}=\mathbf{b}\cdot \mathbf{v}_{1}\\
(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n})\cdot
\mathbf{v}_{2}=\mathbf{b}\cdot \mathbf{v}_{2}\\
\vdots\\
(x_{1}\mathbf{v}_{1}+x_{2}\mathbf{v}_{2}+\cdots+x_{n}\mathbf{v}_{n})\cdot
\mathbf{v}_{n}=\mathbf{b}\cdot \mathbf{v}_{n}\\
\end{cases}.
$$

$$
\begin{pmatrix}
\mathbf{v}_{1}\cdot\mathbf{v}_{1}&\mathbf{v}_{2}\cdot
\mathbf{v}_{1}&\cdots&\mathbf{v}_{n}\cdot\mathbf{v}_{1}\\
\mathbf{v}_{1}\cdot \mathbf{v}_{2}&\mathbf{v}_{2}\cdot
\mathbf{v}_{2}&\cdots& \mathbf{v}_{n}\cdot \mathbf{v}_{2}\\
\vdots&\vdots&\cdots&\vdots\\
\mathbf{v}_{1}\cdot \mathbf{v}_{n}&\mathbf{v}_{2}\cdot
\mathbf{v}_{n}&\cdots& \mathbf{v}_{n}\cdots \mathbf{v}_{n}
\end{pmatrix}
\begin{pmatrix}
x_{1}\\
x_{2}\\
\vdots\\
x_{n}
\end{pmatrix}=
\begin{pmatrix}
\mathbf{b}\cdot \mathbf{v}_{1}\\
\mathbf{b}\cdot \mathbf{v}_{2}\\
\vdots\\
\mathbf{b}\cdot \mathbf{v}_{n}
\end{pmatrix}.
$$
事实上,这就是正规方程.如果更详细地记$\mathbf{v}_{i}=
\begin{pmatrix}
a_{1i}\\
a_{2i}\\
\vdots\\
a_{mi}
\end{pmatrix}(1\leq i\leq n),
$则上式可以改写成如下形式:
$$
A^{T}Ax=A^{T}b,
$$
其中
$$
A=
\begin{pmatrix}
a_{11}&a_{12}&\cdots&a_{1n}\\
a_{21}&a_{22}&\cdots&a_{2n}\\
\vdots&\vdots&\cdots&\vdots\\
a_{mn}&a_{m2}&\cdots&a_{mn}
\end{pmatrix},x=
\begin{pmatrix}
x_{1}\\
x_{2}\\
\vdots\\
x_{n}
\end{pmatrix}.
$$
两种形式的正规方程其实是一样的.