叶卢庆的博客

利用微分法推导最小二乘的正规方程

在博文《推导正规方程》里,我们曾用几何法推出了最小二乘法的正规方程.在此,我们尝试使用微分法,再次推出正规方程.

我们考虑,当$x$满足什么条件时,$||Ax-b||$取极小值,其中$x$是$n$维向量,$A$是$m\times n$矩阵,$b$是$m$维向量.设
\begin{align*}
y&=||Ax-b||^{2}
\\&=(Ax-b)^{T}(Ax-b)
\\&=((Ax)^{T}-b^{T})(Ax-b)
\\&=(Ax)^TAx-(Ax)^Tb-b^TAx+b^Tb.
\end{align*}
令$y_{1}=(Ax)^{T}Ax$,$y_{2}=(Ax)^{T}b,y_{3}=b^{T}Ax,y_{4}=b^{T}b$,则$y=y_1-y_2-y_3+y_4$,则
$$
dy=dy_1-dy_2-dy_3+dy_4,
$$
而$dy_2=[A(dx)]^{T}b=(dx)^TA^{T}b$,$dy_3=b^TAdx,dy_4=0$.
\begin{align*}
dy_1&=[A(x+dx)]^TA(x+dx)-(Ax)^TAx
\\&=(x+dx)^TA^TA(x+dx)-x^TA^TAx
\\&=[x^{T}+(dx)^{T}]A^TA(x+dx)-x^TA^TAx
\\&=[x^TA^{T}Ax+x^TA^TAdx+(dx)^{T}A^{T}Ax]-x^TA^TAx
\\&=x^TA^{T}Adx+(dx)^TA^{T}Ax
\end{align*}
\begin{align*}
dy&=x^TA^TAdx+(dx)^TA^TAx-(dx)^TA^Tb-b^TAdx
\\&=(x^{T}A^{T}A-b^{T}A)dx+(dx)^T(A^{T}Ax-A^{T}b)
\\&=M^{T}+M,
\end{align*}
其中$M=(dx)^T(A^{T}Ax-A^{T}b)$.当$||Ax-b||$取极小值时,$y$也取极小值,因此$dy=0$.即
$$
M^{T}+M=0
$$
因此只能有$M=0$,即$M=(dx)^T(A^{T}Ax-A^{T}b)=0$.因此$A^TAx-A^Tb=0$,即
\begin{equation}\label{eq:1}
A^TAx=A^Tb
\end{equation}
即当$x$满足式\eqref{eq:1}时,$||Ax-b||$取极小值.而式\eqref{eq:1}就是正规方程.