1、第五章最小二乘问题的解法1.最小二乘问题1)回归方程问题【巴,L，yT,i=1,2,m是m个实验点。现要根据这些点确定y与l个物理量匕出,匕之间的关系式。设这种关系式为y=F(ti,t|,Xi,Xn)，其中Xi,.,Xn是方程中需要待定的门个参数係数)。因此问题是如何通过m(m.n)个实验点，确定方程中的系数。由于实验点的个数大于待定系数的个数，因此方程中系数的确定是一个超静定问题，无法按一般的方法进行求解。此时将实验点到曲面距离最短的那个曲面作为所求曲面，从而求取该曲面方程。m即求解minF(t,x)y(i)2，这就是最小二乘问题。i2)非线性方程组
2、问题1(X1,.,Xn)=0求解非线性方程组f2(X1,.,Xn)M可转化为求解如下形式的最小二乘问题。Ifn(Xi,.,Xn)=0m-2min二fi(Xi,.,Xn)i土显而易见，最小二乘法的一般形式可写为minf(x)tf(x)最小二乘法问题实际上是具有n个变量的无约束极小化问题，前面解无约束优化问题的方法均可应用。但是最小二乘问题具有一定的特殊性，即目标函数的表达式是由多个表达ii式的平方和组成，理应有更、更有效的方法。这正是最小二乘解法要解决的问题。2.线性最小二乘问题的解法最小二乘法的一般形式可写为minf(x)Tf(x)特别地，
4、2ATb若x*是s(x)的极小点，则必有、s(x)=O，则必有:ATAx二ATb(2)充分性若x满足ATAx=ATb，即AT(Ax-b)=0考虑任一点7izRn，计算Av_bA(x*z)_b=(Ax*_b)Az)T(Ax*_b)Az)*T*TTT*T=(Ax-b)(Ax-b)(Ax-b)AzzA(Ax-b)-(Az)(Az)2=Ax*-bAz2zTAT(Ax*-b)由于上式第二项大于等于零，第三项为零，故x*是极小点。我们称ATAx=ATb为最小二乘问题的法方程组。由上述定理可知，求解最小二
6、ax-b)=(Ax-b)TQTQ(Ax-b)=(Ax-b)T(Ax-b)=Ax-b上式说明以|Q(Ax-b)为目标函数的最小二乘解与目标函数为|Ax-b的最小二乘解具有相同的解。因此求解min|Ax-b可转化为求解min|Rx-c|，其中R=QA，c=Qb。由线性代数可知，适当地选择正交矩阵Q,总可使R-QA呈现为如下形式的矩阵:R=UI,其中u是灯的秩为r的上梯形矩阵；0是(mr)"的零矩阵。定理：线性最小二乘问题min|Ax_b2与线性方程组Ux=p具有相同解。其中p是由c=Qb的前r个分量组成的r维向量。证明
8、为x=UT(UUT)p，且解是唯一的。x=UT(UUT)p显然是Ux=p的一个解。设y是Ux=p的另一个解。贝卩U(x_y)=0y=|x-(x-y)|=|x|+|xy|-2/(y)TTT_1Tx(X-y)=p(UU)U(x-y)=0因为|x-y|。，所以|y|、x。因此极小最小二乘解是唯一的。3.Gauss-Newton法Gauss-Newton法适用于非线性最小二乘问题s(x)=f(x)Tf(x)。Gauss-Newton法是一种迭代算法假定选定初始点Xo后经过迭代已求得Xk。现考虑的求法。首先把f(x)线性化，用
11、-12x1x2-2fA(x)2Xi4x21例：已知某物理量y与另两个物理量ti和t2的依赖关系为1Xiti-Xt2，其中X1,x2和x3是待疋参数。1.0002.0001.000t21.0001.0002.000y0.1260.2190.076为确定这二个参数测得2.0000.1002.0000.0000.1260.186t1，t2和y的5组数据:(1)用最小二乘法建立关于确定X1,X2和X3的数学模型。写出Gauss-Newton法迭代公式的具体形式。数学模型为：minf(x)Tf(x)("0.126)21+x2M(x)|f2(x)f(x
12、)=f3(X)|f4(X)5(X)一2x1x3(12x1x2-0.219)2X1X3(1x12x22-0.076)2x1X31x12x22-0.126)0.1x1x3(0.186)-1+人%(Xk)T|Wm(XQT-fm(Xk)X11(Xk)讦1(Xk);x-Xn迭代公式为：T_LTxk:：1二xk-(AkAk)Akfk4.修正Gauss-Newton法先确定一个搜索方向，从Xk出发作直线搜索来求下一个迭代点Xk.1当aTAk非奇异时，将Gauss-Newton法解出来的Pk作为搜索方向，否则将负梯度方向作为搜索方向下面证明Ga
14、，修正Gauss-Newton法是用负梯度方向代替Pk，这时Gauss-Newton法变为梯度法，收敛速度减慢。阻尼最小二乘法将从另一个角度来克服上述困难。1)基本想法Gauss-Newton法是用方程人入卩二-a：fk来确定Pk的。现在矩阵A：Ak对角线上的元素都加上同一个数J-0，则上述方程变为：(A：Akl)p=-A；fk这样做的目的是：即使A：Ak奇异，只要将取得充分大，总能使(A：Akl)正定，从而(A；AkI)PA：Ak肯定有解。这个解依赖于，记为pf)。当=0时，Pk(0)就是Gauss-Newton方向。当已经增大到与A：Ak的每个分量相比这些分量都趋于消失，则(A；Akl)p二-A；fk变为人九，这就是说，当，很大时，PkL)将接近负梯度方向。可以想象，当J从零增大到无穷大时，PkQ）将从Gauss-Newton方向连续地转向负梯度方向A：fk。由以上的分析，可构成如下的迭代格式：T1TXk1=Xk-（AkAkAkfk这就是阻尼最小二乘法的迭代公式，称为阻尼因子。最后说明一下阻尼最小二乘法的由来。当.二-0时,Pk入宀：fk。当J充分大时，i|p：、-A：fk，