线性代数线性代数线性代数 (14).pdf

《线性代数线性代数线性代数 (14).pdf》由会员分享，可在线阅读，更多相关《线性代数线性代数线性代数 (14).pdf（17页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、14 最小二乘逼近最小二乘逼近 14.1 复习复习 回忆一向量 在一子空间 上投影 求法：1.找 的一组基 令 则 列满秩，且 的列空间 2.则 则 3.解方程组 即 因此 14.1 复习复习 注：1.列满秩 只有零解 只有零解 列满秩(即 可逆，因为它是方阵)2.称为投影矩阵.一个矩阵 称为投影阵，如果 第二个条件 是因为对 我们需要保证 即 14.1 复习复习 命题：设 为 阶投影阵,则 证明：则 设 则 14.1 复习复习 3.一般地，设 为 阶阵，则 我们求 关于这个和的分解 使用以上方法，即找 的一组基 令 求 在 上的投影.14.2 最小二乘法最小二乘法 回到解方程组 有解 假设它

2、无解，则 此时转化问题为：求 使得 最小，即 的最小值点.14.2 最小二乘法最小二乘法 由右图，和它在 上投影点 距离最小.设 则 即为所求.称为误差向量(error),最小二乘解(the least square solution).如何求 1.2.因此，求 解方程组 称为法方程组(normal equations).14.2 最小二乘法最小二乘法 性质：1.法方程组总有解(无论 是否列满秩).这是因为 2.的解可能有无穷个,但 (投影 )唯一.即设 均满足 则 因此 14.2 最小二乘法最小二乘法 例：考虑法方程组 即 在 上投影 3.若 列满秩，则 可逆，则 无解.14.3 最小二乘法

3、的应用：曲线拟合最小二乘法的应用：曲线拟合 x 1 2 3 4 5 6 7 8 9 10 11 12 y 16 35 45 64 86 96 106 124 134 156 164 182 14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 iiiyabxeyy=+=14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 例：设给定数据 寻找直线 使得误差 最小.即向量 的长度最小.14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 令 即求 使得 最小.解法方程组 即 令 求得 直线 称为最小二乘直线.特别地，若 则 很容易计算，此时 两列正交，是对角阵.14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 例：求二次曲线拟合如下数据 解：求 使得 最小.x 19 25 31 38 44 y 19.0 32.3 49.0 73.3 97.8 14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 令 即求 使得 最小.求解方程组 拟合曲线为 14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 最后，我们说明法方程组也来自于微积分.求 则 若 满足 则 即 令 14.3 最小二乘法的应用：曲线拟合最小二乘法的应用：曲线拟合 例：可以验证，