多元线性回归和非线性回归.ppt

《多元线性回归和非线性回归.ppt》由会员分享，可在线阅读，更多相关《多元线性回归和非线性回归.ppt（50页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、多元线性回归多元线性回归多元线性回归模型多元线性回归模型(multiple linear regression model)1.1.一个因变量与两个及两个以上自变量的回归一个因变量与两个及两个以上自变量的回归2.2.描描述述因因变变量量 y y 如如何何依依赖赖于于自自变变量量 x x1 1 ，x x2 2 ，x xp p 和误差项和误差项 的方程，称为多元回归模型的方程，称为多元回归模型3.3.涉涉及及 p p 个自变量的多元回归模型可表示为个自变量的多元回归模型可表示为 0 0 ，1 1，p p是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x

2、x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关关系系所解释的变异性所解释的变异性多元线性回归模型多元线性回归模型(基本假定基本假定)n n1.1.解释变量解释变量x x1 1，x x2 2，x xp p是确定性变量不是是确定性变量不是随机变量，且要求样本容量的个数应大于解释变随机变量，且要求样本容量的个数应大于解释变量的个数。量的个数。n n2.2.误误差差项项 是是一一个个期期望望值值为为0 0的的随随机机变变量量，即即E E()=0)=0n n3.3.对对于于自自变变量量x x1 1，x x

3、2 2，x xp p的的所所有有值值，的的方方差差 2 2都相同都相同n n4.4.误误差差项项 是是一一个个服服从从正正态态分分布布的的随随机机变变量量，即即 N N(0,(0,2 2)，且相互独立且相互独立多元线性回归方程多元线性回归方程(multiple linear regression equation)1.1.描描述述因因变变量量 y y 的的平平均均值值或或期期望望值值如如何何依依赖赖于于自自变变量量 x x1 1，x x2 2 ，x xp p的方程的方程2.2.多元线性回归方程的形式为多元线性回归方程的形式为n n E(y)=0+1 x1+2 x2+k xp 1 1，p p称为

4、偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动动一一个个单单位时，位时，y y 的平均变动值的平均变动值二元线性回归方程二元线性回归方程1.表示 保持不变时，每变动一个单位时的相应变化量.2.表示 保持不变时，每变动一个单位时的相应变化量.考虑二元线性回归模型二元线性回归方程的直观解释二元线性回归方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的y y)回归面回归面 0 0 i ix x1 1y yx x2 2(x x1 1,x x2 2)回归参数的估计回归参数的估计估计的多元线性回归的方

5、程估计的多元线性回归的方程(estimated multiple linear regression equation)(estimated multiple linear regression equation)是是 估计值估计值 是是 y y 的估计值的估计值1.1.用样本统计量 估计回归方程中的 参数 时得到的方程2.2.由最小二乘法求得3.3.一般形式为参数的最小二乘法参数的最小二乘法2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即即参数的最小二乘法参数的最

6、小二乘法(例题分析例题分析)例例1 1 生产总值是衡量一个国家地区经济发展的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等方面的因素。本例研究财政支出对生产总值的影响。中国统计年鉴把财政支出划分为31个组成部分，本例只选取其中的13个重要支出项。回归系数表用spss软件计算的回归系数如下：参数的最小二乘法参数的最小二乘法n n 需要注意的是，这一回归方程并不理想，回归需要注意的是，这一回归方程并不理想，回归系数的意义不好解释，这里只是作为多元线性回归系数的意义不好解释，这里只是作为多元线性回归参数估计的一例，后边我们还要进一步完善这一模参数估

7、计的一例，后边我们还要进一步完善这一模型的建立型的建立线性回归方程的某些注意点1 样本决定系数样本决定系数2 估计标准误差估计标准误差一、多重样本决定系数一、多重样本决定系数(multiple coefficient of determination)对多元回归，总方差同样可分解成如下形式则决定系数为(12.6)(12.7)多重决定系数反映样本回归方程的拟合好坏程度，R 愈大，说明样本回归方程拟合得愈好。显然，.而称 y 关于 的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度.修正多重决定系数修正多重决定系数(adjusted multiple coefficie

8、nt of determination)由于样本多重判定系数的分母 SST 对给定的样本数据是不变的，而 SSR 与引进回归方程的自变量个数有关.因此，应对 R 作调整，调整的样本多重判定系数为(12.8)估计标准误差估计标准误差 Sy1.1.对误差项的标准差 的一个估计值2.2.衡量多元回归方程的拟合优度3.3.计算公式为回归方程显著性检验线性关系检验线性关系检验（回归方程显著性检验）（回归方程显著性检验）1.1.检验因变量与所有自变量之间的线性关系是否显著2.2.也被称为总体的显著性检验3.3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应应用用 F 检检验验来分析二者之间

9、的差别是否显著n n如如果果是是显显著著的的，因因变变量量与与自自变变量量之之间间存存在在线线性性关系关系n n如如果果不不显显著著，因因变变量量与与自自变变量量之之间间不不存存在在线线性性关系关系线性关系检验线性关系检验1.1.提出提出假设假设n nH H0 0：1 1 2 2 p p=0 =0 线性关系不显著线性关系不显著n nH H1 1：1 1，2 2，p p至少有一个不等于至少有一个不等于0 02.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平 和分子自由度和分子自由度p p、分母自由度、分母自由度n-n-p p-1-1找出临界值找出临界值F F 4.4.作出

10、作出决策：若决策：若F F F F ，拒绝拒绝H H0 0方差分析表方差分析表前面的这些计算结果可以列成表格的形式，称为方差分析表.方差分析表方差来源方差来源平方和平方和自由度自由度方差方差F F 值值回归回归SSRSSRp pSSR/pSSR/p残差残差SSESSEn n-p p-1 1SSESSE/(/(n n-p p-1)1)总和总和SSTSSTn n-1-1表中的Sig即为显著性P值，由P值0.000（近似值）可知回归方程十分显著。即可以以99.9以上的概率断言所有自变量全体对因变量产生显著线性影响。对例对例1回归方程的检验回归方程的检验:回归系数显著性检验回归系数显著性检验1.1.线

11、线性性关关系系检检验验通通过过后后，对对各各个个回回归归系系数数有有选选择择地地进进行行一次或多次检验一次或多次检验2.2.对每一个自变量都要单独进行检验对每一个自变量都要单独进行检验3.3.应用应用 t t 检验统计量检验统计量回归系数的检验回归系数的检验(步骤步骤)1.1.提出假设n nH H0 0：i i=0 (=0 (自变量自变量 x xi i 与与 因变量因变量 y y 没有线性关系没有线性关系)n nH H1 1：i i 0 (0 (自变量自变量 x xi i 与与 因变量因变量 y y有线性关系有线性关系)2.2.计算检验的统计量 t3.确定显著性水平，并进行决策 t t t t

12、，拒绝拒绝H H0 0；t t regression-linear:analyze-regression-linear(2)(2)选择一个变量为因变量进入选择一个变量为因变量进入dependentdependent框框(3)(3)选择一个或多个变量为自变量进入选择一个或多个变量为自变量进入independentindependent框框(4)(4)选择多元回归分析的自变量筛选方法选择多元回归分析的自变量筛选方法:n nenter:enter:所选变量全部进入回归方程所选变量全部进入回归方程(默认方法默认方法)n nremove:remove:从回归方程中剔除变量从回归方程中剔除变量n nste

13、pwise:stepwise:逐步筛选；逐步筛选；backward:backward:向后筛选；向后筛选；forward:forward:向前筛选向前筛选(5)(5)对样本进行筛选对样本进行筛选(selection variable)(selection variable)n n利用满足一定条件的样本数据进行回归分析利用满足一定条件的样本数据进行回归分析(6)(6)指定作图时各数据点的标志变量指定作图时各数据点的标志变量(case labels)(case labels)多元线性回归分析操作多元线性回归分析操作(二二二二)statistics)statistics)statistics)sta

14、tistics选项选项选项选项(1)(1)基本统计量输出基本统计量输出n nPart and partial correlation:Part and partial correlation:与与Y Y的简单的简单相关、偏相关相关、偏相关和部分相关和部分相关n nR square change:R square change:每个自变量进入方程后每个自变量进入方程后R R2 2及及F F值的变值的变化量化量n nCollinearity dignostics:Collinearity dignostics:共线性诊断共线性诊断.非线性回归非线性回归 水文研究中水文研究中X X和和Y Y的数量关

15、系常常不是的数量关系常常不是线性的，如线性的，如洪峰流量与流域面积洪峰流量与流域面积之间。如之间。如果用线性描述将丢失大量信息，甚至得出果用线性描述将丢失大量信息，甚至得出错误结论。这时可以用错误结论。这时可以用曲线估计曲线估计（Curve Curve estimationestimation）或）或非线性回归非线性回归(Nonlinear(Nonlinear regression)regression)方法分析。方法分析。本部分仅就一元非线性回归问题，讨本部分仅就一元非线性回归问题，讨论其参数估计。论其参数估计。1，线性化方法，线性化方法2，直接最小二乘法，直接最小二乘法3，二步法，二步法一

16、元非线性回归方程参数估计的常用方法：一元非线性回归方程参数估计的常用方法：线性化方法线性化方法1，最简单最常用的方法2，通过对变量作适当变换，将原变量的非线性关 系转化为新变量的线性关系，建立起线性回归方程，然后再还原为原变量，这样建立曲线回归方程的方法称为线性化法。3，首先，要确定非线性函数的类型，然后再考虑能否通过变量变换的方法使之线性化。4，如何确定非线性函数的类型？专业知识和经验 数学方法：散点图一、非线性模型的线性化 下面列出一些常用的非线性函数的线性化变换，如果实测数据的散点图大致围绕下列的某一曲线散布，就可采用与之相应的变换，使其转化为线性问题。双曲线型指数曲线型幂函数型对数曲线

17、型S曲线型 绘制散点图，根据图形和专业知识选取曲线类绘制散点图，根据图形和专业知识选取曲线类型（可同时选取几类）型（可同时选取几类）按曲线类型，作曲线直线化变换按曲线类型，作曲线直线化变换建立直线化的直线回归方程；作假设检验，计建立直线化的直线回归方程；作假设检验，计算决定系数算决定系数将变量还原，写出用原变量表达的曲线方程将变量还原，写出用原变量表达的曲线方程比较决定系数选取比较决定系数选取“最佳最佳”曲线方程曲线方程 曲线直线化估计的步骤曲线直线化估计的步骤利用线性回归拟合曲线利用线性回归拟合曲线例例例例 上海医科大学微生物学教研室以已知浓度上海医科大学微生物学教研室以已知浓度上海医科大学

18、微生物学教研室以已知浓度上海医科大学微生物学教研室以已知浓度X X的免疫球蛋的免疫球蛋的免疫球蛋的免疫球蛋白白白白A(IgA,g/ml)A(IgA,g/ml)作火箭电泳作火箭电泳作火箭电泳作火箭电泳,测得火箭高度测得火箭高度测得火箭高度测得火箭高度Y(mm)Y(mm)如表如表如表如表所示。试拟合所示。试拟合所示。试拟合所示。试拟合Y Y关于关于关于关于X X的非线性回归方程。的非线性回归方程。的非线性回归方程。的非线性回归方程。X Y X Y XXXXlnXlnXlnXlnX (lnX)(lnX)2 2 Y Y2 2 (lnX)Y(lnX)Y 残差平方残差平方残差平方残差平方 0.2 7.6

19、-1.6094 0.2 7.6 -1.6094 0.4 12.3 -0.9163 0.4 12.3 -0.9163 0.6 15.7 -0.5108 0.6 15.7 -0.5108 0.8 18.2 -0.2231 0.8 18.2 -0.2231 1.0 18.7 0 1.0 18.7 0 1.2 21.4 0.1823 1.2 21.4 0.1823 1.4 22.6 0.3365 1.4 22.6 0.3365 1.6 23.8 0.4700 1.6 23.8 0.4700合计合计合计合计140.3 -2.2708 140.3 -2.2708 2.5902 57.76 -12.2314

20、 2.5902 57.76 -12.2314 2.5902 57.76 -12.2314 2.5902 57.76 -12.2314 0.8396 151.29 -11.2705 0.8396 151.29 -11.2705 0.8396 151.29 -11.2705 0.8396 151.29 -11.2705 0.2609 246.49 -8.0196 0.2609 246.49 -8.0196 0.2609 246.49 -8.0196 0.2609 246.49 -8.0196 0.0498 331.24 -4.0604 0.0498 331.24 -4.0604 0.0498 33

21、1.24 -4.0604 0.0498 331.24 -4.0604 0.0000 349.69 0.0000 0.0000 349.69 0.0000 0.0000 349.69 0.0000 0.0000 349.69 0.0000 0.0332 457.96 3.9012 0.0332 457.96 3.9012 0.0332 457.96 3.9012 0.0332 457.96 3.9012 0.1132 510.76 7.6049 0.1132 510.76 7.6049 0.1132 510.76 7.6049 0.1132 510.76 7.6049 0.2209 566.44

22、 11.1860 0.2209 566.44 11.1860 0.2209 566.44 11.1860 0.2209 566.44 11.1860 4.10784.10784.10784.1078 2671.632671.632671.632671.63 -12.8898-12.8898-12.8898-12.8898 7.23 7.23 12.62 12.62 15.77 15.77 18.01 18.01 19.75 19.75 21.16 21.16 22.36 22.36 23.4023.40 0.1380 0.1380 0.1017 0.1017 0.0053 0.0053 0.0

23、361 0.0361 1.0921 1.0921 0.0563 0.0563 0.0566 0.0566 0.1597 0.1597 1.64581.6458（一）（一）绘制散点图，决定曲线类型（对数曲线)（二）曲线直线化变换 =a+blnX（三）建立线性回归方程 回归方程为：回归方程为：=19.7451+7.7771lnX=19.7451+7.7771lnX方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F763.50763.50，表明回归方程有意义。，表明回归方程有意义。确定系数为确定系数为0.990.99，表明回归拟合原资，表明回归拟合原资料很好。料很好。

24、直接最小二乘法直接最小二乘法类似于建立线性回归方程的方法，根据类似于建立线性回归方程的方法，根据x,yx,y的原始的原始观测资料，依据最小二乘法原理，直接寻求方程中观测资料，依据最小二乘法原理，直接寻求方程中未知参数的最小二乘估计。未知参数的最小二乘估计。对于非线性回归，由于回归方程是非线性函数，对于非线性回归，由于回归方程是非线性函数，其正规方程组一般是超越方程（非代数方程），其正规方程组一般是超越方程（非代数方程），不不能用代数方法求解，能用代数方法求解，只能用数值解法，迭代计算出只能用数值解法，迭代计算出其近似解。其近似解。用线性回归拟合曲线（例用线性回归拟合曲线（例2）表表表表 25

25、25名重伤病人的住院天数名重伤病人的住院天数名重伤病人的住院天数名重伤病人的住院天数X X与预后指数与预后指数与预后指数与预后指数Y Y编编号号1 12 23 34 45 56 67 78 89 91010 1111 1212 1313 1414 1515X X2 25 57 71010 1414 1919 2626 3131 3434 3838 4545 52525353 6060 6565Y Y54545050 4545 3737 3535 2525 2020 1616 1818 1313 8 811118 84 46 6（一）（一）绘制散点图，决定曲线类型指数曲线指数曲线（二）曲线直线化

26、变换（二）曲线直线化变换（三）建立（三）建立线性回归方程 回归方程为：回归方程为：X X方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F276.38276.38，表明回归方程有贡献。，表明回归方程有贡献。确定系数为确定系数为0.95510.9551，表明回归拟合原，表明回归拟合原资料较好。资料较好。转换为原方程的另一种形式：转换为原方程的另一种形式：比较两个回归方程可见，对同一份样本比较两个回归方程可见，对同一份样本采用不同估计方法得到的结果并不相同。采用不同估计方法得到的结果并不相同。主要因为曲线直线化以后的回归只对变主要因为曲线直线化以后的回归只对变换后的

27、换后的Y Y*(lnY)lnY)负责负责,得到的线性方程可得到的线性方程可使使Y Y*与其估计值与其估计值 之间的残差平方和最小之间的残差平方和最小,并不保证原变量并不保证原变量Y Y与其估计值与其估计值 之间的残之间的残差平方和也是最小。差平方和也是最小。曲线直线化曲线直线化 非线性最小二乘法非线性最小二乘法二步法二步法1 1，线性化方法与直接最小二乘法是建立曲线回归方程的，线性化方法与直接最小二乘法是建立曲线回归方程的基基本方法本方法。2 2，线性化方法：，线性化方法：优点：计算方便优点：计算方便缺点：误差较大。只能保证对变换后的回归方程满足总误缺点：误差较大。只能保证对变换后的回归方程满

28、足总误差平方和最小，而差平方和最小，而不能保证还原后的回归方程的误差平方和不能保证还原后的回归方程的误差平方和最小最小。3 3，直接最小二乘法，直接最小二乘法优点：精度较高优点：精度较高缺点：计算量太大缺点：计算量太大4 4，二步法：将这两种方法结合起来。具体是先用线性化方，二步法：将这两种方法结合起来。具体是先用线性化方法求出曲线方程线性化过程中无须变换的参数的最小二乘估法求出曲线方程线性化过程中无须变换的参数的最小二乘估计，再用直接最小二乘法求线性化过程中必须变换的参数的计，再用直接最小二乘法求线性化过程中必须变换的参数的最小二乘估计。最小二乘估计。P260P260非线性回归方程的评价非线

29、性回归方程的评价1 1，非线性回归方程的评价，非线性回归方程的评价，非线性回归方程的评价，非线性回归方程的评价，不能再用评价线性回归不能再用评价线性回归不能再用评价线性回归不能再用评价线性回归方程的方法，方程的方法，方程的方法，方程的方法，如如如如F F检验，相关系数检验，相关系数检验，相关系数检验，相关系数r r的检验的检验的检验的检验。2 2，描述，描述非线性回归方程与实测数据间拟合好坏的指非线性回归方程与实测数据间拟合好坏的指非线性回归方程与实测数据间拟合好坏的指非线性回归方程与实测数据间拟合好坏的指标称为标称为标称为标称为相关指数相关指数相关指数相关指数，仍记为，仍记为，仍记为，仍记为R R。计算公式见。计算公式见。计算公式见。计算公式见P261P2613 3，R R越大，表明曲线与实测数据拟合越好，越大，表明曲线与实测数据拟合越好，越大，表明曲线与实测数据拟合越好，越大，表明曲线与实测数据拟合越好，方程越方程越方程越方程越具有实用价值。具有实用价值。具有实用价值。具有实用价值。