【教学课件】第九章回归分析和方差分析.ppt

《【教学课件】第九章回归分析和方差分析.ppt》由会员分享，可在线阅读，更多相关《【教学课件】第九章回归分析和方差分析.ppt（130页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第九章第九章 回归分析和方差分析回归分析和方差分析关键词：关键词：单因素试验单因素试验 一元线性回归一元线性回归 回归诊断回归诊断 n方差分析方差分析(Analysis of variance,简称简称:ANOVA),是由英国统计学家费歇尔是由英国统计学家费歇尔(Fisher)在在20世纪世纪20年代提出的年代提出的,可用于可用于推断两个或两个以上总体均值是否有差推断两个或两个以上总体均值是否有差异的显著性检验异的显著性检验.9.1单因素方差分析单因素方差分析例：为了比较三种不同类型日光灯管的寿命例：为了比较三种不同类型日光灯管的寿命(小时小时),现将从每种类型日光灯管中抽取现将从每种类型日光

2、灯管中抽取 8个个,总共总共 24 个日光灯管进行老化试验个日光灯管进行老化试验,根根据下面经老化试验后测算得出的各个日光据下面经老化试验后测算得出的各个日光灯管的寿命灯管的寿命(小时小时)，试判断三种不同类型日试判断三种不同类型日光灯管的寿命是不是有存在差异光灯管的寿命是不是有存在差异.日光灯管的寿命日光灯管的寿命(小小时时)类型寿命(小时)类型I5290 6210 5740 5000 5930 6120 6080 5310类型II5840 5500 5980 6250 6470 5990 5470 5840类型.III7130 6660 6340 6470 7580 6560 7290 6

3、730引起日光灯管寿命不同的原因有二个方面引起日光灯管寿命不同的原因有二个方面:n其一其一,由于日光灯类型不同由于日光灯类型不同,而引起寿命不而引起寿命不同同.n其二其二,同一种类型日光灯管同一种类型日光灯管,由于其它随机由于其它随机因素的影响因素的影响,也使其寿命不同也使其寿命不同.n在方差分析中在方差分析中,通常把研究对象的特征值通常把研究对象的特征值,即即所考察的试验结果所考察的试验结果(例如日光灯管的寿命例如日光灯管的寿命)称称为为 试验指标试验指标.n对试验指标产生影响的原因称为对试验指标产生影响的原因称为 因素因素,“日光日光灯管类型灯管类型”即为即为因素因素.n因素中各个不同状态

4、称为因素中各个不同状态称为 水平水平,如日光灯管三如日光灯管三个不同的类型个不同的类型,即为三个即为三个水平水平.n单因素方差分析单因素方差分析 仅考虑有一个因素仅考虑有一个因素A对试验指对试验指标的影响标的影响.假如因素假如因素 A有有r 个水平个水平,分别在第分别在第 i 水平下进行了水平下进行了 多次独立观测多次独立观测,所得到的试验指所得到的试验指标的数据标的数据 每个总体相互独立每个总体相互独立.因此因此,可写成如可写成如下的下的 数学模型数学模型:n 方差分析的目的就是要比较因素方差分析的目的就是要比较因素A 的的r 个水平下试验指标理论均值的个水平下试验指标理论均值的差异差异,问

5、题可归结为比较这问题可归结为比较这r个总体个总体的均值差异的均值差异.检验假设检验假设假设等价于假设等价于n为给出上面的检验，主要采用的方法是平方和为给出上面的检验，主要采用的方法是平方和分解。分解。n假设数据总的差异用总离差平方和假设数据总的差异用总离差平方和 分解为分解为二个部分二个部分:一部分是由于因素一部分是由于因素 A引起的差异引起的差异,即效应平方和即效应平方和 另一部分则由随机误差所引另一部分则由随机误差所引起的差异，起的差异，即误差平方和即误差平方和 。证明：定理方差来源平方和自由度均方F比因素As-1误差n-s总和n-1单因素试验方差分析表单因素试验方差分析表 例例1 设设有

6、有5种种治治疗疗荨荨麻麻疹疹的的药药，要要比比较较它它们们的的疗疗效效。假假设设将将30个个病病人人分分成成5组组，每每组组6人人，令令同同组组病病人人使使用用一一种种药药，并并记记录录病病人人从从使使用用药药物物开开始始到到痊痊愈愈所所需需时时间间，得到下面的记录：得到下面的记录：(=0.05)药物x治愈所需天数y15，8，7，7，10，824，6，6，3，5，636，4，4，5，4，347，4，6，6，3，559，3，5，7，7，6这里药物是因子，共有这里药物是因子，共有5 5个水平，这是个水平，这是一个单因素方差分析问题，要检验的一个单因素方差分析问题，要检验的假设是假设是“所有药物的效

7、果都没有差别所有药物的效果都没有差别”。方差来源方差来源 平方和平方和 自由度自由度均方均方F比比因素因素A36.46749.117 3.90误差误差58.500252.334总和总和94.96729未知参数的估计未知参数的估计在在Excel上实现方差分析上实现方差分析n先加载先加载数据分析数据分析 这个模块这个模块,方法如下方法如下:n在在excel工作表中点击主菜单中工作表中点击主菜单中“工具工具”点击下点击下拉式菜单中拉式菜单中“加载宏加载宏”就会出现一个就会出现一个“加载宏加载宏”的框的框.n 在在“分析工具库分析工具库”前的框内打勾点击前的框内打勾点击“确定确定”.这时候再点击下拉式

8、菜单会新出现这时候再点击下拉式菜单会新出现“数据分析数据分析”.然后就可以进行统计分析了然后就可以进行统计分析了.以下面的例子来说明用以下面的例子来说明用Excel进行方差进行方差分析的方法分析的方法:n保险公司某一险种在四个不同地区一保险公司某一险种在四个不同地区一年的索赔额情况记录如表所示年的索赔额情况记录如表所示.试判试判断在四个不同地区索赔额有无显著的断在四个不同地区索赔额有无显著的差异差异?保保险险索索赔记录赔记录地区地区索索赔额赔额(万元万元)A11.601.611.651.681.701.701.78A21.501.641.401.701.75A31.641.551.601.62

9、1.641.601.741.80A41.511.521.531.571.641.60n在在Excel工作表中输入上面的数据点击主菜工作表中输入上面的数据点击主菜单中单中“工具工具”点击下拉式菜单中点击下拉式菜单中“数据分数据分析析”就会出现一个就会出现一个“数据分析数据分析”的框的框.n 点击菜单中点击菜单中“方差分析方差分析:单因素方差分析单因素方差分析”点击点击“确定确定”,出现出现“方差分析方差分析:单因素方单因素方差分析差分析”框框.n在在“输入区域输入区域”中标定你已经输入的数据中标定你已经输入的数据的位置根据你输入数据分组情况的位置根据你输入数据分组情况(是按行分是按行分或按列分或

10、按列分)确定分组确定分组.n选定方差分析中选定方差分析中F检验的显著水平选定输出检验的显著水平选定输出结果的位置点击结果的位置点击“确定确定”.n 在你指定的区域中出现如下方差分析表在你指定的区域中出现如下方差分析表:方差方差来源来源平方和平方和 自由自由度度均方均方F比比P-valueF crit组内组内0.049230.01642.16580.1208 3.0491 组间组间0.1666220.0076总计总计0.215825方差分析表方差分析表根据根据Excel给出的方差分析表给出的方差分析表,假设假设H0的判别的判别有二种方法有二种方法:方差分析的前提n方差分析和其它统计推断一样方差分

11、析和其它统计推断一样,样本的独立样本的独立性对方差分析是非常重要的性对方差分析是非常重要的,在实际应用中在实际应用中会经常遇到非随机样本的情况会经常遇到非随机样本的情况,n 这时使用方差分析得出的结论不可靠这时使用方差分析得出的结论不可靠.因因此此,在安排试验或采集数据的过程中在安排试验或采集数据的过程中,一定一定要注意样本的独立性问题要注意样本的独立性问题.n在实际中在实际中,没有一个总体真正服从正态分布的没有一个总体真正服从正态分布的,但方差分析却依赖于正态性的假设但方差分析却依赖于正态性的假设.但经验可但经验可知知,方差分析方差分析F.n 检验对正态性的假设并不是非常敏感检验对正态性的假

12、设并不是非常敏感,也就是也就是说说,实际所得到的数据实际所得到的数据,如果没有异常值和偏如果没有异常值和偏性性,或者说或者说,数据显示的分布比较对称的话数据显示的分布比较对称的话,即使样本容量比较小即使样本容量比较小(如每个水平下的样本容如每个水平下的样本容量仅为量仅为5左右左右),方差分析的结果仍是值得依赖方差分析的结果仍是值得依赖的的.n方差齐性对于方差分析是非常重要的方差齐性对于方差分析是非常重要的,因此因此在方差分析之前往往要进行方差齐性的诊在方差分析之前往往要进行方差齐性的诊断断,即检验假设通常可采用即检验假设通常可采用Barlett检验检验.n方差齐性检验也可采用如下的经验准则方差

13、齐性检验也可采用如下的经验准则:当当最大样本标准差不超过最小样本标准差的最大样本标准差不超过最小样本标准差的两倍时两倍时,方差分析方差分析F检验结果近似正确检验结果近似正确.3 一元线性回归分析一元线性回归分析一、确定性关系一、确定性关系：当当自自变变量量给给定定一一个个值值时时，就就确确定定应应变变量量的的值值与与之之对对应应。如如：在在自自由由落落体体中中，物物体体下下落落的的高高度度h h与下落时间与下落时间t t之间有函数关系：之间有函数关系：变量与变量之间的关系变量与变量之间的关系 二、相关性关系：变变量量之之间间的的关关系系并并不不确确定定，而而是是表表现现为为具具有有随随机机性性

14、的的一一种种“趋趋势势”。即即对对自自变变量量x的的同同一一值值，在在不不同同的的观观测测中中，因因变变量量Y可可以以取取不不同同的的值值，而而且且取取值值是是随随机机的的，但但对对应应x在在一一定定范范围围的的不不同同值值，对对Y进进行行观观测测时时，可可以以观观察察到到Y随随x的变化而呈现有一定趋势的变化。的变化而呈现有一定趋势的变化。n如：身高与体重，不存在这样的函数可以如：身高与体重，不存在这样的函数可以由身高计算出体重，但从统计意义上来说，由身高计算出体重，但从统计意义上来说，身高者，体也重。身高者，体也重。n如：父亲的身高与儿子的身高之间也有一如：父亲的身高与儿子的身高之间也有一定

15、联系定联系,通常父亲高，儿子也高。通常父亲高，儿子也高。我们以一个例子来建立回归模型我们以一个例子来建立回归模型n某户人家打算安装太阳能热水器某户人家打算安装太阳能热水器.为了为了了解室外温度与燃气消耗的关系了解室外温度与燃气消耗的关系,记录记录了了16个月燃气的消耗量个月燃气的消耗量,数据见下表数据见下表.月份月份平均温度平均温度燃气用量燃气用量 月份月份平均温度平均温度 燃气用量燃气用量Nov.246.3Jul.01.2Dec.5110.9Aug.11.2Jan.438.9Sep.62.1Feb.337.5Oct.123.1Mar.265.3Nov.306.4Apr.134Dec.327.

16、2May.41.7Jan.5211Jun.01.2Feb.306.9n在回归分析时在回归分析时,我们称我们称“燃气消耗量燃气消耗量”为响为响应变量记为应变量记为Y,“室外温度室外温度”为解释变量记为为解释变量记为X,由所得数据计算相关系数得由所得数据计算相关系数得r=0.995,表表明室外温度与燃气消耗之间有非常好的线明室外温度与燃气消耗之间有非常好的线性相关性性相关性.n如果以室外温度作为横轴如果以室外温度作为横轴,以消耗燃气量作以消耗燃气量作为纵轴为纵轴,得到散点图的形状大致呈线形得到散点图的形状大致呈线形.一元线性回归要解决的问题：参数估计整理得正规方程系数行列式整理得正规方程系数行列式

17、 在在误误差差为为正正态态分分布布假假定定下下，最最小小二二乘乘估估计等价于极大似然估计。计等价于极大似然估计。n采用最大似然估计给出参数a,b的估计与最小二乘法给出的估计完全一致。n采用最大似然估计给出误差 的估计与最小二乘法给出的估计不一致。此时给出的估计不是无偏估计。例例1 K.Pearson收集了大量父收集了大量父亲亲身高与儿子身身高与儿子身高的高的资资料。其中十料。其中十对对如下：如下：父父亲亲身高身高x（吋）（吋）60626465666768707274儿子身高儿子身高y（吋）（吋）63.665.26665.566.967.167.468.370.170求求Y关于关于x的的线线性回

18、性回归归方程。方程。参数性质即为正态随机变量的线性组合，所以服即为正态随机变量的线性组合，所以服从正态分布。从正态分布。证明（证明（1）（2）类似可得。）类似可得。回归方程显著性检验 采用最小二乘法估计参数a和b，并不需要事先知道Y与x之间一定具有相关关系。因此(x)是否为x的线性函数：一要根据专业知识和实践来判断，二要根据实际观察得到的数据用假设检验方法来判断。（1 1）影响）影响Y Y取值的，除了取值的，除了x x，还有其他不可忽略的因素；，还有其他不可忽略的因素；（2 2）E(Y)E(Y)与与x x的关系不是线性关系，而是其他关系；的关系不是线性关系，而是其他关系；（3 3）Y Y与与x

19、 x不存在关系。不存在关系。若原假设被拒绝，说明回归效果是显著的，否则，若原假设被拒绝，说明回归效果是显著的，否则，若接受原假设，说明若接受原假设，说明Y Y与与x x不是线性关系，回归方程不是线性关系，回归方程无意义。回归效果不显著的原因可能有以下几种：无意义。回归效果不显著的原因可能有以下几种：假设的检验统计量假设的检验统计量与方差分析方法类似，仍采用平方和分解。与方差分析方法类似，仍采用平方和分解。可以证明：可以证明，可以证明，由参数估计的性质可知，当由参数估计的性质可知，当b=0时，时，也可采用t检验例3 检验例1中回归效果是否显著，取=0.05。回归系数 的置信区间由于回归参数估计和

20、显著性检验的Excel实现 例例 1（续（续)前面我们已经分析了室外温度与燃气消耗量前面我们已经分析了室外温度与燃气消耗量之间的关系之间的关系,认为两者具有较好的线性关系认为两者具有较好的线性关系,下面我下面我们进一步建立燃气消耗量们进一步建立燃气消耗量(响应变量响应变量)与室外温度与室外温度(解解释变量释变量)之间的回归方程之间的回归方程.采用采用Excel中的中的“数据分析数据分析”模块模块.n在在Excel工作表中输入上面的数据工作表中输入上面的数据 点击主菜单中点击主菜单中“工工具具”点击下拉式菜单中点击下拉式菜单中“数据分析数据分析”就会出现一个就会出现一个“数据分析数据分析”的框，

21、点击菜单中的框，点击菜单中“回归回归”，点击，点击“确定确定”,出现出现“回归回归”框框.n在“Y值输入区域”中标定你已经输入的响应变量数据的位置,n在“X值输入区域”中标定你已经输入的解释变量数据的位置(注意:数据安“列”输入)“置信度”中输入你已经确定置信度的值选定输出结果的位置点击“确定”.n在指定位置输出相应的方差分析表和回归系数输出结果,例1的输出结果如下所示,dfSSMSFSignificance F 回归回归 1168.581168.5811467.5511.415E-15误差误差 141.6080.115总的总的 15170.189方差分析表方差分析表 Coef.标准误差 t

22、Stat P value Lower 95%Upper 95%Intercept 1.089 0.139 7.841 1.729E-06 0.791 1.387X 0.189 0.005 38.309 1.415E-15 0.178 0.200n方差分析中方差分析中,给出了假设检验给出了假设检验H0:b=0的的F检验检验.方方差分析表中各项也前一节方差分析表中的意义类差分析表中各项也前一节方差分析表中的意义类似似.值得注意的是值得注意的是,方差分析表中方差分析表中MS“列中列中,相相应于应于误差误差”行的值即为模型误码差方差的估计行的值即为模型误码差方差的估计,即即n =0.115.预测预测一

23、般有两种意义.例例 合合金金钢钢的的强强度度y与与钢钢材材中中碳碳的的含含量量x有有密密切切关关系系。为为了了冶冶炼炼出出符符合合要要求求强强度度的的钢钢常常常常通通过过控控制制钢钢水水中中的的碳碳含含量量来来达达到到目目的的，为为此此需需要要了了解解y与与x之之间间的的关关系系。其其中中x：碳碳含含量量（）y：钢钢的的强强度度（kg/mm2）数数据据见下：见下：x0.030.040.050.070.090.100.120.150.170.20y40.539.541.041.543.042.045.047.553.056.0（1）画出散点图；）画出散点图；（2）设）设(x)=a+bx,(x)=

24、a+bx,求求a,ba,b的估计；的估计；（3 3）求误差方差的估计，画出残差图；）求误差方差的估计，画出残差图；（4 4）检验回归系数）检验回归系数b b是否为零（取是否为零（取=0.05)=0.05)；（5 5）求回归系数）求回归系数b b的的9595置信区间；置信区间；（6 6）求在）求在x=0.06x=0.06点，回归函数的点估计和点，回归函数的点估计和9595置信置信区间；区间；（7 7）求在）求在x=0.06x=0.06点，点，Y Y的点预测和的点预测和9595区间预测。区间预测。0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.1956 54 5

25、2 50 48 46 44 42 40 38 （1）合金钢的强度）合金钢的强度y与钢材中碳的含量与钢材中碳的含量x的散点图的散点图 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 x0e 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.1956 54 52 50 48 46 44 42 40 38 合金钢的强度y与钢材中碳的含量x的回归直线图显著水平为0.05回归诊断回归诊断n回归函数线性的诊断回归函数线性的诊断n误差方差齐性诊断误差方差齐性诊断n误差的独立性诊断误差的独立性诊断n误差的正态性诊断误差的正态性诊断一、

26、回归函数线性的诊断一、回归函数线性的诊断（2）模型修正 模型修改后的预测值及残差模型修改后的残差图二、误差方差齐性诊断二、误差方差齐性诊断（2）模型修正）模型修正n如果发现线性假设是不适合如果发现线性假设是不适合,那么就需那么就需要修改模型要修改模型.在目前的回归分析的知识在目前的回归分析的知识水平下水平下,不一定能很好地修改误差方差不一定能很好地修改误差方差不相等这类模型不相等这类模型,但可以尝试响应变量但可以尝试响应变量的数据变换。的数据变换。n用变换后的数据用变换后的数据,求出线性回归方求出线性回归方程程,求出残差求出残差,并画出以拟合值主并画出以拟合值主义为横座标的残差图义为横座标的残

27、差图,如果这里残如果这里残差图已经没有任何规律差图已经没有任何规律,那么说明那么说明这种变换是适合的这种变换是适合的.三、误差的独立性诊断三、误差的独立性诊断n在不少有关时间问题中，观测值往往呈相关的趋势。如河流的水位总有一个变化过程，当一场暴雨使河流水位上涨后往往需要几天才能使水位降低，因而当我们逐日测定河流最高水位时，相邻两天的观测间就不一定独立。(1)模型诊断 常用的残差图是以常用的残差图是以“时间时间”或或“序号序号”为横座标的残差图为横座标的残差图.相关性大约有二类相关性大约有二类.n一类是正相关一类是正相关,随机误差之间具有正相随机误差之间具有正相关的话关的话,那么残差图中残差那么

28、残差图中残差符号符号会出会出现现集团性集团性的趋势的趋势,即连续有一段时间即连续有一段时间内残差均为内残差均为 正号正号,然后又一段时间然后又一段时间内残差均为内残差均为负号负号n 另一类是负相关另一类是负相关,此时此时,残差的符号改残差的符号改变非常频繁变非常频繁,大致有正负相间的趋势大致有正负相间的趋势.残差图残差图（2）模型修改四、误差的正态性诊断四、误差的正态性诊断n我们可采用卡方拟合检验对残差进行正态性我们可采用卡方拟合检验对残差进行正态性的检验的检验,也可以用残差画一下直方图也可以用残差画一下直方图,直观直观地判断残差量不是具有正态性地判断残差量不是具有正态性.n如果模型的误差不满足正态性时如果模型的误差不满足正态性时,一般可以一般可以作作Box-Cox变换变换,这部分的内容这里不详细这部分的内容这里不详细介绍介绍,有兴趣的同学可以参考有关的回归分有兴趣的同学可以参考有关的回归分析的参考文献析的参考文献.