一元线性回归模型课件.ppt

《一元线性回归模型课件.ppt》由会员分享，可在线阅读，更多相关《一元线性回归模型课件.ppt（53页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 从从浩浩瀚瀚无无垠垠的的宇宇宙宙到到微微小小的的分分子子、原原子子，从从无无机机界界到到有有机机界界，从从自自然然到到社社会会，无无一一事事物物不不处处在在与与其其他他事事物物的的联联系系之之中中.事事物物之之间间不不仅仅存存在在着着相相互互联联系系，而而且且还还具具有有一一定定的的内内部部规规律律.第第8章章 回归分析与方差分析回归分析与方差分析例例如如,矩矩形形的的面面积积S和和矩矩形形的的两两条条边边长长a和和b有关系有关系:又如著名的欧姆定律指出又如著名的欧姆定律指出,电压电压V、电阻电阻R与电流与电流I之间有关系之间有关系:S=a.babSV=I.R让我们来看一下有联系的变量之间的

2、关系让我们来看一下有联系的变量之间的关系:以上两例的共同点在于以上两例的共同点在于，三个量中任意三个量中任意两个已知两个已知，其余一个就可以完全确定其余一个就可以完全确定.也就也就是说是说，变量之间存在着确定性的关系变量之间存在着确定性的关系，并且并且可以用数学表达式来表示这种关系可以用数学表达式来表示这种关系.然而，在大量的实际问题中，变量之然而，在大量的实际问题中，变量之间虽有某种关系，但这种关系很难找到一间虽有某种关系，但这种关系很难找到一种精确的表示方法来描述种精确的表示方法来描述.例如例如,人的身高与体重之间有一定的关系人的身高与体重之间有一定的关系,知道一个人的身高可以大致估计出他

3、的体重知道一个人的身高可以大致估计出他的体重,但并不能算出体重的精确值但并不能算出体重的精确值.其原因在于人有较大的个体差异其原因在于人有较大的个体差异,因而身高因而身高和体重的关系和体重的关系,是既密切但又不能完全确定是既密切但又不能完全确定的函数关系的函数关系.类似的变量间的关系在大自然和社会中类似的变量间的关系在大自然和社会中屡见不鲜屡见不鲜.例例如如,小小麦麦的的穗穗长长与与穗穗重重的的关关系系;某某班班学学生生最最后后一一次次考考试试分分数数与与第第一一次次考考试试分分数数的的关关系系;温温度度、降降雨雨量量与与农农作作物物产产量量间间的的关关系系;人人的的年年龄龄与与血血压压的的关

4、关系系;最最大大积积雪雪深深度度与与灌灌溉溉面面积积间间的的关系关系;家庭收入与支出的关系等等家庭收入与支出的关系等等.从从数数量量的的角角度度去去研研究究这这种种关关系系，是是数数理理统统计计的的一一个个任任务务.这这包包括括通通过过观观察察和和试试验验数数据据去去判判断断变变量量之之间间有有无无关关系系，对对其其关关系系大大小小作作出出数数量量上上的的估估计计,对对互互有有关关系系的的变量通过其一去推断和预测其它变量通过其一去推断和预测其它,等等等等.回归分析就是研究相关关系的一种重回归分析就是研究相关关系的一种重要的数理统计方法要的数理统计方法.这种大量存在的变量间既互相联系但又不是这种

5、大量存在的变量间既互相联系但又不是完全确定的关系，称为完全确定的关系，称为相关关系相关关系.回归这一术语是回归这一术语是18861886年英国生年英国生物学家高尔顿在研究遗传现象物学家高尔顿在研究遗传现象时引进的时引进的.他发现他发现:虽然高个子的先代会有高个子的后虽然高个子的先代会有高个子的后代代,但后代的增高并不与先代的增高等量但后代的增高并不与先代的增高等量.他称这一现象为他称这一现象为“向平常高度的回归向平常高度的回归”.尔后尔后,他的朋友麦尔逊等人搜集了上千个他的朋友麦尔逊等人搜集了上千个家庭成员的身高数据家庭成员的身高数据:y=0.516x+33.73(英寸英寸)分析出儿子的身高分

6、析出儿子的身高y和父亲的身高和父亲的身高x大致为大致为如下关系：如下关系：这这意意味味着着,若若父父亲亲身身高高超超过过父父亲亲平平均均身身高高6英英寸寸,那那么么其其儿儿子子的的身身高高大大约约只只超超过过儿儿子子平平均均身高身高3英寸英寸,可见有向平均值返回的趋势可见有向平均值返回的趋势.诚然诚然,如今对回归这一概念的理解并不是高如今对回归这一概念的理解并不是高尔顿的原意尔顿的原意,但这一名词却一直沿用下来但这一名词却一直沿用下来,成为统计学中最常用的概念之一成为统计学中最常用的概念之一.6英寸英寸3英寸英寸 在在回回归归分分析析中中,当当变变量量只只有有两两个个时时,称称为为一一元元回回

7、归归分分析析;当当变变量量在在两两个个以以上上时时,称称为为多多元元回回归归分分析析.变变量量间间成成线线性性关关系系,称称线线性性回回归归,变量间不具有线性关系变量间不具有线性关系,称非线性回归称非线性回归.一元回归一元回归多元回归多元回归线性线性非线性非线性 在在这这一一讲讲里里,我我们们主主要要讨讨论论的的是是一一元元线线性性回回归归.它它是是处处理理两两个个变变量量之之间间关关系系的的最最简简单单的的模模型型.它它虽虽然然比比较较简简单单,但但我我们们从从中中可可以以了了解解到到回回归归分分析析的的基基本本思思想想、方方法法和和应应用用.8.1 一元线性回归模型一元线性回归模型 为了估

8、计山上积雪融化后对下游灌为了估计山上积雪融化后对下游灌溉的影响溉的影响,在山上建立了一个观测站在山上建立了一个观测站,测量了最大积雪深度测量了最大积雪深度x与当年灌溉面积与当年灌溉面积 y,得到连续得到连续10年的数据如下表年的数据如下表:让我们用一个例子来说明如何建立让我们用一个例子来说明如何建立一元线性回归方程一元线性回归方程.8.1.1 一元回归模型的建立一元回归模型的建立年序 最大积雪深度x(米)灌溉面积y(公顷)1 5.1 1907 2 3.5 1287 3 7.1 2693 4 6.2 2373 5 8.8 3260 6 7.8 3000 7 4.5 1947 8 5.6 2273

9、 9 8.0 3113 10 6.4 2493 为了研究这些数据中所蕴含的规律性为了研究这些数据中所蕴含的规律性,我们由我们由10对数据作出散点图对数据作出散点图.从图看到从图看到,数据点大致落在一条直线数据点大致落在一条直线附近附近,这告诉我们变量这告诉我们变量x和和y之间大致可看之间大致可看作线性关系作线性关系.yxo40003000200010002 4 6 8 10 从图中还看到从图中还看到,这些点又不完全在这些点又不完全在一条直线上一条直线上,这表明这表明x和和y的关系并没有确切的关系并没有确切到给定到给定x就可以唯一确定就可以唯一确定y的程度的程度.事实上事实上,还有许多其它因素对

10、还有许多其它因素对y产生影产生影响响,如当年的平均气温、当年的降雨量等等如当年的平均气温、当年的降雨量等等,都是影响都是影响y取什么值的随机因素取什么值的随机因素.其其中中a和和b是是未未知知常常数数,称称回回归归系系数数,表表示示其它随机因素对灌溉面积的影响其它随机因素对灌溉面积的影响.y=a+bx+如果我们只研究如果我们只研究x和和y的关系的关系,可以假定有可以假定有如下结构式如下结构式:实际中常假定实际中常假定服从正态分布服从正态分布N(0,2),即即 y=a+bx+,N(0，)(1)为一元线性回归模型为一元线性回归模型.通常称通常称由由(1)式式,我我们们不不难难算算得得y的的数数学学

11、期期望望:E(y)=a+bx该式表示当该式表示当x已知时，可以精确地算出已知时，可以精确地算出E(y).由于由于是不可控制的随机因素，通常就用是不可控制的随机因素，通常就用E(y)作为作为y的估计的估计,记作记作 .这样我们得到这样我们得到 称此方程为称此方程为y关于关于x的的回归方程回归方程.(2)现对模型现对模型(1)中的变量中的变量x,y进行了进行了n次独次独立观察立观察,得样本得样本(x1,y1),(xn,yn)(3)据据(1)式式,此样本的构造可由方程此样本的构造可由方程 y=a+bx+,N(0，)(1),i=1,2,n (4)这这里里 是是第第i次次观观察察时时随随机机误误差所取的

12、值，它是不能观察的差所取的值，它是不能观察的.来描述来描述.i=1,2,n (5)(4)式式和和(5)式式结结合合，给给出出了了样样本本(x1,y1),(xn,yn)的的概概率率性性质质.它它是是对对理理论论模模型型进进行行统统计计分分析析推推断断的的依依据据.也也常常称称(4)+(5)为为一元线性回归模型一元线性回归模型.由于各次观察独立，有由于各次观察独立，有 ,i=1,2,n (4)由由于于此此方方程程的的建建立立有有赖赖于于通通过过观观察察或或试试验验积积累累的的数数据据,所所以以有有时时又又称称其其为为经经验验回回归归方程方程或或经验公式经验公式.(6)回回归归分分析析的的任任务务是

13、是利利用用n组组独独立立观观察察数数据据(x1,y1),(xn,yn)来来估估计计a和和b,以以估估计计值值 和和分别代替分别代替(2)式中的式中的a和和b,得回归方程得回归方程 那么要问，如何利用那么要问，如何利用n组独立观察组独立观察数据来估计数据来估计a和和b？8.1.2 一元线性回归模型的参数估计一元线性回归模型的参数估计1用最小二乘法估计用最小二乘法估计a,b首先举例说明最小二乘法的思想：首先举例说明最小二乘法的思想：假假设设为为估估计计某某物物体体的的重重量量,对对它它进进行行了了n次次称称量量,因因称称量量有有误误差差,故故n次次称称量量结结果果x1,x2,xn有有差差异异,现现

14、在在用用数数 去去估估计计物物重重,则则它与上述它与上述n次称量结果的偏差的平方和是次称量结果的偏差的平方和是:于是就提出了下面的估计原则于是就提出了下面的估计原则:用这种方法作出的估计叫最小二乘估计用这种方法作出的估计叫最小二乘估计.最小二乘法认为最小二乘法认为,一个好的估计一个好的估计 ,应使应使这个平方和尽可能地小这个平方和尽可能地小.寻找寻找 ,使上述平方和达到最小使上述平方和达到最小,以这个以这个 作作为物重的估计值为物重的估计值,这就是最小二乘法这就是最小二乘法.现在的情况是现在的情况是,对对(x,y)作了作了n次观察或试验次观察或试验,得到得到n对数据对数据,我们想找一条直线我们

15、想找一条直线 ,尽可能好地拟合这些数据尽可能好地拟合这些数据.yx 由回归方程由回归方程,当当x取值取值xi时时,应取值应取值a+bxi,而实际观察到的为而实际观察到的为 yi,这样就形这样就形成了偏差成了偏差依照最小二乘法的思想，提出目标量依照最小二乘法的思想，提出目标量Q(7)它是所有实测值它是所有实测值yi与回归值与回归值 的偏差的偏差平方和平方和.yxyx我们可设法求出我们可设法求出a,b的估计值的估计值 ,使偏差平使偏差平方和方和Q达到最小达到最小.(7)(7)我们可设法求出我们可设法求出a,b的估计值的估计值 ,使偏差平使偏差平方和方和Q达到最小达到最小.由此得到的回归直线由此得到

16、的回归直线 是在所有是在所有直线中偏差平方和直线中偏差平方和Q最小的一条最小的一条.yx 通常可采用微积分中求极值的办法通常可采用微积分中求极值的办法,求求出使出使Q达到最小的达到最小的 ,.(7)即解方程：即解方程：得得(8)其中其中 从而得到回归方程从而得到回归方程按按照照上上述述准准则则,我我们们可可求求出出前前面面例例子子中中灌灌溉溉面积面积y对最大积雪深度对最大积雪深度x的回归方程是的回归方程是:可以看出可以看出,最大积雪深度每增加一个单位最大积雪深度每增加一个单位,灌溉面积平均增加灌溉面积平均增加364个单位个单位.2用极大似然法估计用极大似然法估计a,b 求求 出出 回回 归归

17、方方 程程，问问 题题 尚尚 未未 结结 束束，由由于于 是是从从观观察察得得到到的的回回归归方方程程，它它会会随随观观察察结结果果的的不不同同改改变变，并并且且它它只只反反映映了了由由x的的变变化化引引起起的的y的的变变化化，而而没没有有包包含误差项含误差项.（1）回回归归方方程程是是否否有有意意义义?即即自自变变量量x的的变变化化是是否否真真的的对对因因变变量量y有有影影响响?因因此此,有必要对回归效果作出检验有必要对回归效果作出检验.因此在获得这样的回归方程后，通常要因此在获得这样的回归方程后，通常要问这样的问题问这样的问题:8.1.3 线性相关关系检验线性相关关系检验 （2）如果方程真

18、有意义，用它预测）如果方程真有意义，用它预测y时，时，预测值与真值的偏差能否估计？预测值与真值的偏差能否估计？（1）回回归归方方程程是是否否有有意意义义?即即自自变变量量x的的变变化化是是否否真真的的对对因因变变量量y有有影影响响?因因此此,有必要对回归效果作出检验有必要对回归效果作出检验.下面我们来讨论这两个问题下面我们来讨论这两个问题.当当检检验验认认为为回回归归方方程程确确有有意意义义.则则可可用用来来进进行行予予测测或或控控制制,这这也也是是建建立立回回归归方方程的重要目的程的重要目的.8.1.4 预测与控制预测与控制1 1预测预测 预预测测是是指指对对x可可取取值值范范围围内内的的x0,估估计计相相应应的的随随机机变量变量Y0的取值范围，即对的取值范围，即对Y0做点估计与区间估计。做点估计与区间估计。0yx2 2控制控制8.1.5 可线性化的一元回归方程。可线性化的一元回归方程。（看书）（看书）