应用统计学多重线性回归模型讲稿.ppt

《应用统计学多重线性回归模型讲稿.ppt》由会员分享，可在线阅读，更多相关《应用统计学多重线性回归模型讲稿.ppt（81页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、应用统计学多重线性回归模型第一页，讲稿共八十一页哦 内内 容容 提提 要要 模型简介模型简介 简单实例分析简单实例分析 逐步回归逐步回归 残差分析残差分析 模型进一步诊断与修正模型进一步诊断与修正 小结小结第二页，讲稿共八十一页哦模型简介模型简介 生生活活中中发发生生的的许许多多现现象象都都不不是是独独立立的的，而而是是相相互互作作用用、相相互互影影响响的的。一一种种结结果果的的出出现现往往往往是是多多个个因因素素、多多个个环环节节共共同同作作用用的的结结果果。抛抛开开其其他他因因素素，仅仅考考察察其其中中一一个个影影响响因因素素对对结结果果的的影影响响，所所得出的结论是片面的，甚至可能是错误

2、的。得出的结论是片面的，甚至可能是错误的。本章所要讨论的问题是如何同时考虑多个因素对同一结果的本章所要讨论的问题是如何同时考虑多个因素对同一结果的影响。此时，因变量只有一个，也称反应变量，常用影响。此时，因变量只有一个，也称反应变量，常用y y表示。自表示。自变量也称解释变量，有多个。变量也称解释变量，有多个。第三页，讲稿共八十一页哦模型简介模型简介 多重线性回归模型多重线性回归模型其其中中，j j是是偏偏回回归归系系数数（P Pa ar rt ti ia al l r re eg gr re es ss si io on n c co oe ef ff fi ic ci ie en nt t

3、），它它表表示示在在其其它它自自变变量量固固定定不不变变的的情情况况下下，X Xj j每每改改变变一一个个测测量量单单位位时时所所引引起起的的应应变变量量Y Y的的平平均均改改变变量量，p p为为自自变变量量的的个个数数，为为残残差差，独独立立服服从从 N N（0 0，2 2）分分布布。第四页，讲稿共八十一页哦 自变量与因变量之间存在线性关系，可以通过绘制自变量与因变量之间存在线性关系，可以通过绘制“散点图散点图矩阵矩阵”予以考察；予以考察；各观测间相互独立；各观测间相互独立；残差服从正态分布；残差服从正态分布；方差齐性。方差齐性。模型简介应用条件模型简介应用条件 多重线性回归模型使用最小二乘

4、法来解决方程的估计和检多重线性回归模型使用最小二乘法来解决方程的估计和检验问题。验问题。第五页，讲稿共八十一页哦简单分析实例简单分析实例例例1 为为研研究究男男性性高高血血压压患患者者血血压压与与年年龄龄、身身高高、体体重重等等变变量量的的关关系系，随随机机测测量量了了32名名40岁岁以以上上男男性性的的血血压压y、年年龄龄x1、体体重重指数指数x2,试建立多重线性回归方程。数据文件见试建立多重线性回归方程。数据文件见mreg2.sav。第六页，讲稿共八十一页哦简单分析实例初步分析简单分析实例初步分析初步分析：初步分析：与与简简单单线线性性回回归归相相类类似似，先先绘绘制制散散点点图图，以以便

5、便在在进进行行回回归归分分析析之之前前了了解解各各变变量量之之间间是是否否存存在在线线性性关关系系。本本例例有有两两个个自自变变量与一个反应变量，绘制散点图矩阵，如下。量与一个反应变量，绘制散点图矩阵，如下。第七页，讲稿共八十一页哦 绘制散点图矩阵绘制散点图矩阵简单分析实例初步分析简单分析实例初步分析第八页，讲稿共八十一页哦简单分析实例简单分析实例第九页，讲稿共八十一页哦简单分析实例简单分析实例第十页，讲稿共八十一页哦简单分析实例简单分析实例结果分析结果分析 给给出出了了自自变变量量进进入入模模型型的的方方式式，此此处处尚尚未未涉涉及及变变量量筛筛选选问问题题，因因为为两两个个变变量量是是被被

6、强强行行纳纳入入模模型型的的（MethodMethod为为EnterEnter），当然就不存在剔除变量的事情了。），当然就不存在剔除变量的事情了。第十一页，讲稿共八十一页哦简单分析实例简单分析实例结果分析结果分析 模型拟合优度情况的检验，结果显示，复相关系数为模型拟合优度情况的检验，结果显示，复相关系数为0.8400.840，决，决定系数为定系数为0.7060.706，调整的决定系数为，调整的决定系数为0.6860.686，还输出了剩余标准差。，还输出了剩余标准差。第十二页，讲稿共八十一页哦简单分析实例简单分析实例结果分析结果分析 回回归归模模型型的的假假设设检检验验结结果果，显显示示F F3

7、4.808，P P 33的观测为异常值。的观测为异常值。探测自变量中强影响点：杠杆值探测自变量中强影响点：杠杆值,hij,hij大于大于2 2或或3 3倍的平均值即为倍的平均值即为异常；库克距离异常；库克距离11为异常；标准化回归系数和标准化预测值为异常；标准化回归系数和标准化预测值的变化；的变化；模型的进一步诊断与修正模型的进一步诊断与修正第三十三页，讲稿共八十一页哦 强影响点的处理强影响点的处理模型的进一步诊断与修正模型的进一步诊断与修正 考虑是否录入错误，如果是，予以改正；否则予以删除强影响点考虑是否录入错误，如果是，予以改正；否则予以删除强影响点记录；记录；进行稳健回归，如最小一乘法和

8、加权最小二乘法；进行稳健回归，如最小一乘法和加权最小二乘法；进行非参数回归及变量变换等。进行非参数回归及变量变换等。第三十四页，讲稿共八十一页哦 多重共线性的识别多重共线性的识别模型的进一步诊断与修正模型的进一步诊断与修正多重共线性：是指自变量间存在相关关系，即一个自变量可以用其他一个或几个多重共线性：是指自变量间存在相关关系，即一个自变量可以用其他一个或几个自变量的线性表达式进行表示。有以下表现形式：自变量的线性表达式进行表示。有以下表现形式：整个模型的方差分析结果为整个模型的方差分析结果为PP P ;专业上认为应该有统计学意义的自变量检验结果却无统计学意义；专业上认为应该有统计学意义的自变

9、量检验结果却无统计学意义；自变量的偏回归系数取值大小甚至符号明显与实际情况违背，难以解释；自变量的偏回归系数取值大小甚至符号明显与实际情况违背，难以解释；增加或删除一条记录或一个自变量，偏回归系数发生很大变化。增加或删除一条记录或一个自变量，偏回归系数发生很大变化。第三十五页，讲稿共八十一页哦 多重共线性的识别多重共线性的识别模型的进一步诊断与修正模型的进一步诊断与修正可以通过可以通过statistics statistics 子对话框中的子对话框中的Collinearity Diagnostics Collinearity Diagnostics 复复选框予以实现。其中提供了以下统计量：选框

10、予以实现。其中提供了以下统计量：容忍度容忍度 方差膨胀因子方差膨胀因子 条件指数条件指数 变异构成变异构成第三十六页，讲稿共八十一页哦容忍度容忍度(Toli=1-Ri2)(Toli=1-Ri2)：Ri2Ri2是自变量是自变量xixi与其他自变量间的决与其他自变量间的决定系数。定系数。方差膨胀因子（方差膨胀因子（VIF=1/ToliVIF=1/Toli）1010，表明共线性严重，表明共线性严重特征根特征根：最大特征根远远大于其他特征根，说明自变量：最大特征根远远大于其他特征根，说明自变量间有大量的信息重叠。间有大量的信息重叠。条件指数条件指数ki=SQRTki=SQRT（m/i m/i）：）：1

11、010，表明存在共线性。，表明存在共线性。模型的进一步诊断与修正模型的进一步诊断与修正第三十七页，讲稿共八十一页哦 多重共线性的识别（例多重共线性的识别（例2分析结果）分析结果）模型的进一步诊断与修正模型的进一步诊断与修正第三十八页，讲稿共八十一页哦 多重共线性的处理多重共线性的处理模型的进一步诊断与修正模型的进一步诊断与修正 增加样本量增加样本量逐步回归（当共线性很严重时，仍然不行）逐步回归（当共线性很严重时，仍然不行）；岭回归（岭回归（Ridge Regression，为有偏估计）为有偏估计）；主成分回归主成分回归；路径分析。路径分析。第三十九页，讲稿共八十一页哦小小 结结 回归模型的建立

12、步骤回归模型的建立步骤回归分析已经被应用的非常广泛，作为一个严肃的统计学模型，它有着自己严格的适用条件，在拟合时需要不断进行这些适用条件的判断。但是，许多使用者往往忽视了这一点，只是把模型做完就好了。这不仅浪费信息，更有可能得出错误的结论。这里给出一个比较合适的回归分析操作步骤，供大家参考。第四十页，讲稿共八十一页哦小小 结结 回归模型的建立步骤回归模型的建立步骤 绘制散点图，观察变量间的趋势。（不能随意省略）考察数据分布，进行必要的预处理。进行直线回归分析。残差分析。（最重要和直观的方法是图示法）强影响点的诊断和多重共线性的判断。第四十一页，讲稿共八十一页哦小小 结结建立一个“完美”的多重线

13、性回归模型是一个需要反复进行的过程，不能指望一蹴而就。第四十二页，讲稿共八十一页哦基本操作:Analyze-Regression-LinearDependent:Dependent:因变量因变量Independent:Independent:自变量自变量Method:Method:自变量筛选方法自变量筛选方法,默认为默认为EnterEnterBlock:Block:不同变量有不同筛选方法时可定义不同变量有不同筛选方法时可定义BlockBlockSelection Variable:Selection Variable:变量值满足条件的样本才参与分析变量值满足条件的样本才参与分析Case Lab

14、els:Case Labels:指定图示中数据点的标志变量指定图示中数据点的标志变量第四十三页，讲稿共八十一页哦第四十四页，讲稿共八十一页哦第四十五页，讲稿共八十一页哦第四十六页，讲稿共八十一页哦第四十七页，讲稿共八十一页哦第四十八页，讲稿共八十一页哦对于呈非线性关系的变量之间的统计关系进行大体估计（但对于呈非线性关系的变量之间的统计关系进行大体估计（但经变量变换可转化为线性关系经变量变换可转化为线性关系本质线性关系）。本质线性关系）。绘制拟合曲线并进行预测。绘制拟合曲线并进行预测。做为线性回归分析的预分析步骤：选择变量变换的方法。做为线性回归分析的预分析步骤：选择变量变换的方法。曲线估计曲线

15、估计第四十九页，讲稿共八十一页哦常用的几种非线性模型（一）抛物线模型（一）抛物线模型(二次曲线模型二次曲线模型)具体形式为：具体形式为：式中式中00、1 1 和和2 2 为待估计参数。为待估计参数。判断某种现象是否适合应用抛物线，可以利用判断某种现象是否适合应用抛物线，可以利用“差分法差分法”。其步骤如下：首先将样本观察值按。其步骤如下：首先将样本观察值按X X 的大小顺序排列，然后按以下两式计算的大小顺序排列，然后按以下两式计算X X 和和Y Y 的一阶差分的一阶差分XtXt、Yt Yt 以及以及Y Y 的二阶差分的二阶差分Y2tY2t。Xt=Xt-Xt-1;Yt=Yt-Yt-1Xt=Xt-

16、Xt-1;Yt=Yt-Yt-1 Y2t=Yt-Yt-1 Y2t=Yt-Yt-1当当Xt Xt 接近于一常数，而接近于一常数，而Y2t Y2t 的绝对值接近于常数时，的绝对值接近于常数时，Y Y 与与X X 之间的关系可以用抛物线模型近之间的关系可以用抛物线模型近似加以反映。似加以反映。第五十页，讲稿共八十一页哦（二）双曲线模型假如假如Y Y 随着随着X X 的增加而增加（或减少），最初增加（或减少）的增加而增加（或减少），最初增加（或减少）很快，以后逐渐放慢并趋于稳定，则可以选用双曲线来拟很快，以后逐渐放慢并趋于稳定，则可以选用双曲线来拟合。双曲线模型形式是：合。双曲线模型形式是：Y=0+1(

17、1/X)+Y=0+1(1/X)+第五十一页，讲稿共八十一页哦（三）幂函数模型（三）幂函数模型幂函数模型的一般形式是：幂函数模型的一般形式是：这类函数的优点在于：方程中的参数可以直接反映因变量这类函数的优点在于：方程中的参数可以直接反映因变量Y Y 对于某一个自对于某一个自变量的弹性。变量的弹性。所谓所谓Y Y 对于对于Xj Xj 的弹性，是指在其他情况不变的条件下，的弹性，是指在其他情况不变的条件下，Xj Xj 变动时所引起变动时所引起Y Y 变动的百分比。变动的百分比。弹性是一个无量纲的数值，它是经济定量分析中常用的一个尺弹性是一个无量纲的数值，它是经济定量分析中常用的一个尺度。它在生产函数

18、分析和需求函数分析中，得到了广泛的应用。度。它在生产函数分析和需求函数分析中，得到了广泛的应用。第五十二页，讲稿共八十一页哦（四）指数函数模型指数函数模型为：指数函数模型为：这种曲线被广泛应用于描述社会经济现象的变动趋势。例如产值、产量这种曲线被广泛应用于描述社会经济现象的变动趋势。例如产值、产量按一定比率增长按一定比率增长,成本、原材料消耗按一定比例降低。成本、原材料消耗按一定比例降低。第五十三页，讲稿共八十一页哦(五)逻辑曲线模型逻辑曲线的方程式如下：逻辑曲线的方程式如下：逻辑曲线具有以下性质。逻辑曲线具有以下性质。Y Y 是是X X 的非减函数，开始时随着的非减函数，开始时随着X X 的

19、增加，的增加，Y Y 的增长速的增长速度也逐渐加快，但是度也逐渐加快，但是Y Y 达到一定水平之后，达到一定水平之后，其增长速度又逐渐放慢。最其增长速度又逐渐放慢。最后无论后无论X X 如何增加，如何增加，Y Y 只会趋近于只会趋近于L,L,而永远不会超过而永远不会超过L L。第五十四页，讲稿共八十一页哦可拟合的曲线本质线性关系本质线性关系：形式上呈非线性关系，但可通过变量变换化为：形式上呈非线性关系，但可通过变量变换化为线性关系。线性关系。拟合原则：一般来说，涉及的变量越多，变量的幂次越高，计算拟合原则：一般来说，涉及的变量越多，变量的幂次越高，计算量就越大，误差也将越大。一般尽量避免采用多

20、元高次多项式。量就越大，误差也将越大。一般尽量避免采用多元高次多项式。能拟合的曲线见下页能拟合的曲线见下页第五十五页，讲稿共八十一页哦第五十六页，讲稿共八十一页哦基本操作：AnalyzeRegressionCurve Estimation第五十七页，讲稿共八十一页哦Independent:X2Dependent Mth Rsq d.f.F Sigf b0 b1 b2 b3 X5 QUA .987 10 382.64 .000 252.698 -.1475 2.5E-05 X5 CUB .994 9 516.46 .000 -41.314 .0754 -2.E-05 2.6E-09 X5 COM

21、 .995 11 2086.35 .000 20.9550 1.0004 X5 POW .954 11 229.58 .000 3.6E-05 1.8460第五十八页，讲稿共八十一页哦第五十九页，讲稿共八十一页哦例：打开打开年人均消费支出和教育年人均消费支出和教育数据，对居民在外就餐数据，对居民在外就餐的趋势进行分析的趋势进行分析,预测预测20032003年和年和20042004年度的居民在外就年度的居民在外就餐的费用。餐的费用。第六十页，讲稿共八十一页哦操作：GraphsSequence第六十一页，讲稿共八十一页哦第六十二页，讲稿共八十一页哦Dependent variable.X4 Met

22、hod.EXPONENTListwise Deletion of Missing DataMultiple R .96856R Square .93810Adjusted R Square .93501Standard Error .26294 Analysis of Variance:DF Sum of Squares Mean SquareRegression 1 20.956004 20.956004Residuals 20 1.382742 .069137F=303.10787 Signif F=.0000-Variables in the Equation-Variable B SE

23、 B Beta T Sig TTime .153837 .008836 .968556 17.410 .0000(Constant)12.521790 1.751183 7.150 .0000The following new variables are being created:Name Label FIT_6 Fit for X4 from CURVEFIT,MOD_6 EXPONENTIAL1 new cases have been added.第六十三页，讲稿共八十一页哦二项Logistic 回归适用于进行二分类因变量的影响因素分析适用于进行二分类因变量的影响因素分析用于控制混杂因素

24、，描述自变量对因变量的独立作用下用于控制混杂因素，描述自变量对因变量的独立作用下的影响程度的影响程度用于预测或判别分析用于预测或判别分析第六十四页，讲稿共八十一页哦与线性回归的不同之处被解释变量为被解释变量为0/10/1二分类定性变量时，不适合线性回归模型分二分类定性变量时，不适合线性回归模型分析：析：被解释变量取值范围不一致残差为二值离散型分布而非正态分布等方差性不再满足第六十五页，讲稿共八十一页哦二项Logistic回归将将y yi i=1=1的概率值直接拟合线性回归模型：的概率值直接拟合线性回归模型：P Py=1y=1=0 0+i ix xi i可对概率可对概率P P值做变量变换，使之取

25、值范围为值做变量变换，使之取值范围为-+-+解释变量与被解释变量概率值的实际关系一般呈增长曲线发生比（Odds）=p/(1-p)Logit P转换:ln()=ln(p/(1-p)=0+ixi第六十六页，讲稿共八十一页哦i i为解释变量增加一个单位时为解释变量增加一个单位时,ln(),ln()的变化量的变化量经变换，经变换，=exp(=exp(0 0+i ix xi i)固定其他变量,研究变量x1的作用exp(i)称为固定其他变量的作用时,变量xi增加一个单位引起的发生比之比(Odds Ratio,OR).二项Logistic回归-参数意义第六十七页，讲稿共八十一页哦最大似然估计法，通过最大化对

26、数似然值最大似然估计法，通过最大化对数似然值(log likelihood)(log likelihood)估计参数。估计参数。最大似然估计法是一种迭代算法，它以一个预测估计值作最大似然估计法是一种迭代算法，它以一个预测估计值作为参数的初始值，根据算法确定能增大对数似然值的参数为参数的初始值，根据算法确定能增大对数似然值的参数的方向和变动。估计了该初始函数后，对残差进行检验并的方向和变动。估计了该初始函数后，对残差进行检验并用改进的函数进行重新估计，直到收敛为止（即对数似然用改进的函数进行重新估计，直到收敛为止（即对数似然不再显著变化）。不再显著变化）。二项Logistic回归-参数估计第六十

27、八页，讲稿共八十一页哦-2-2 对数似然值对数似然值(-2Log Likelihood(-2Log Likelihood，-2LL)-2LL)似然(likelihood)即概率，反映该模型能较好地拟合样本数据的可能性。对数似然值(log likelihood，LL)是它的自然对数形式，取值在0 至-之间。对数似然值通过最大似然估计的迭代算法计算而得。LL最大为0，越大意味着回归方程的拟合程度越好。因为数学上较方便，常计算-2LL。二项Logistic回归-检验统计量第六十九页，讲稿共八十一页哦比分检验（比分检验（Score TestScore Test）以未包含某个（或几个）参数的模型为基础，

28、保留模型中参数的估计值，并假设新增加的参数为0，计算似然函数的一阶偏导数及信息矩阵，二者乘积即为比分检验统计量S，样本量大时，S服从卡方分布，比分检验结果一般与似然比检验一致。二项Logistic回归-检验统计量第七十页，讲稿共八十一页哦回归方程的显著性检验 似然比卡方检验H0:H0:各回归系数同时为各回归系数同时为0 0检验统计量检验统计量:似然比卡方服从近似卡方分布似然比卡方服从近似卡方分布L0L0为解释变量未引入方程时的对数似然函数值为解释变量未引入方程时的对数似然函数值,L,L为解为解释变量引入方程后的对数似然函数值释变量引入方程后的对数似然函数值.第七十一页，讲稿共八十一页哦回归方程

29、的拟合优度检验回归方程能够解释的被解释变量变异程度越高,拟合优度越高.Cox&Snell R2统计量=1-(L0/L)2/nNaglkerke R2=Cox&Snell R2/(1-(L0)2/n)，取值01回归方程预测值与实际值之间的吻合程度,总体预测准确率越高,拟合优度越高.错判矩阵Hosmer-Lemeshow统计量服从n-2个自由度的卡方分布:当自变量较多且多为连续性变量时残差分析第七十二页，讲稿共八十一页哦回归系数的显著性检验H0:i=0检验统计量:Wald统计量服从近似卡方分布Waldi=(i/Si)2Wald检验统计量的缺点：它考虑因素的综合作用，当因素间存在多重共线性的时候，结

30、果不可靠，较不宜于拒绝零假设，使得本应保留在方程中的变量未能保留。当回归系数很大时，Wald统计量存在一定偏差。第七十三页，讲稿共八十一页哦虚拟变量回归虚拟变量(哑变量,dummy variable):对于模型中的分类自变量,如有序或无序多分类变量,其值间距离并不相等,因此不能用一个回归系数表示其影响.必须转化为虚拟变量参与分析如变量X分为K类,则生成K-1个虚拟变量原变量X 新的哑变量VxaVxbA10B01C00第七十四页，讲稿共八十一页哦操作:AnalyzeRegression Binary LogisticDependent:Dependent:二分类被解释变量二分类被解释变量 Cov

31、ariates:Covariates:解释变量解释变量Method:Method:七种解释变量筛选方法七种解释变量筛选方法Enter Enter 所有变量强制进入回归方程所有变量强制进入回归方程Forward:Forward:向前逐步筛选法向前逐步筛选法,变量进入方程依据变量进入方程依据ScoreScore比分检验统计量比分检验统计量,变量剔除变量剔除出方程依据有三出方程依据有三:Backward:Backward:向后筛选法向后筛选法,变量剔除出方程依据有三变量剔除出方程依据有三:Conditional:Conditional:条件参数估计原则下的似然比卡方条件参数估计原则下的似然比卡方LR

32、:LR:极大似然估计原则下的似然比卡方极大似然估计原则下的似然比卡方Wald:Wald Wald:Wald 统计量统计量SelectSelect按钮：选择筛选变量，设定筛选条件按钮：选择筛选变量，设定筛选条件RuleRule，满足条件的观测参与分，满足条件的观测参与分析。析。第七十五页，讲稿共八十一页哦第七十六页，讲稿共八十一页哦第七十七页，讲稿共八十一页哦IndicatorIndicator：生成传统的虚拟变量，各分类与对照分类比较，为系统默认生成传统的虚拟变量，各分类与对照分类比较，为系统默认值值DeviationDeviation：除参照分类外各分类与总效应比较除参照分类外各分类与总效应

33、比较SimpleSimple：除参照分类外各分类与参照分类比较除参照分类外各分类与参照分类比较DifferenceDifference：逆逆Helmert Helmert 对照除第一分类外各分类与以前平均分类效应比较对照除第一分类外各分类与以前平均分类效应比较HelmertHelmert：除最后分类外各分类与以后平均分类效应比较除最后分类外各分类与以后平均分类效应比较RepeatedRepeated：除第一分类外各分类与以前分类效应比较：除第一分类外各分类与以前分类效应比较PolynomialPolynomial：假定分类等距，该分类仅用于数值型变量：假定分类等距，该分类仅用于数值型变量第七十八页，讲稿共八十一页哦第七十九页，讲稿共八十一页哦第八十页，讲稿共八十一页哦举例打开打开消费行为消费行为LogisticLogistic回归回归数据，分析数据，分析是否购买的行为与性别、收入水平以及年龄是否购买的行为与性别、收入水平以及年龄的关系。的关系。第八十一页，讲稿共八十一页哦