计量经济学第三章-一元线性回归模型资料讲解.ppt-得力文库

资源描述

《计量经济学第三章-一元线性回归模型资料讲解.ppt》由会员分享，可在线阅读，更多相关《计量经济学第三章-一元线性回归模型资料讲解.ppt（79页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、计量量经济学第三章学第三章-一元一元线性回性回归模型模型第一节第一节基本概念基本概念（1）确定性关系或或函数关系：研研究究的的是是确确定现象非随机变量间的关系。定现象非随机变量间的关系。（2）统计依赖或或相关关系：研研究究的的是是非非确确定定现象随机变量间的关系。现象随机变量间的关系。一、变量间的关系及回归分析的基本概念一、变量间的关系及回归分析的基本概念 1 1、变量间的关系、变量间的关系经济变量之间的关系，大体可分为两类：经济变量之间的关系，大体可分为两类：对变量间对变量间统计依赖关系统计依赖关系的考察主要是通过的考察主要是通过相关分析相关分析(correlation analysi

2、s)或或回归分析回归分析(regression analysis)来完成的来完成的例如例如：函数关系：函数关系：统计依赖关系统计依赖关系/统计相关关系：统计相关关系：回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其用意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。这里：这里：前一个变量被称为前一个变量被称为被解释变量（Explained Variable）或或应变量（Dependent Variable），后一个（些）后一个（些）变量被称为变量被称为解释变量（Explanatory Variable）或

3、或自变量（Independent Variable）。2 2、回归分析的基本概念、回归分析的基本概念回归分析构成计量经济学的方法论基础，其主要内容包括：回归分析构成计量经济学的方法论基础，其主要内容包括：（1）根据样本观察值对经济计量模型参数进行估计，求得回回归方程；归方程；（2）对回归方程、参数估计值进行显著性检验；（3）利用回归方程进行分析、评价及预测。由于变量间关系的随机性，由于变量间关系的随机性，回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某，即当解释变量取某个确定值时，与之统计相关的被解释变量所个确定值时，与之统计相关的被解释变量所有可能出现

4、的对应值的平均值。这恰好是条有可能出现的对应值的平均值。这恰好是条件期望的概念。件期望的概念。二、总体回归函数二、总体回归函数l概念：在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线总体回归线（population regression line），或更一般地称为总体回归曲总体回归曲线线（population regression curve）。称为（双变量）总体回归函数总体回归函数（population regression function,PRF）。相应的函数：回归函数（回归函数（PRF）说明被解释变量）说明被解释变量Y的平均状的平均状态（总体条件期望）随解释变量态（总体条

5、件期望）随解释变量X变化的规律。变化的规律。l含义：含义：函数形式：函数形式：可以是线性或非线性的。可以是线性或非线性的。为什么线性形式这么重要？为什么线性形式这么重要？Taylor展开。展开。将粮食产量看成是播种面积的线性函数时将粮食产量看成是播种面积的线性函数时:为一为一线性函数。线性函数。其中，其中，0 0，1 1是未知参数，称为是未知参数，称为回归系数回归系数（regression coefficients）。）。l注意：线性回归的含义注意：线性回归的含义指的是指的是对参数是线性的对参数是线性的诸如此类，都是线性回归的范畴。诸如此类，都是线性回归的范畴。除此之外，很多模型不能塑造成线性

6、回归模型，就除此之外，很多模型不能塑造成线性回归模型，就需要走入非线性回归模型的领域需要走入非线性回归模型的领域对大部分应用来说，选择一个能转化成线性回归的对大部分应用来说，选择一个能转化成线性回归的模型就足够了。模型就足够了。三、随机扰动项三、随机扰动项总体回归函数说明在相同的播种面积总体回归函数说明在相同的播种面积Xi下，下，农户农户平均的平均的粮食产量粮食产量。但对某个别的但对某个别的农户农户，其，其粮食产量粮食产量可能与该平均水平可能与该平均水平有偏差。有偏差。称i为观察值Yi围绕它的期望值E(Y|Xi)的随机干扰项随机干扰项（stochastic disturbance）或随机误

7、差项随机误差项（stochastic error），是一个不可观测的随机变量。记记个别农户的粮食产出为：个别农户的粮食产出为：（*）式称为）式称为总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。（1）该收入水平下所有家庭的平均收成E(Y|Xi)，称为系统系统性（性（systematic）或确定性确定性（deterministic)部分部分。（2）其他随机随机或非确定性非确定性（nonsystematic)部分部分 i。即，给定播种面积Xi,个别农户的收成可表示为两部分之和:(*)由于方程中引入了随机项，称为计量经济学模型，也称为总

8、体回归模型总体回归模型。产生并设计随机误差项的主要原因：产生并设计随机误差项的主要原因：1）在解释变量中被忽略的因素的影响；）在解释变量中被忽略的因素的影响；2）变量观测值的观测误差的影响；）变量观测值的观测误差的影响；3）模型关系的设定误差的影响；）模型关系的设定误差的影响；四、样本回归函数（四、样本回归函数（SRF）问题：问题：能否从一次抽样中获得总体的近似的信息吗能否从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？如果可以，如何从抽样中获得总体的近似信息？问：能否从该样本估计总体回归函数问：能否从该样本估计总体回归函数PRF？回答：能总体的信息往往无法掌握

9、，现实的情况只能总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。是在一次观测中得到总体的一个样本。表表家庭消费支出与可支配收入的一个随机样本家庭消费支出与可支配收入的一个随机样本 Y 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 X 594 638 1122 1155 1408 1595 1969 2078 2585 2530 该样本的该样本的散点图（scatter diagram)：样本散点图近似于一条直线，画一条直线以尽好地拟合样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近

10、似地代表总体回该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为归线。该线称为样本回归线（sample regression lines）。记样本回归线的函数形式为：记样本回归线的函数形式为：称为称为样本回归函数样本回归函数（sample regression function，SRF）。这里这里将将样本回归线看成看成总体回归线的近似替代的近似替代则则注意：注意：样本回归函数的随机形式样本回归函数的随机形式/样本回归模型样本回归模型：同样地，样本回归函数也有如下的随机形式：由于方程中引入了随机项，成为计量经济模型，因此也称为样本回归模型样本回归模型（sample regres

11、sion model）。式中，ie称为（样本）残差（样本）残差（或剩余剩余）项项（residual），是实际观测值和拟合值的偏差。可看成是i的估计量i。l每次抽样都能获得一组样本，就可以拟合一条每次抽样都能获得一组样本，就可以拟合一条样本回归线，因此，样本回归线是随抽样波动样本回归线，因此，样本回归线是随抽样波动而变化的，可以有许多条，这就决定了而变化的，可以有许多条，这就决定了SRF不不唯一唯一。回归分析的主要目的：根根据据样样本本回回归归函函数数SRF，估计总体回归函数，估计总体回归函数PRF。注意：注意：PRF可能永远无法知道。即，根据估计第二节第二节参数估计参数估计一、线性回归的经

12、典假设一、线性回归的经典假设假设假设2(Strict exogeneity)：严格外生性严格外生性假设假设3(No Multicollinearity)：无多重共线性无多重共线性假设假设1(Linearity)：总体模型是线性的总体模型是线性的假设假设4(Spherical Error Variance)：球形方差球形方差这四个假设称为高斯这四个假设称为高斯-马尔科夫假设。马尔科夫假设。假设假设5(Normality of the Error Term)：正态假设正态假设这五个假设称为线性回归经典假设。这五个假设称为线性回归经典假设。二、假设特例二、假设特例假设假设2：假设假设3：（同方差性）

13、（同方差性）假设假设1：X非随机，总体模型是线性，非随机，总体模型是线性，Y1,Y2Yn为为SRS同方差示意图同方差示意图条件概率密度函数值条件概率密度函数值异方差示意图异方差示意图条件概率密度函数值条件概率密度函数值假设假设4：（无序列相关性）无序列相关性）假设假设5：（解释变量与随机干扰项不相关）（解释变量与随机干扰项不相关）假设假设6：（正态分布）（正态分布）三、三、OLS1.1.思想思想l 给定一组样本观测值（给定一组样本观测值（Xi,Yi）（）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值要求样本回归函数尽可能好地拟合这组值.l选哪条线拟合？选哪条线拟合？l 理想的估计方法应

14、使残差理想的估计方法应使残差ei越小越好越小越好l 普通最小二乘法（普通最小二乘法（Ordinary least squares,OLS）给出的判断标准是：二者之差的平方和）给出的判断标准是：二者之差的平方和最小。最小。2.2.最小二乘估计最小二乘估计l 利用微分的方法，求关于的偏导数利用微分的方法，求关于的偏导数,并令并令其为零其为零,得得 l 常用结论常用结论例例：在家庭可支配收入可支配收入-消费支出消费支出中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。XiYixiyixiyixi2yi21800594-1350-973.413140901822500947507.56

15、21100638-1050-929.49758701102500863784.36314001122-750-445.4334050562500198381.16417001155-450-412.4185580202500170073.76520001408-150-159.4239102250025408.3662300159515027.6414022500761.76726001969450401.6180720202500161282.56829002078750510.6382950562500260712.3693200258510501017.61068480110250010

16、35509.810350025301350962.612995101822500926598.76求和求和2150015674576930074250004590020.4平均平均21501567.4因此，由该样本估计的回归方程为：l当模型参数估计出后，需考虑参数估计值的精当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。考察参数估计量的统计性质。l由于参数的估计结果是通过最小二乘法得到的，由于参数的估计结果是通过最小二乘法得到的，故称为故称为普通最小二乘估计量普通最小二乘估计量（ordinary

17、least squares estimators，OLSE）。）。四、四、OLSE及其性质及其性质高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem)在高斯-马尔可夫假定下，最小二乘估计量是具有最小方差的线性无偏估计量（或称最佳线性无偏估计量,BLUE）。对于一元线性回归对于一元线性回归证：证：易知故同样地，容易得出（2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明故，故，OLSEOLSE是是BLUEBLUE五、参数估计量的概率分布及随机干扰五、参数估计量的概率分布及随机干扰项方差的估计项方差的估计 2、随机误差项、随机误差项的方差的方差 2

18、的估计的估计由于随机项 i不可观测，只能从 i的估计残差ei i出发，对总体方差进行估计。2又称为总体方差总体方差。可以用可以用作为作为2的估计估计它是关于2的无偏估计量。试证明之。一、拟合优度检验一、拟合优度检验二、变量的显著性检验二、变量的显著性检验三、参数的区间估计三、参数的区间估计第三节第三节统计检验和区间估计统计检验和区间估计l回归分析是要通过样本所估计的参数来代替总是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体的真实参数，或者说是用样本回归线代替总体回归线。体回归线。尽管从统计性质统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（

19、均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验统计检验。主要包括拟合优度检验拟合优度检验、变量的显著性检验显著性检验。一、拟合优度检验一、拟合优度检验拟合优度检验：对样本回归直线与样本观对样本回归直线与样本观测值之间拟合程度的检验。测值之间拟合程度的检验。度量拟合优度的指标：判定系数（可决系数）R2 问题：问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？1 1、总离差平方和的分解、总离差平方和的分解已知由一组样本观测值（Xi,Yi）

20、，i=1,2,n得到如下样本回归直线如果Yi=i 即实际观测值落在样本回归“线”上，则拟合最好拟合最好。此时可认为，“离差”全部来自回归线，而与“残差”无关。对于所有样本点，则需考虑这些点与样本均值离差的平方和，可证明（请尝试）：记总体平方和总体平方和（Total Sum of Squares）回归平方和回归平方和（Explained Sum of Squares）残差平方和残差平方和（Residual Sum of Squares）TSS=ESS+RSSY的观测值围绕其均值的总离差总离差(total variation)可分解为两部分：一部分来自回归线一部分来自回归线(ESS)，另，另一部

21、分则来自残差一部分则来自残差(RSS)。在给定样本中，TSS不变，如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大。拟合优度拟合优度：回归平方和：回归平方和ESS/YESS/Y的总离差的总离差TSSTSS2 2、可决系数、可决系数R R2 2统计量统计量称 R2 为（样本）（样本）可决系数可决系数/判定系数判定系数（coefficient of determination)。可决系数可决系数的取值范围取值范围：0，1 R2 2越接近越接近1 1，说明实际观测点离样本线越近，拟，说明实际观测点离样本线越近，拟合优度越高合优度越高。在收入收入-消费支出消费支出例中，注：可决系数是一

22、个非负的统计量。它也是随注：可决系数是一个非负的统计量。它也是随着抽样的不同而不同。着抽样的不同而不同。二、变量的显著性检验二、变量的显著性检验回归分析是要判断是要判断解释变量X是否是是否是被解释变量Y的一个显著性的影响因素。的一个显著性的影响因素。在在一元线性模型中，就是要判断中，就是要判断X是否对是否对Y具有显著的线性性影响。这就需要进行具有显著的线性性影响。这就需要进行变量的显著性检验。变量的显著性检验所应用的方法是数理统计学变量的显著性检验所应用的方法是数理统计学中的中的假设检验假设检验。计量经计学中计量经计学中，主要是针对变量的参数真值是，主要是针对变量的参数真值是否为零来进行显著

23、性检验的。否为零来进行显著性检验的。检验步骤：检验步骤：（1）对总体参数提出假设 H0：1=0，H1：10（2）以原假设H0构造t统计量，并由样本计算其值（3）给定显著性水平，查t分布表，得临界值t/2(n-2)(4)比较，判断若|t|t/2(n-2)，则拒绝H0；若|t|t/2(n-2)，则不能拒绝H0；对于一元线性回归方程中的0，可构造如下t统计量进行显著性检验：在上述收入-消费支出例中，首先计算2的估计值 t统计量的计算结果分别为：给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306|t1|2.306，说明家庭可支配收入在家庭可支配收入在95%95%的置信的

24、置信度下显著，即是消费支出的主要解释变量；度下显著，即是消费支出的主要解释变量；|t2|2.306,表明在95%的置信度下，无法拒绝截距项为零的假设。假设检验假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的区间估计区间估计。三、参数的区间估计三、参数的区间估计为什么要做区间估计为什么要做区间估计lOLSE

25、是对总体回归参数的点估计量，是利用是对总体回归参数的点估计量，是利用部分的样本信息对总体未知信息做推断。由于部分的样本信息对总体未知信息做推断。由于抽样的随机性，估计值不会等于参数值。抽样的随机性，估计值不会等于参数值。l考虑用一个区间，考虑用一个区间，“大概率大概率”的将参数值包含的将参数值包含其中，以此达到对参数的了解。其中，以此达到对参数的了解。真实值存在、未知真实值存在、未知样本估计量样本估计量区间上限区间上限区间下限区间下限l区间估计的意图区间估计的意图1：刻画点估计量和参数值的：刻画点估计量和参数值的误差。误差。58统计学对真理的探究统计学对真理的探究l区间估计的意图区间估计的意图

26、2：了解真实参数值的取值范：了解真实参数值的取值范围围区间估计的求解步骤区间估计的求解步骤l1.从点估计量的分布入手从点估计量的分布入手区间估计的求解步骤区间估计的求解步骤l2.做示意图做示意图l3.将将“大概率大概率”描述出来描述出来f(t)t01-/2/2 /2/2 t t/2/2(n-2)(n-2)-t-t/2/2(n-2)(n-2)查查t t分布表分布表区间估计的求法区间估计的求法l4.移项整理移项整理注意注意l构造的区间是随机区间构造的区间是随机区间l代入具体的抽样数据，得到置信区间，它是一个数值区代入具体的抽样数据，得到置信区间，它是一个数值区间，是区间估计的一次抽样实现间，是区间

27、估计的一次抽样实现l要从重复实验的意义上理解：如在要从重复实验的意义上理解：如在1000次抽样中，大次抽样中，大约有约有950次都能将参数真值包含住。次都能将参数真值包含住。练习：一元线性回归参数的区间估计思考：如何缩小区间半径思考：如何缩小区间半径l区间半径越小，卡得越紧，误差越小区间半径越小，卡得越紧，误差越小l如何能缩小区间半径？如何能缩小区间半径？betterbetterbetterbetter一元线性模型中一元线性模型中，i(i=1，2）的区间估计的区间估计:在变量的显著性检验中已经知道：意味着，如果给定置信度（1-），从分布表中查得自由度为(n-2)的临界值，那么t值处在(-t/2

28、,t/2)的概率是(1-)。表示为：即于是得到:(1-)的置信度下,i的区间估计是在收入收入-消费支出消费支出例中，如果给定=0.01，查表得：由于于是，1、0的置信区间分别为：（0.6345,0.9195)（-433.32,226.98）由于置信区间一定程度地给出了样本参数由于置信区间一定程度地给出了样本参数估计值与总体参数真值的估计值与总体参数真值的“接近接近”程度，因此程度，因此置信区间越小越好。置信区间越小越好。要缩小置信区间，可以要缩小置信区间，可以（1 1）增大样本容量）增大样本容量n n，因为在同样的置信水平，因为在同样的置信水平下，下，n n越大，越大，t t分布表中的临界值

29、越小；同时，分布表中的临界值越小；同时，增大样本容量，还可使样本参数估计量的标准增大样本容量，还可使样本参数估计量的标准差减小；差减小；（2 2）提高模型的拟合优度）提高模型的拟合优度，因为样本参数估计，因为样本参数估计量的标准差与残差平方和呈正比，模型拟合优量的标准差与残差平方和呈正比，模型拟合优度越高，残差平方和应越小。度越高，残差平方和应越小。（3 3）提高样本观测值的分散度）提高样本观测值的分散度,一、0是条件均值E(Y|X=X0)的一个无偏估计，0和个值Y0的关系二、总体条件均值与个值预测值的区间估计第四节第四节应用：预测应用：预测对于一元线性回归模型给定样本以外的解释变量的观

31、件均值与个值预测值的区间估计二、总体条件均值与个值预测值的区间估计 1、总体均值预测值的置信区间、总体均值预测值的置信区间由于于是可以证明（请尝试）因此故其中于是，在1-的置信度下，总体条件均值总体条件均值E(Y|X0)的区间估的区间估计为计为 2、总体个值预测值的区间估计、总体个值预测值的区间估计讨论的分布，可知式中:从而在1-的置信度下，Y0的区间估计的区间估计为在上述收入收入-消费支出消费支出例中，得到的样本回归函数为则在 X0=1000处，0=103.172+0.7771000=673.84 而因此，总体均值总体均值E(Y|X=1000)的95%的置信区间为：673.

32、84-2.30661.05 E(Y|X=1000)673.84+2.30661.05或（533.05,814.62）对于Y在X=1000的个体值个体值，其95%的置信区间为：673.84-2.306130.88Yx=1000 673.84+2.306130.88或 (372.03,975.65)总体回归函数的置信带（域）置信带（域）（confidence band）个体的置信带（域）置信带（域）对于Y的总体均值E(Y|X)与个体值的预测区间（置信区间）:（1）样本容量n越大，预测精度越高，反之预测精度越低；（2）样本容量一定时，置信带的宽度当在X均值处最小，其附近进行预测的精度越大；X越远离其均值，置信带越宽，预测可信度下降。本章学习要点771.回归的目的回归的目的2.OLSE是是BLUE3.统计检验统计检验4.预测预测思考：在证明思考：在证明BLUE的时候，都分别用到了的时候，都分别用到了哪些经典假设。哪些经典假设。78第三章结束了！第三章结束了！此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢

展开阅读全文