计量经济学-2一元线性回归模型.ppt

《计量经济学-2一元线性回归模型.ppt》由会员分享，可在线阅读，更多相关《计量经济学-2一元线性回归模型.ppt（61页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、计计计计 量量量量 经经经经 济济济济 学学学学第一节第一节 概念概念第二节第二节 回归模型回归模型第三节第三节 参数的最小二乘估计参数的最小二乘估计第四节第四节 模型检验模型检验第五节第五节 预测预测小结小结第第2 2章章 一元线性回归模型一元线性回归模型计计计计 量量量量 经经经经 济济济济 学学学学第一节第一节 基本概念基本概念 1、确定性关系、确定性关系 若一个变量能够被一个或若干个其它变量的数值按某一规律唯一若一个变量能够被一个或若干个其它变量的数值按某一规律唯一地确定。地确定。2、非确定性关系（相关关系或回归关系、非确定性关系（相关关系或回归关系）若一个变量不能根据其它有关变量的数

2、值精确地求出其数值，但若一个变量不能根据其它有关变量的数值精确地求出其数值，但可以通过大量的统计资料得出它们之间的数量变化规律。可以通过大量的统计资料得出它们之间的数量变化规律。3、相关分析、相关分析 主要研究变量之间的相互关联程度，用相关系数表示。包括简单主要研究变量之间的相互关联程度，用相关系数表示。包括简单相关和多重相关（复相关）。相关和多重相关（复相关）。4、回归分析（、回归分析（Regression Analysis）研究一个变量（因变量）对于一个或多个其他变量（解释变量）研究一个变量（因变量）对于一个或多个其他变量（解释变量）的数量依存关系。其目的在于根据已知的解释变量的数值来估计

3、或的数量依存关系。其目的在于根据已知的解释变量的数值来估计或预测因变量的总体平均值。预测因变量的总体平均值。计计计计 量量量量 经经经经 济济济济 学学学学 分析因变量与解释变量之间的统计依赖关系，目的在分析因变量与解释变量之间的统计依赖关系，目的在于通过后者的已知或设定值去估计或预测前者的均值。于通过后者的已知或设定值去估计或预测前者的均值。这里：前一个变量被称为被解释变量被解释变量（Explained Variable）或应变量应变量（Dependent Variable），），后一个（些）变量被称为解释变量解释变量（Explanatory Variable）或自变量自变量（Indepen

4、dent Variable）。）。回归分析构成计量经济学的方法论基础，其主要内容包回归分析构成计量经济学的方法论基础，其主要内容包括：括：（1）根据样本观察值对经济计量模型参数进行估计，求）根据样本观察值对经济计量模型参数进行估计，求得得回归方程回归方程；（2）对回归方程、参数估计值进行显著性检验；）对回归方程、参数估计值进行显著性检验；（3）利用回归方程进行分析、评价及预测。）利用回归方程进行分析、评价及预测。计计计计 量量量量 经经经经 济济济济 学学学学例如，例如，函数关系：函数关系：统计依赖关系统计依赖关系/统计相关关系：统计相关关系：对变量间对变量间统计依赖关系统计依赖关系的考察主要

5、是通过的考察主要是通过相关分析相关分析(correlation analysis)或或回归分析回归分析(regression analysis)来完成的来完成的.相关系数：相关系数：统计依赖关系统计依赖关系 回归分析回归分析正相关正相关相关分析相关分析 不相关不相关负相关负相关正相关正相关线性相关线性相关不相关不相关负相关负相关有因果关系有因果关系无因果关系无因果关系非线性相关非线性相关计计计计 量量量量 经经经经 济济济济 学学学学 不线性相关并不意味着不相关；不线性相关并不意味着不相关；有相关关系并不意味着一定有因果关系；有相关关系并不意味着一定有因果关系；回归分析回归分析/相关分析相关分

6、析研究一个变量对另一个研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。定有因果关系。相关分析相关分析对称地对待任何（两个）变量，两对称地对待任何（两个）变量，两个变量都被看作是随机的。个变量都被看作是随机的。回归分析回归分析对变量的处理对变量的处理方法存在不对称性，即区分应变量（被解释变量）方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不和自变量（解释变量）：前者是随机变量，后者不是。是。注意：注意：计计计计 量量量量 经经经经 济济济济 学学学学 XY80100120140160

7、18020022024026055657980102110120135137150607084931071151361371451526574909511012014014015517570809410311613014415216517875859810811813514515717518088113125140160189185115162191户数户数5657665765总支出总支出32546244570767875068510439661211例，假定一个国家的所有家庭的收入（例，假定一个国家的所有家庭的收入（X）和消费支出（和消费支出（Y）统计如下，希望知道家庭消费支出与家庭收入之间

8、的关系：统计如下，希望知道家庭消费支出与家庭收入之间的关系：Y=F（X）。）。计计计计 量量量量 经经经经 济济济济 学学学学YX55100 120140 16080 根据每个家庭的收入和支根据每个家庭的收入和支出绘出散点图，大致可看出二出绘出散点图，大致可看出二者间的关系：在统计意义上，者间的关系：在统计意义上，二者成正比。二者成正比。由由对全体居民的收入和支出的调查结果，我们知道处于不同收入阶层对全体居民的收入和支出的调查结果，我们知道处于不同收入阶层的居民有一个平均的支出水平，这一支出水平与收入大致呈线性关系。的居民有一个平均的支出水平，这一支出水平与收入大致呈线性关系。图中的这条通过各

9、收入阶图中的这条通过各收入阶层平均支出额的直线，描述了层平均支出额的直线，描述了这一依赖关系。我们把这条线这一依赖关系。我们把这条线称为称为回归直线。回归直线。计计计计 量量量量 经经经经 济济济济 学学学学总体回归模型：总体回归模型：样本回归模型：样本回归模型：总体回归模型总体回归模型YX55100 120140 16080样本回归模型样本回归模型第二节第二节 回归模型：回归模型：计计计计 量量量量 经经经经 济济济济 学学学学一、几个概念一、几个概念1.条件分布（条件分布（Conditional distribution）：以）：以X取定值为条件取定值为条件的的Y的条件分布。的条件分布。2

10、.条件概率（条件概率（Conditional probability）：）：给定给定X的的Y的概率，的概率，记为记为P(Y|X)。例如，例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。3.条件期望（条件期望（conditional Expectation）：）：给定给定X的的Y的期望值，的期望值，记为记为E(Y|X)。例如，例如，E(Y|X=80)=551/5601/5651/5701/5751/5654.总体回归曲线（总体回归曲线（Popular Regression Curve）（）（总体回归曲总体回归曲线的几何意义）：当解释变量给定值时因变量的条件期望值线的

11、几何意义）：当解释变量给定值时因变量的条件期望值的轨迹。的轨迹。计计计计 量量量量 经经经经 济济济济 学学学学二、总体回归函数（二、总体回归函数（Popular Regression Function，PRF）E(Y|Xi)=f(Xi)当当PRF的函数形式为线性函数，则有，的函数形式为线性函数，则有，E(Y|Xi)=0+1Xi其中其中 0和和 1为未知而固定的参数，称为回归系数。为未知而固定的参数，称为回归系数。1和和 2也分别称为截距也分别称为截距和斜率系数。上述方程也称为线性总体回归函数。和斜率系数。上述方程也称为线性总体回归函数。三、三、“线性线性”的含义的含义“线性线性”可作两种解释

12、：对变量为线性，对参数为线性。一般可作两种解释：对变量为线性，对参数为线性。一般“线性回线性回归归”一词总是指对参数一词总是指对参数 为线性的一种回归（即参数只以它的为线性的一种回归（即参数只以它的1次方出现）。次方出现）。四、四、PRF的随机设定的随机设定 将个别的将个别的Yi围绕其期望值的离差围绕其期望值的离差(Deviation)表述如下：表述如下：ui=Yi-E(Y|Xi)或或 Yi=E(Y|Xi)+ui其中其中ui为随机误差项（为随机误差项（Stochastic error）或随机干扰项或随机干扰项（Stochastic disturbance）。）。线性总体回归函数：线性总体回归函

13、数：PRF：Yi=0+1Xi+ui=E(Y|Xi)+ui 计计计计 量量量量 经经经经 济济济济 学学学学五、随机扰动项的意义五、随机扰动项的意义 随机扰动项是从模型中省略下来的而又集体地影响着随机扰动项是从模型中省略下来的而又集体地影响着Y的全部变量的替代物。显然的问题是：为什么不把这些变量的全部变量的替代物。显然的问题是：为什么不把这些变量明显地引进到模型中来，而以随即扰动项来替代？理由是多明显地引进到模型中来，而以随即扰动项来替代？理由是多方面的：方面的：（1）理论的含糊性：理论不能完全说明影响因变量的所有）理论的含糊性：理论不能完全说明影响因变量的所有影响因素。影响因素。（2）数据的欠

14、缺：无法获得有关数据。）数据的欠缺：无法获得有关数据。（3）主要变量与次要变量：希望能找到与有较大影响的核）主要变量与次要变量：希望能找到与有较大影响的核心变量的关系。心变量的关系。（4）内在随机性：因变量具有内在的随机性。）内在随机性：因变量具有内在的随机性。（5）替代变量差异：替代变量和被替代变量之间总是存在）替代变量差异：替代变量和被替代变量之间总是存在一定的差异。一定的差异。（6）简化原则：研究中尽可能使回归式简单。）简化原则：研究中尽可能使回归式简单。计计计计 量量量量 经经经经 济济济济 学学学学六、样本回归函数（六、样本回归函数（SRF，Sample RegressionFunc

15、tion）由于在大多数情况下，我们不可能得到由于在大多数情况下，我们不可能得到X、Y的所有可能的数值，只的所有可能的数值，只能用抽样的方法，取得能用抽样的方法，取得X、Y的样本观测值，用样本回归方程的样本观测值，用样本回归方程SRF去拟合去拟合总体回归方程总体回归方程PRF。X（收入）收入）80100120140160180200220240260Y（支出）支出）55657980102110120135137150样本样本1 X（收入）收入）80100120140160180200220240260Y（支出）支出）708094103116130144152165178样本样本2样本回归函数样本

16、回归函数SRF：在回归分析中，我们用在回归分析中，我们用SRF估计估计PRF。计计计计 量量量量 经经经经 济济济济 学学学学第三节第三节 参数的最小二乘估计参数的最小二乘估计（Least Squares Estimation，LSE）考虑回归模型：考虑回归模型：其中其中ui是除了是除了X以外的其它若干因素。以外的其它若干因素。计计计计 量量量量 经经经经 济济济济 学学学学一、最小二乘估计的基本假定一、最小二乘估计的基本假定1、零均值。随机扰动项、零均值。随机扰动项ui的的均值为零。即，均值为零。即，E(ui|Xi)=02、同方差。随机扰动项同方差。随机扰动项ui的方差相等。即的方差相等。即

17、 Var(ui|Xi)=E(ui-E(ui)|Xi2 =E(ui2|Xi2=23、无自相关。各个扰动项无自相关。即：无自相关。各个扰动项无自相关。即：4、随机扰动项、随机扰动项ui解释变量解释变量Xi不不相关。即相关。即Cov（ui，Xi）=Eui-EuiXi-EXi=0 i=1，2，n5、ui服从正态分布，即服从正态分布，即uiN（0，2），），i=1，2，n计计计计 量量量量 经经经经 济济济济 学学学学二、普通最小二乘估计（二、普通最小二乘估计（Ordinary Least Squares，OLS）基本思路：用样本回归函数估计总体回归函数。基本思路：用样本回归函数估计总体回归函数。估计估

18、计估计出的参数估计出的参数使残差的平方和最小使残差的平方和最小。真实值真实值用用计计计计 量量量量 经经经经 济济济济 学学学学求解这一最小化问题，根据最大化的一阶条件：求解这一最小化问题，根据最大化的一阶条件：计计计计 量量量量 经经经经 济济济济 学学学学例例1，已知某商品的需求量，已知某商品的需求量Y（万吨）随价格万吨）随价格X（元）元）变化的统计资料如下，求需求量变化的统计资料如下，求需求量Y随随价格价格X变化的回归变化的回归方程。方程。年份年份 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 需求量需求量 100 75 80 70

19、50 65 90 100 110 65价格价格 5 7 6 6 8 7 5 4 3 9计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学几个常几个常用结果：用结果：计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学三、最三、最小二乘估计小二乘估计OLS的性质的性质 （高斯（高斯-马尔柯夫定理）马尔柯夫定理）在所有线性无偏估计量中，在所有线性无偏估计量中，OLS估计量有估计量有最小方差，即最小方差，即OLS是是BLUE（Best Linear Unbiased Estimator）。）。1.线性性线性性

20、2.无偏性无偏性 3.最小方差性最小方差性计计计计 量量量量 经经经经 济济济济 学学学学（1）线性性）线性性：为为Yi的线性函数的线性函数计计计计 量量量量 经经经经 济济济济 学学学学 2、无偏性：最小二乘估计、无偏性：最小二乘估计 的数学期望值分别等于总体回的数学期望值分别等于总体回归归系数的值系数的值计计计计 量量量量 经经经经 济济济济 学学学学 3、最小方差性、最小方差性：OLS估计量估计量 在所有线性无偏估计量中，具有最小方差。即在所有线性无偏估计量中，具有最小方差。即计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量

21、量 经经经经 济济济济 学学学学四、最小二乘估计的方差四、最小二乘估计的方差计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学第四节第四节 模型检验模型检验一、经济意义检验一、经济意义检验 检验所建的模型的是否符合经济理论，主要是检验模型参检验所建的模型的是否符合经济理论，主要是检验模型参数的符号和大小是否与经济理论以及人们的经验一致数的符号和大小是否与经济理论以及人们的经验一致二、统计检验二、统计检验 1、拟合优度检验（判定系数）、拟合优度检验（判定系数）拟合优度检验是指对样本回归线与样本观测值之间拟合拟合优度检验是指对样本回归线与样本观测值之间

22、拟合程度的检验。度量拟合程度的指标是判定系数程度的检验。度量拟合程度的指标是判定系数R2。基本思路：因变量基本思路：因变量Y的总变异，能够被的总变异，能够被X的变异解释的的变异解释的比例越大，则说明比例越大，则说明OLS回归线对总体的解释程度越好，反之回归线对总体的解释程度越好，反之就越差。就越差。总的离差平方和的分解：总的离差平方和的分解：计计计计 量量量量 经经经经 济济济济 学学学学PRF Xi X SRFY计计计计 量量量量 经经经经 济济济济 学学学学估计的估计的Y值围绕其均值的总变异值围绕其均值的总变异 未被解释的未被解释的Y值围绕回归线的值围绕回归线的Y值的变异值的变异 总平方和

23、（总平方和（TSS）：）：说明实际的说明实际的Y值围绕其均值的总变异值围绕其均值的总变异计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学 R2 测度了在测度了在Y的总变异中，由回归模型解释的部分所占的比例。的总变异中，由回归模型解释的部分所占的比例。R2 越越高，回归模型拟合的程度就越好。高，回归模型拟合的程度就越好。R2 的性质：的性质：（1）非负。（）非负。（2）0R2 1其它表达方式：其它表达方式：定义拟合优度定义拟合优度R2：计计计计 量量量量 经经经经 济济济济 学学学学例例2：对例：对例1进行拟合优度检验，并说明其意义。进行拟合优度检

24、验，并说明其意义。计计计计 量量量量 经经经经 济济济济 学学学学2、相关系数检验、相关系数检验 相关系数：表示两个随机变量之间的相关程度。定义为：相关系数：表示两个随机变量之间的相关程度。定义为：以样本方差和样本协方差估计以样本方差和样本协方差估计X、Y的方差和协方差，样本相关系数为的方差和协方差，样本相关系数为：样本相关系数的平方与拟合优度相等，但二者的意义不同。样本相关系数的平方与拟合优度相等，但二者的意义不同。（拟合优度是回归分析中提出的，而相关系数是相关分析中提出的。）（拟合优度是回归分析中提出的，而相关系数是相关分析中提出的。）计计计计 量量量量 经经经经 济济济济 学学学学相关系

25、数检验的步骤：相关系数检验的步骤：计计计计 量量量量 经经经经 济济济济 学学学学例例3，对例，对例1进行相关系数检验。进行相关系数检验。计计计计 量量量量 经经经经 济济济济 学学学学3、F检验（总体回归方程显著性检验检验（总体回归方程显著性检验）三大分布：三大分布：计计计计 量量量量 经经经经 济济济济 学学学学t：标准正态除以卡方开方的分布（注意自由度）标准正态除以卡方开方的分布（注意自由度）F：两个独立的卡方变量之商的分布（注意自由度）两个独立的卡方变量之商的分布（注意自由度）：若干个独立的标准正态平方和的分布若干个独立的标准正态平方和的分布计计计计 量量量量 经经经经 济济济济 学学

26、学学F检验的步骤：检验的步骤：计计计计 量量量量 经经经经 济济济济 学学学学离差平方和平方和SS自由度DF均方差MS F值 F临界值 显著性ESS1ESS/1 */RSSn-2RSS/n-2TSSn-1方差分析（方差分析（analysis of variance,ANOVA)表表思路：若思路：若ESS/RSS 比较大，则比较大，则X对对Y的解释程度就比较高，可以的解释程度就比较高，可以推测总体存在线性关系。推测总体存在线性关系。拟合优度拟合优度R2与与F检验具有一致性：检验具有一致性：计计计计 量量量量 经经经经 济济济济 学学学学例例4，对例，对例1进行进行F检验检验解：解：TSS=327

27、2.5 ESS=2707.5 RSS=565 F*=(2707.58)/565=38.33 38.33F0.05(1,8)=5.32 因此因此,回归方程显著成立回归方程显著成立.方差分析表方差分析表:Analysis of VarianceAnalysis of Variance SOURCE DF SS MS F p SOURCE DF SS MS F p Regression 1 2707.5 2707.5 38.34 0.000 Regression 1 2707.5 2707.5 38.34 0.000 Error 8 565.0 70.6 Error 8 565.0 70.6 Tot

28、al 9 3272.5 Total 9 3272.5计计计计 量量量量 经经经经 济济济济 学学学学四、四、t检验（参数显著性检验）检验（参数显著性检验）计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学T检验的步骤：检验的步骤：计计计计 量量量量 经经经经 济济济济 学学学学例例5，对例，对例1进行进行t检验。检验。计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学五、预测（五、预测（Prediction Forecast）（一）点预测一）点预测YX12点点预测的两种解释：预测的两种解释：计计计计 量

29、量量量 经经经经 济济济济 学学学学（二）（二）区间预测（区间预测（Interval Estimation）1、总体均值总体均值E（Y0|X0）的区间预测的区间预测区间估计：为了判断点估计与真值的接近程度，可以通过区间估计：为了判断点估计与真值的接近程度，可以通过构造以估计值为中心的一个区间（随机的），以该区间包构造以估计值为中心的一个区间（随机的），以该区间包括了真值的概率来确定估计值接近真值的把握程度：括了真值的概率来确定估计值接近真值的把握程度：计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学

30、2、总体个别值、总体个别值Y0的区间预测的区间预测计计计计 量量量量 经经经经 济济济济 学学学学-t/2t/2o/2/2计计计计 量量量量 经经经经 济济济济 学学学学计计计计 量量量量 经经经经 济济济济 学学学学例例6，在例，在例1中，若中，若X0=10，求，求Y0及及E（Y0|X0）的预测值和预测区间的预测值和预测区间 六、案例分析六、案例分析计计计计 量量量量 经经经经 济济济济 学学学学小结：一元线性回归分析的主要步骤小结：一元线性回归分析的主要步骤1、建立回归模型、建立回归模型 研究某一经济现象，先根据经济理论，选择具有因果关研究某一经济现象，先根据经济理论，选择具有因果关系的两

31、个变量（系的两个变量（Y，X)，建立线性回归模型，确定解释变量建立线性回归模型，确定解释变量和被解释变量。和被解释变量。如果不明确两个变量是否为线性关系，也可如果不明确两个变量是否为线性关系，也可以根据散点图来分析。以根据散点图来分析。建立回归模型可以是根据经济理论，也可以根据相同或建立回归模型可以是根据经济理论，也可以根据相同或相似经济现象的历史分析经验来建立回归模型。相似经济现象的历史分析经验来建立回归模型。建立模型时，不仅要考虑理论或经验的依据，同时也要建立模型时，不仅要考虑理论或经验的依据，同时也要考虑数据的可利用程度。考虑数据的可利用程度。2、收集数据，并经过适当的加工整理，得到适于

32、回归分析的、收集数据，并经过适当的加工整理，得到适于回归分析的样本数据集。样本数据集。3、估计模型参数。利用样本数据，以、估计模型参数。利用样本数据，以OLS得到模型参数的估得到模型参数的估计值。计值。计计计计 量量量量 经经经经 济济济济 学学学学4、对回归模型和参数估计值进行检验。、对回归模型和参数估计值进行检验。检验回归结果是否正确反映经济现象，是否与理论相符。检验回归结果是否正确反映经济现象，是否与理论相符。包括理论检验和统计检验。包括理论检验和统计检验。经济理论检验：参数的符号，大小是否与理论和实际相经济理论检验：参数的符号，大小是否与理论和实际相符。若不符，寻找原因（数据？模型设定

33、？理论错误？）符。若不符，寻找原因（数据？模型设定？理论错误？）统计检验：拟和优度检验，估计量、回归方程的显著性统计检验：拟和优度检验，估计量、回归方程的显著性检验。检验。5、预测、预测 对于解释变量的特定值，带入回归方程得到因变量的预对于解释变量的特定值，带入回归方程得到因变量的预测值；在给定的置信水平上，得到因变量预测值的置信区间。测值；在给定的置信水平上，得到因变量预测值的置信区间。计计计计 量量量量 经经经经 济济济济 学学学学6、回归结果的表述：回归结果的表述：并并说明参数的显著水平（说明参数的显著水平（）。）。计计计计 量量量量 经经经经 济济济济 学学学学以回归分析为工具的实证分

34、析文章的结构以回归分析为工具的实证分析文章的结构一、研究的来源和基础一、研究的来源和基础 对研究的经济现象的描述；研究该现象的意义；相同或相似的代对研究的经济现象的描述；研究该现象的意义；相同或相似的代表性研究的方法、结论，并作总结评价；本研究的出发点；文章的结表性研究的方法、结论，并作总结评价；本研究的出发点；文章的结构介绍。构介绍。二、理论分析二、理论分析 选择合适的经济理论，利用理论对要研究的经济想象做定性分析，选择合适的经济理论，利用理论对要研究的经济想象做定性分析，得到大致的结果；建立理论模型。得到大致的结果；建立理论模型。三、建立回归模型三、建立回归模型 根据理论模型，建立合理、可分析的回归模型。回归模型的形式、根据理论模型，建立合理、可分析的回归模型。回归模型的形式、解释变量的个数和选择，不一定与数理模型完全相同。解释变量的个数和选择，不一定与数理模型完全相同。四、对所使用的数据做出说明四、对所使用的数据做出说明 数据的来源；数据加工的原因和处理方式；替代数据的说明等。数据的来源；数据加工的原因和处理方式；替代数据的说明等。五、回归结果及对结果的分析五、回归结果及对结果的分析 列出回归的结果（包括参数的估计值和统计检验结果）；结合理列出回归的结果（包括参数的估计值和统计检验结果）；结合理论分析回归结果论分析回归结果六、结论六、结论/总结总结/应用应用