第三章-多元线性回归模型优秀PPT.ppt

《第三章-多元线性回归模型优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第三章-多元线性回归模型优秀PPT.ppt（110页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第四章第四章 多元线性回来模型多元线性回来模型1第一节 多元线性回来模型的概念 在很多实际问题中，我们所探讨的因变量的变动可能不仅与一个说明变量有关。因此，有必要考虑线性模型的更一般形式，即多元线性回来模型：t=1,2,n 在这个模型中，Y由X1、X2、X3、XK所说明，有K+1个未知参数0、1、2、K。这里，“斜率”j的含义是其它变量不变的状况下，Xj变更一个单位对因变量所产生的影响。2 例例1 1：其中，其中，Y=Y=在食品上的总支出在食品上的总支出 X=X=个人可支配收入个人可支配收入 P=P=食品价格指数食品价格指数 用用美美国国1959-19831959-1983年年的的数数据据，得

2、得到到如如下下回回来来结结果果（括括号号中中数字为标准误差）：数字为标准误差）：Y和X的计量单位为10亿美元(按1972不变价格计算).3多元线性回来模型中斜率系数的含义上例中斜率系数的含义说明如下：价格不变的状况下，个人可支配收入每上升10亿美元（1个billion），食品消费支出增加1.12亿元（0.112个 billion）。收入不变的状况下，价格指数每上升一个点，食品消费支出削减7.39亿元（0.739个billion）4例例2：其中，其中，Ct=消费，消费，Dt=居民可支配收入居民可支配收入 Lt=居民拥有的流淌资产水平居民拥有的流淌资产水平 2的的含含义义是是，在在流流淌淌资资产产

3、不不变变的的状状况况下下，可可支支配配收收入入变变动动一个单位对消费额的影响。这是收入对消费额的干脆影响。一个单位对消费额的影响。这是收入对消费额的干脆影响。收入变动对消费额的总影响收入变动对消费额的总影响=干脆影响干脆影响+间接影响。间接影响。（间接影响：收入影响流淌资产拥有量（间接影响：收入影响流淌资产拥有量 影响消费额）影响消费额）但但在在模模型型中中这这种种间间接接影影响响应应归归因因于于流流淌淌资资产产，而而不不是是收收入入，因而，因而，2只包括收入的干脆影响。只包括收入的干脆影响。在下面的模型中：在下面的模型中：这里，这里，是可支配收入对消费额的总影响，明显是可支配收入对消费额的总

4、影响，明显和和2的的 含义是不同的。含义是不同的。5回到一般模型 t=1,2,，n即对于n组观测值，有6其矩阵形式为：其中 7其次节 多元线性回来模型的估计 多元线性回来模型的估计与双变量线性模型类似，仍接受OLS法。当然，计算要困难得多，通常要借助计算机。理论推导需借助矩阵代数。下面给出一般最小二乘法应用于多元线性回来模型的假设条件、估计结果及所得到的估计量的性质。一假设条件（1）E(ut)=0,t=1,2,n （2）E(ui uj)=0,ij （3）E(ut2)=2,t=1,2,n （4）Xjt是非随机量，j=1,2,k t=1,2,n 8 除上面4条外，在多个说明变量的状况下，还有两个条

5、件须要满足：（5）（K+1）n;即观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来拟合回来线）。（6）各说明变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件：9A1.E(u)=0 A2.由于 明显，仅当 E(ui uj)=0,ij E(ut2)=2,t=1,2,n 这两个条件成立时才成立，因此，此条件相当前面条件(2),(3)两条，即各期扰动项互不相关，并具有常数方差。10 A3.X 是一个非随机元素矩阵。A4.Rank(X)=(K+1)n.-相当于前面(5)、(6)两 条 即矩阵X的秩=（K+1)n 当然，为了后面区间估计和假设检验的须要，还要加上一条：A5.

6、，t=1,2,n11二最小二乘估计二最小二乘估计我们的模型是：t=1,2,n问题是选择 ，使得残差平方和最小。残差为：12要使残差平方和 为最小，则应有：我们得到如下K+1个方程（即正规方程）：13按矩阵形式，上述方程组可表示为：14=即15三.最小二乘估计量 的性质 我们的模型为 估计式为 1 的均值16（由假设3）(由假设1)即 这表明，OLS估计量 是无偏估计量。172 的方差为求Var()，我们考虑 18不难看出，这是 的方差-协方差矩阵，它是一个(K+1)(K+1)矩阵，其主对角线上元素为各系数估计量的方差，非主对角线上元素为各系数估计量的协方差。19由上一段的(4.5)式，我们有因

7、此20 请留意，我们得到的事实上不仅是 的方差，而且是一个方差-协方差矩阵，为了反映这一事实，我们用下面的符号表示之：为便利起见，我们也常用Var()表示的方差-协方差矩阵，因此上式亦可写作：须要留意的是，这里 不表示方差向量，而是方差-协方差矩阵。213 2 的估计 与双变量线性模型相像，2的无偏估计量是 分母是 的自由度，这是因为我们在估计 的过程中，失去了（K+1）个自由度。4 高斯-马尔科夫定理对于 以及标准假设条件A1A4，一 般 最 小 二 乘 估 计 量 是 最 佳 线 性 无 偏 估 计 量（BLUE）22 我们已在上一段中证明白无偏性，下面证明线性和最小方差性。证明的路子与双

8、变量模型中类似，只不过这里我们接受矩阵和向量的形式。由OLS估计量 的公式 可知,可表示为一个矩阵和因变量观测值向量 的乘积：其中 是一个(K+1)*n 非随机元素矩阵。因而 是线性估计量。23 现设 为 的随意一个线性无偏估计量，即其中 是一个(K+1)*n非随机元素矩阵。则 明显，若要 为无偏估计量，即 ，只有 ，为（K+1）阶单位矩阵。24 的方差为：我们可将 写成 从而将 的随意线性无偏估计量 与OLS估计量 联系起来。25由 可推出：即 因而有 由 从而 ，因此上式中间两项为0，我们有26 因此 最终的不等号成立是因为 为半正定矩阵。这就证明白OLS估计量 是 的全部线性无偏估计量中

9、方差最小的。至此，我们证明白高斯-马尔科夫定理。27第三节 拟合优度一确定系数R2 对于双变量线性模型 Y=+X+u我们有其中，=残差平方和28对于多元线性模型 我们可用同样的方法定义确定系数：为便利计算，我们也可以用矩阵形式表示R229 我们有：残差 其中，残差平方和：30而 将上述结果代入R2的公式，得到：这就是确定系数R2 的矩阵形式。31二修正确定系数：残差平方和的一个特点是，每当模型增加一个说明变量，并用变更后的模型重新进行估计，残差平方和的值会减小。由此可以推论，确定系数是一个与说明变量的个数有关的量：说明变量个数增加 减小 R2 增大也就是说，人们总是可以通过增加模型中说明变量的

10、方法来增大 R2 的值。因此，用 R2 来作为拟合优度的测度，不是特别令人满足的。为此，我们定义修正确定系数 （Adjusted ）如下：3233 是经过自由度调整的确定系数，称为修正确定系数。我们有：（1）（2）仅当K=0时，等号成立。即 （3）当K增大时，二者的差异也 随之增大。（4）可能出现负值。34三例子三例子 下下面面我我们们给给出出两两个个简简洁洁的的数数值值例例子子，以以帮帮助助理理解解这两节的内容这两节的内容.例例1Yt=1+2X2 t+3X3 t+u t 设观测数据为：设观测数据为：Y：3 1 8 3 5 X2：3 1 5 2 4 X3：5 4 6 4 6 试求各参数的试求各

11、参数的OLS估计值，以及估计值，以及 。解：我们有解：我们有3536373839 例例2.设设 n=20,k=3,R2=0.70，求求 。解：解：下面变更下面变更n的值，看一看的值，看一看 的值如何变更。我们有的值如何变更。我们有 若若n=10，则，则 =0.55 若若n=5，则则 =-0.20 由本例可看出，由本例可看出，有可能为负值。有可能为负值。这与这与R2不同不同 （）。）。40 第四节 非线性关系的处理 迄今为止，我们已解决了线性模型的估计问题。但在实际问题中，变量间的关系并非总是线性关系，经济变量间的非线性关系比比皆是。如大家所熟悉的柯布-道格拉斯生产函数:就是一例。在这样一些非线

12、性关系中，有些可以通过代数变换变为线性关系处理，另一些则不能。下面我们通过一些例子来探讨这个问题。41一.线性模型的含义 线性模型的基本形式是:其特点是可以写成每一个说明变量和一个系数相乘的形式。线性模型的线性包含两重含义：（1）变量的线性 变量以其原型出现在模型之中，而不是以X2或X之类的函数形式出现在模型中。（2）参数的线性 因变量Y是各参数的线性函数。42二线性化方法 对于线性回来分析，只有其次种类型的线性才是重要的，因为变量的非线性可通过适当的重新定义来解决。例如，对于 此方程的变量和参数都是线性的。43 参数的非线性是一个严峻得多的问题，因为它不能仅凭重定义来处理。可是，假如模型的右

13、端由一系列的X或eX项相乘，并且扰动项也是乘积形式的，则该模型可通过两边取对数线性化。例如，需求函数 其中，Y=对某商品的需求 X=收入 P=相对价格指数 =扰动项可转换为：44 用X,Y,P的数据，我们可得到logY,logX和logP,从而可以用OLS法估计上式。logX的系数是的估计值，经济含义是需求的收入弹性，logP的系数将是的估计值，即需求的价格弹性。弹性（elasticity）是一变量变动1%所引起的另一变量变动的百分比。其定义为 本例中，需求的收入弹性是收入变更1%，价格不变时所引起的商品需求量变动的百分比。需求的价格弹性是价格变更1%，收入不变时所引起的商品需求量变动的百分比

14、。45三例子例1 需求函数 本章1中，我们曾给出一个食品支出为因变量，个人可支配收入和食品价格指数为说明变量的线性回来模型例子（例4.1）。现用这三个变量的对数重新估计（接受同样的数据），得到如下结果（括号内数字为标准误差）：回来结果表明，需求的收入弹性是0.64,需求的价格弹性是-0.48，这两个系数都显著异于0。46 例2柯布-道格拉斯生产函数 用柯布和道格拉斯最初运用的数据（美国1899-1922年制造业数据）估计经过线性化变换的模型得到如下结果（括号内数字为标准误差）：从上述结果可以看出，产出的资本弹性是0.23，产出的劳动弹性为0.81。47例3货币需求量与利率之间的关系 M=a(r

15、-2)b这里，变量非线性和参数非线性并存。对此方程接受对数变换 logM=loga+blog(r-2)令Y=logM,X=log(r-2),1=loga,2=b 则变换后的模型为：Yt=1+2Xt+ut 48 将OLS法应用于此模型，可求得1和2的估计值 ，从而可通过下列两式求出a和b估计值：应当指出，在这种状况下，线性模型估计量的性质（如BLUE,正态性等）只适用于变换后的参数估计量 ，而不确定适用于原模型参数的估计量 和 。49 例4上例在确定货币需求量的关系式时，我们事实上给模型加进了一个结束条件。依据理论假设，在某一利率水平上，货币需求量在理论上是无穷大。我们假定这个利率水平为2%。假

16、如不给这一约束条件，而是从给定的数据中估计该利率水平的值，则模型变为：M=a(r-c)b 式中a,b,c均为参数。仍接受对数变换，得到 log(Mt)=loga+blog(rt-c)+ut t=1,2,n 我们无法将log(rt-c)定义为一个可观测的变量X,因为这里有一个未知量c。也就是说，此模型无法线性化。在这种状况下，只能用估计非线性模型参数值的方法。50四非线性回来 模型 Y=a(X-c)b是一个非线性模型，a、b和c是要估计的参数。此模型无法用取对数的方法线性化，只能用非线性回来技术进行估计，如非线性最小二乘法（NLS）。该方法的原则仍旧是残差平方和最小。计量经济软件包通常供应这类方

17、法，这里给出有关非线性回来方法的大致步骤如下：51非线性回来方法的步骤1 首先给出各参数的初始估计值（合理揣测值）;2 用这些参数值和X观测值数据计算Y的各期预料 值（拟合 值）;3计算各期残差，然后计算残差平方和e2;4对一个或多个参数的估计值作微小变动；5计算新的Y预料值 、残差平方和e2；6若新的e2小于老的e2，说明新参数估计值 优于老估计值，则以它们作为新起点；7重复步骤4，5，6，直至无法减小e2为止。8最终的参数估计值即为最小二乘估计值。52 第五节 假设检验一系数的显著性检验1单个系数显著性检验 目的是检验某个说明变量的系数j是否为0，即该说明变量是否对因变量有影响。原假设 H

18、0：j=0 备择假设 H1：j0 53单个系数显著性检验的检验统计量是自由度为 n-k-1 的 t 统计量：t(n-k-1)其中，为矩阵 主对角线上第 j+1个元素。而54例：柯布-道格拉斯生产函数 用柯布和道格拉斯最初运用的数据（美国1899-1922年制造业数据）估计经过线性变换的模型得到如下结果（括号内数字为标准误差）：请检验“斜率”系数和的显著性。55解：(1)检验的显著性 原假设 H0：=0 备择假设 H1：0 由回来结果，我们有：t0.23/0.06=3.83用=24321查t表，5%显著性水平下，tc 2.08.t3.83 tc 2.08，故拒绝原假设H0。结论：显著异于0。56

19、(2)检验 的显著性 原假设 H0：=0 备择假设 H1：0 由回来结果，我们有：t0.81/0.15=5.4t5.4 tc 2.08，故拒绝原假设H0。结论：显著异于0。572若干个系数的显著性检验（联合假设检验）有时须要同时检验若干个系数是否为0，这可以通过建立单一的原假设来进行。设要检验g个系数是否为0，即与之相对应的g个说明变量对因变量是否有影响。不失一般性，可设原假设和备择假设为：H0:1=2=g=0 H1:H0不成立 (即X1,Xg中某些变量对Y有 影响)58分析：这事实上相当于检验g个约束条件 1=0，2=0，g=0 是否同时成立。若H0为真，则正确的模型是：据此进行回来（有约束

20、回来），得到残差平方和 SR是H0为真时的残差平方和。59若H1为真，正确的模型即原模型：据此进行无约束回来（全回来），得到残差平方和S是H1为真时的残差平方和。60 假如H0为真，则不管X1,Xg这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应当有：S SR假如H1为真，则由上一节中所探讨的残差平方和e2的特点，无约束回来增加了变量的个数，应有 S SR 通过检验二者差异是否显著地大，就能检验原假设是否成立。61所运用的检验统计量是：F(g,n-k-1)其中，g为分子自由度，n-k-1为分母自由度。运用 的作用是消退具体问题中度量单位的影响，使计算出的 F 值是一个与度量单位无

21、关的量。62例：给定20组Y,X1,X2,X3的观测值，试检验模型 中X1和X3对Y是否有影响？解：（1）全回来 估计 得到：S=e2=25 （2）有约束回来 估计 得到：SR=e2=3063 原假设 H0:1=3=0 备择假设 H1:H0不成立 我们有：n=20,g=2,k=3 用自由度（2，16）查F分布表，5%显著性水平下，F=1.6 FC=3.63,故接受H0。结论：X1和X3对Y无显著影响643全部斜率系数为0的检验 上一段结果的一个特例是全部斜率系数均为0的检验，即回来方程的显著性检验：H0：1=2=K=0 也就是说，全部说明变量对Y均无影响。留意到 g=K，则该检验的检验统计量为

22、：65 分子分母均除以 ，有 从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，假如接受原假设，则表明因变量的行为完全归因于随机变更。若拒绝原假设，则表明所选择模型对因变量的行为能够供应某种程度的说明。66二检验其他形式的系数约束条件二检验其他形式的系数约束条件 上上面面所所介介绍绍的的检检验验若若干干个个系系数数显显著著性性的的方方法法，也也可可以以应应用用于于检检验验施施加加于于系系数数的的其其他他形形式式的的约约束束条条件，如件，如 检检验验的的方方法法仍仍是是分分别别进进行行有有约约束束回回来来和和无无约约束束回回来来，求求出出各各自自的的残残差差平平方方和和 SR

23、和和 S，然然后后用用 F 统计量进行检验。统计量进行检验。当当然然，单单个个系系数数的的假假设设检检验验，如如 H0：3=1.0，亦可用，亦可用t检验统计量进行检验。检验统计量进行检验。67例：Cobb-Douglas生产函数 Y=AKL 试依据美国制造业1899-1922年数据检验规模效益不变的约束：+=1解：（1）全回来 68（2）有约束回来：将约束条件代入，要回来的模型变为：Y=AKL1-为避开回来系数的不一样问题，两边除以L，模型变换为：Y/L=A(K/L)回来，得：69 由回来结果得到的约束回来和全回来的残差平方和分别为 SR=0.0716 S=0.0710 （3）检验 原假设 H

24、0:+1 备择假设 H1:+1 本例中，g=1,K=2,n=24 70 用自由度（1，21）查F表，5%显著性水平下，Fc=4.32 F=0.18 Fc=4.32 故接受原假设H0:+1 （4）结论 我们的数据支持规模收益不变的假设。71第六节 预料 我们用OLS法对多元回来模型的参数进行了估计之后，假如结果志向，则可用估计好的模型进行预料。与双变量模型的作法类似，预料指的是对诸自变量的某一组具体值 来预料与之相对应的因变量值 。当然，要进行预料，有一个假设前提应当满足，即拟合的模型在预料期也成立。72 点预料值由与给定的诸X值对应的回来值给出，即 而预料期的实际Y值由下式给出：其中u0是从预

25、料期的扰动项分布中所取的值。73预料误差可定义为：两边取期望值，得因此，OLS预料量是一个无偏预料量。74 预料误差的方差为：从 e0 的定义可看出，e0 为正态变量的线性函数，因此，它本身也听从正态分布。故75由于 为未知，我们用其估计值代替它，有 则 的95%置信区间为：即 76例例 用书上用书上P85例例4.3的数据，预料的数据，预料X2=10，X3=10的的Y值。值。解：解：由例由例4.3我们已得到：我们已得到：77因此 的95%置信区间为：或 3.66至24.34之间.78 第七节 虚拟变量（Dummy variables）一虚拟变量的概念 在回来分析中，常常遇到这样一种状况，即因变

26、量的波动不仅依靠于那种能够很简洁按某种尺度定量化的变量（如收入、产出、价格、身高、体重等），而且依靠于某些定性的变量（如性别、地区、季节等）。在经济系统中，很多变动是不能定量的。如政府的更迭（工党-保守党）、经济体制的改革、固定汇率变为浮动汇率、从战时经济转为和平常期经济等。79 这样一些变动都可以用0-1变量来表示，用1表示具有某一“品质”或属性，用0表示不具有该“品质”或属性。这种变量在计量经济学中称为“虚拟变量”。虚拟变量使得我们可以将那些无法定量化的变量引入回来模型中。下面给出几个可以引入虚拟变量的例子。例1：你在探讨学历和收入之间的关系，在你的样本中，既有女性又有男性，你准备探讨在此

27、关系中，性别是否会导致差别。80例2：你在探讨某省家庭收入和支出的关系，采集的样本中既包括农村家庭，又包括城镇家庭，你准备探讨二者的差别。例3：你在探讨通货膨胀的确定因素，在你的观测期中，有些年份政府实行了一项收入政策。你想检验该政策是 否对通货膨胀产生影响。上述各例都可以用两种方法来解决，一种解决方法是分别进行两类状况的回来，然后检验参数是否不同。另一种方法是用全部观测值作单一回来，将定性因素的影响用虚拟变量引入模型。81二虚拟变量的运用方法1 截距变动 设Y表示消费，X表示收入，我们有：假定不变。对于5年斗争和5年和平常期的数据，我们可分别估计上述两个模型，一般将给出 的不同值。现引入虚拟

28、变量D,将两式并为一式：其中，82 此式等价于下列两式：截距变动，斜率不变 在包含虚拟变量的模型中，D的数据为0，0，0，0，0，1，1，1，1，1。估计结果如下图所示：应用t检验，2是否显著 可以表明截距项在两个时 期是否有变更。832 斜率变动 假如我们认为战时和平常的消费函数中，截距项不变，而斜率不同，即变动，则可用下面的模型来探讨两个时期边际消费倾向的差异：其中，D=不难看出，上式相当于下列两式：同样，包括虚拟变量的模型中，2是否显著可以表明斜率在两个时期是否变更。843斜率和截距都变动在这种状况下，模型可设为：其中，D=此式等价于下列两个单独的回来式：引进了虚拟变量的回来模型对于检验

29、两个时期中是否 发生结构性变更很便利。如上例中，相当于检验 H0:2=4=0854季节虚拟变量的运用 很多变量展示出季节性的变异(如商品零售额、电和自然气的消费等)，我们在建立模型时应考虑这一点，这有两种方法：（1）在估计前对数据进行季节调整；（2）接受虚拟变量将季节性差异反映在模型 中。86例：设Y=购买汽车的实际支出额 X=实际总消费支出 用美国1973(1)-1980(2)的季度数据（按1975年价格计算），得回来结果如下：这一结果很不志向，低R2值，低t值，X的符号也不对。考虑到可能是季节性变异的问题，我们建立下面的模型：87 其中，各季度的截距分别为：1季度：0+12季度：0+23季

30、度：0+34季度：0 请留意我们仅用了3个虚拟变量就可表示4个季度的状况。88估计结果如下：结果仍不志向，但好多了。四个季度的截距项分别为：-1039.2，-1122.7，-1161.4，-1455.8。所得到的实际总支出的参数估计值（0.1044）是一个不受季节变动影响的估计值。895.虚拟变量陷阱虚拟变量陷阱 我我们们在在上上一一段段中中用用三三个个虚虚拟拟变变量量表表示示四四个个季季度度的的状状况况。能能不不能能用用四四个个虚虚拟拟变变量量来来区区分分四四个个季季度度呢呢？答答案案是是确确定定不不行行。因因为为这这将将在在X矩矩阵阵中中增增加加一一列列（虚虚拟拟变变量量Q4的的观观测测值

31、值列列），四四季季度度为为1，其其它它季季度度为为0。不不难难看看出出，在在这这种种状状况况下下，四四个个虚虚拟拟变变量量在在X矩矩阵阵中中的的观观测测值值列列相相加加，就就得得到到一一个个全全部部元元素素都都为为1的的列列向向量量，与与X矩矩阵阵中中第第一一列列（截截距距项项列列）完完全全相相同同，表表明明X矩矩阵阵各各列列线线性性相相关关，矩矩阵阵的的秩秩小小于于k1，不不满满足足假假设设条条件件（4），OLS估估计计无无法法进进行行。这这就就是是 所所 谓谓 的的“虚虚 拟拟 变变 量量 陷陷 阱阱（Dummy variable trap）”因此，若定性变量有m个类别，则仅需引入（m1）

32、个虚拟变量。假如引入m个虚拟变量，则会画蛇添足，陷入虚拟变量陷阱。90*第八节 极大似然法 与一般最小二乘法相比，一个具有更强的理论性质的点估计方法是极大似然法（Maximum Likelihood method，ML）。极大似然法的一般概念是，设 是随机变量X的密度函数，若有一随机样本X1，X2，XN，则 的极大似然估计值是具有产生该观测样本的最高概率的那个值，或者换句话说，的极大似然估计值是使密度函数达到最大的值。下面让我们通过一个例子来进一步说明极大似然法的概念。91一、似然的概念一、似然的概念 一个样本发生的概率称为该样本的似然。例如，抛一个样本发生的概率称为该样本的似然。例如，抛一枚

33、不均衡的硬币一枚不均衡的硬币10次，得到次，得到4次正面。依据二项分次正面。依据二项分布，我们有布，我们有 其中其中 X=出现正面的次数出现正面的次数 p=一次抛掷中出现正面的概率，即一次抛掷中出现正面的概率，即P(正面正面)依据似然的定义，依据似然的定义，P(X=4)是当是当P(正面正面)=p时，时，X=4的的似然。我们有似然。我们有：92 由于p是未知的，我们可以通过选择一个值 来估计它，这个 使似然最大，或者说，这个值 给出该样本结果的可能性最大。我们可以通过下面两种方法求得 。（1）迭代法 试不同的值，找出访似然最大的值。在本例中，由于p=0.4时P(X=4)=0.251为最大，即这个

34、值最有可能给出10次抛掷中出现4次正面的结果，因此 =0.4。（2）计算法 设 ,令 ，求得使L达到最大的p值。计算结果，=0.4。93二、正态分布参数的极大似然估计二、正态分布参数的极大似然估计 给定一个取自正态分布的随机样本X1，X2,Xn，我们希望估计总体均值和总体方差。我们有该样本的似然 L=P(样本值为X1,X2,Xn)94令 我们可求得：我们有而这表明：95三、双变量线性回来模型的极大似然估计三、双变量线性回来模型的极大似然估计模型：模型：假设（与最小二乘法相同）：假设（与最小二乘法相同）：由假设我们有因而 96故对于Y1,Y2,Yn，有当L被看作是参数 的函数时，称为似然函数，表

35、示为 ，极大似然法要求我们选择使似然函数达到最大的参数估计值。在很多状况下，极大化似然函数的对数要比极大化似然函数本身便利一些，并且结果相同，因为二者在相同的点获得最大值，因此我们写出 的对数：97令 得：不难看出，前两式与用一般最小二乘法得出的正规方程相同，故 。但最终一式表明，的极大似然估计量与最小二乘估计量不同。98最小二乘估计量 是一个无偏估计量。而 这表明 是一个有偏估计量。不难看出，当样本容量趋向无穷时，即 是一个渐近无偏估计量。99四、极大似然估计量的性质四、极大似然估计量的性质1.从上面的分析可看出，在小样本状况下，从上面的分析可看出，在小样本状况下，ML估计估计量不确定是无偏

36、的（如量不确定是无偏的（如 ），但在大样本状况下，），但在大样本状况下，具有渐近无偏性。具有渐近无偏性。2.可以证明，可以证明，ML估计量是一样估计量。估计量是一样估计量。3.可以证明，在大样本状况下，可以证明，在大样本状况下，ML估计量听从正态估计量听从正态分布，且为最有效的估计量，即对于任何无偏估计量分布，且为最有效的估计量，即对于任何无偏估计量 ，有，有 由此可得出如下结论：在大样本的状况下，ML估计量比OLS估计量更有效。100五五、似似然然比比(LR)检检验验、沃沃尔尔德德(W)检检验验与与拉拉格格朗朗日日乘数乘数(LM)检验检验似似然然比比检检验验（Likelihood Ratio

37、 Test,LR）、瓦瓦尔尔德德检检验验（Wald Test,W）和和拉拉格格朗朗日日乘乘数数检检验验（Lagrange Multiplier Test,LM）是是三三种种基基于于极极大大似似然法的大样本检验方法。然法的大样本检验方法。我我们们在在第第五五节节中中介介绍绍的的F检检验验适适用用于于检检验验CLR模模型型的的线线性性约约束束条条件件。假假如如施施加加于于模模型型的的约约束束是是非非线线性性的的，模模型型存存在在参参数数非非线线性性，或或者者扰扰动动项项的的分分布布不不是是正正态态的的，在在这这些些状状况况下下，F检检验验就就不不再再适适用用，通通常常须须要要接接受受LR、W和和L

38、M这这三三个个检检验验方方法法中中的的一一个个来来检验约束条件是否成立。检验约束条件是否成立。这这三三个个检检验验统统计计量量基基于于三三个个不不同同的的原原理理，我我们们用用图图44来说明之。来说明之。101 图44 LR、W、LM统计量的直观说明102设表示模型中的参数集（如双变量线性模型中，由三个参数 组成），L()为似然函数，表示无约束极大似然估计值（unrestricted MSE），表示有约束极大似然估计值（restricted MSE）。W检验仅用 ，LM检验仅用 ，LR检验二者都要用。也就是说,LR检验既须要对无约束方程又须要对有约束方程进行极大似然估计,W检验仅需对无约束方程

39、进行极大似然估计,LM检验仅需对有约束方程进行极大似然估计。在很多状况下，计算有约束极大似然估计值较简洁，因为方程相对简洁。这也是LM检验法特别流行的缘由。1031 LM检验和检验和W检验检验令 我们有：ES()=0,varS()=I(),并且，若 是极大似然估计值（MLE），则104LM检验的逻辑是，假如原假设是关于的某些约束条件成立，则对于有约束极大似然估计值 ，应当有因此LM检验统计量为其中k为约束的数目。LM检验有几种形式，取决于 如何被估计。假如 显著不同于 ，或者原假设不成立，将显著异于0。W检验则运用无约束极大似然估计值 的协方差矩阵 来构造原假设的检验。105 2LR检验LR检

40、验法的思路与本节前面探讨的联合假设检验一样，分别进行无约束回来和有约束回来，算出无约束和有约束状况下的L()最大值，然后计算比率 由于约束条件下的L()最大值小于无约束条件下的L()最大值，因而必定小于1。假如约束条件（原假设）不成立，将显著小于1；假如约束条件（原假设）成立，则将接近于1。LR检验运用的检验统计量为2Ln，该检验统计量听从自由度为k的 分布，k为约束的数目。1063用用于于检检验验线线性性约约束束的的LR、W和和LM检检验验统统计计量量 对于线性约束的检验，似然比检验统计量为 其中 RRSS有约束残差平方和 URSS无约束残差平方和 n观测值个数 LR听从自由度为k的 分布，

41、k为约束的数目。107这三个大样本检验方法用于双变量线性模型中检验原假设 的检验统计量为这三者都听从自由度为1的 分布。108实践中三种检验法的选择问题实践中三种检验法的选择问题当面临具有相同渐近性质的几种统计量时，计量当面临具有相同渐近性质的几种统计量时，计量经济学家通常依据它们的小样本性质来进行选择。经济学家通常依据它们的小样本性质来进行选择。然而实践中在然而实践中在LR、W和和LM的选择上，计算成本往的选择上，计算成本往往起着关键作用。往起着关键作用。计算计算LR统计量，统计量，的约束和无约束估计值都要计的约束和无约束估计值都要计算，假如二者都不难计算，则算，假如二者都不难计算，则LR检验是三种检验中检验是三种检验中最具吸引力的。最具吸引力的。109计算W统计量仅须要无约束估计值。假如约束估计值的计算比较困难，而无约束估计值计算不困难，如约束条件是非线性的状况，则W统计量应成为首选。计算LM 统计量仅需约束估计值。假如约束估计值的计算比较简洁，而无约束估计值的计算困难，例如施加约束后使非线性模型转换成线性模型的状况，则LM统计量应成为首选。在计算方面的考虑不是问题的状况下，应选择LR检验。110