第状态空间模型和卡尔曼滤波.pptx

《第状态空间模型和卡尔曼滤波.pptx》由会员分享，可在线阅读，更多相关《第状态空间模型和卡尔曼滤波.pptx（107页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1UC模模型型通通过过通通常常的的回回归归方方程程式式来来估估计计是是不不可可能能的的，必必须须利利用用状状态态空空间间模模型型来来求求解解。状状状状态态态态空空空空间间间间模模模模型型型型建建建建立立立立了了了了可可可可观观观观测测测测变变变变量量量量和和和和系系系系统统统统内内内内部部部部状状状状态态态态之之之之间间间间的的的的关关关关系系系系，从而可以通过估计各种不同的状态向量达到分析和观测的目的。从而可以通过估计各种不同的状态向量达到分析和观测的目的。EViews状状态态空空间间对对象象对对单单方方程程或或多多方方程程动动态态系系统统提提供供了了一一个个直直接接的的、易易于于使使用用的

2、的界界面面来来建建立立、估估计计及及分分析析方方程程结结果果。它它提提供供了了大大量量的的建建立立、平平滑滑、滤波及预测工具，帮助我们利用状态空间形式来分析动态系统。滤波及预测工具，帮助我们利用状态空间形式来分析动态系统。第1页/共107页2利用状态空间形式表示动态系统主要有两个优点：利用状态空间形式表示动态系统主要有两个优点：第第一一，状状态态空空间间模模型型将将不不可可观观测测的的变变量量(状状态态变变量量)并并入入可可观观测测模模型型并并与其一起得到估计结果；与其一起得到估计结果；其其次次，状状态态空空间间模模型型是是利利用用强强有有效效的的递递归归算算法法卡卡卡卡尔尔尔尔曼曼曼曼滤滤滤

3、滤波波波波来来估估计计的的。卡卡尔尔曼曼滤滤波波可可以以用用来来估估计计单单变变量量和和多多变变量量的的ARMA模模型型、MIMIC（多多指标和多因果）模型、马尔可夫转换模型以及变参数模型。指标和多因果）模型、马尔可夫转换模型以及变参数模型。第2页/共107页311.111.1 状态空间模型的定义状态空间模型的定义状态空间模型的定义状态空间模型的定义 在本节中，我们仅就如何定义并预测一个线性状态空间模型做以简要的讨在本节中，我们仅就如何定义并预测一个线性状态空间模型做以简要的讨论。状态空间模型一般应用于多变量时间序列。设论。状态空间模型一般应用于多变量时间序列。设yt是包含是包含k 个经济变量

4、的个经济变量的k 1维可观测向量。这些变量与维可观测向量。这些变量与m 1维向量维向量 t 有关有关，t t 被称为状态向量被称为状态向量被称为状态向量被称为状态向量。定。定义义“量测方程量测方程量测方程量测方程”(measurementequation)或称或称“信号方程信号方程信号方程信号方程”(signalequation)为为(11.1.1)其其中中：T 表表示示样样本本长长度度，Z Zt t 表表示示k m 矩矩阵阵，称称为为量量量量测测测测矩矩矩矩阵阵阵阵，dt 表表示示k 1向向量量，ut 表示表示k 1向量，是均值为向量，是均值为0，协方差矩阵为，协方差矩阵为Ht 的不相关扰动

5、项，即的不相关扰动项，即(11.1.2)第3页/共107页4一一般般地地，t t 的的的的元元元元素素素素是是是是不不不不可可可可观观观观测测测测的的的的，然然而而可可表表示示成成一一阶阶马马尔尔可可夫夫(Markov)过过程程。下面定义下面定义转移方程转移方程转移方程转移方程(transitionequation)或称或称状态方程状态方程状态方程状态方程(stateequation)为为(11.1.3)其其中中：T Tt t 表表示示m m 矩矩阵阵，称称为为状状状状态态态态矩矩矩矩阵阵阵阵，ct 表表示示m 1向向量量，Rt 表表示示m g 矩矩阵，阵，t 表示表示g 1向量，是均值为向量

6、，是均值为0，协方差矩阵为，协方差矩阵为Qt 的连续的不相关扰动项，即的连续的不相关扰动项，即(11.1.4)量测方程和状态方程的扰动项的协方差矩阵用量测方程和状态方程的扰动项的协方差矩阵用 表示表示第4页/共107页5 当当 k 1 时，变为单变量模型，量测方程可以写为时，变为单变量模型，量测方程可以写为 (11.1.5)其其中中：Zt 表表示示 1 m 矩矩阵阵，t 表表示示 m 1状状态态向向量量，ut 是是方方差为差为 2 的扰动项的扰动项。第5页/共107页6 若使上述的状态空间模型成立，还需要满足下面两个假定：若使上述的状态空间模型成立，还需要满足下面两个假定：(1)初始状态向量初

7、始状态向量 0 的均值为的均值为 a0，协方差矩阵为协方差矩阵为 P0，即即 (11.1.6)(2)在在所所有有的的时时间间区区间间上上，扰扰动动项项 ut 和和 t 相相互互独独立立，而而且且它它们和初始状态们和初始状态 0 也不相关，即也不相关，即 (11.1.7)且且 (11.1.8)第6页/共107页7量量测测方方程程中中的的矩矩阵阵Zt,dt,Ht 与与转转移移方方程程中中的的矩矩阵阵Tt,ct,Rt,Qt 统统称称为为系系系系统统统统矩矩矩矩阵阵阵阵。如如不不特特殊殊指指出出，它它们们都都被被假假定定为为非非随随机机的的。因因此此，尽尽管管它它们们能能随随时时间间改改变变，但但是是

8、都都是是可可以以预预先先确确定定的的。对对于于任任一一时时刻刻t，yt 能能够够被被表表示示为为当当前前的的和和过过去去的的ut 和和 t 及及初初始始向向量量 0的的线线性性组组合合，所所以以模模型型是是线性的。线性的。第7页/共107页8 例例例例11.111.1 一阶移动平均模型一阶移动平均模型一阶移动平均模型一阶移动平均模型MA(1)MA(1)(11.1.9)其其中中：E(t)=0，var(t)=2，cov(t,t-s)=0,通通过过定定义义状状态态向向量量 t=(yt,t)可以写成状态空间形式可以写成状态空间形式量测方程量测方程：(11.1.10)状态方程状态方程：(11.1.11)

9、这种形式的特点是不存在量测方程噪声这种形式的特点是不存在量测方程噪声。第8页/共107页9 对对于于任任何何特特殊殊的的统统计计模模型型，状状态态向向量量 t 的的定定义义是是由由结结构构确确定定的的。它它的的元元素素一一般般包包含含具具有有实实际际解解释释意意义义的的成成分分，例例如如趋趋势势或或季季节节要要素素。状状态态空空间间模模型型的的目目标标是是，所所建建立立的的状状态态向向量量 t 包包含含了了系系统统在在时时刻刻 t 的的所所有有有有关关信信息息，同同时时又又使使用用尽尽可可能能少少的的元元素素。所所以以如如果果状状态态空空间间模模型型的的状状态态向向量量具具有有最最小小维维数数

10、，则则称称为为最最最最小小小小实实实实现现现现(MinimalRealization)。对对一一个个好好的的状状态态空空间间模模型型，最最小小实实现现是是一一个个基基本本准准则则。然然而而对对于于任任一一特特殊殊问问题题的的状状态态空空间间模模型型的表示形式却不是惟一的，这一点很容易验证。的表示形式却不是惟一的，这一点很容易验证。第9页/共107页10 考考虑虑通通过过定定义义一一个个任任意意的的非非奇奇异异矩矩阵阵B，得得到到 t*=B t ，为新的状态向量。用为新的状态向量。用B矩阵左乘状态方程矩阵左乘状态方程(11.1.3)，得到，得到 (11.1.12)式式中中Tt*=BTt B-1，

11、ct*=Bct，Rt*=BRt。相相应应的的量量测测方方程程是是 (11.1.13)式中式中 Zt*=Zt B-1 。第10页/共107页11例例11.2 二阶自回归模型二阶自回归模型AR(2)(11.1.14)其其中中：E(ut)=0，var(ut)=2，cov(ut,ut-s)=0,考考虑虑两两个个可可能能的的状态空间形式状态空间形式(k=1,m=2)是是 (11.1.15)(11.1.16)换一种形式换一种形式 (11.1.17)第11页/共107页12系系统统矩矩阵阵Zt，Ht，Tt，Rt，Qt 可可以以依依赖赖于于一一个个未未未未知知知知参参参参数数数数的的集集合合。状状态态空空间间

12、模模型型的的一一个个主主要要的的任任务务就就是是估估计计这这些些参参数数，在在例例11.1的的MA(1)模模型型中中的的参参数数 ,2和和例例11.2的的AR(2)模模型型中中的的参参数数 1，2，2是是未未知知的的，这这些些参参数数将将通通过过 向向量量表表示示，并并被被称称为为超超超超参参参参数数数数（hyperparametershyperparameters）。超超参参数数确确定定了了模模型型的的随随机机性性质质，在在ct 和和dt 中中出出现现的的参参数数仅仅影影响响确确定定性性的的可可观观测测变变量量和和状状态态的的期期望望值值。在在状状态态空空间间模模型型中中可可以以引引入入外外

13、生生变变量量作作为为解解释释变变量量，也也可可以以引引入入yt 的的延延迟迟变变量量，这这些些都都可可以以放放到到dt 中中去去。如如果果ct 或或dt 是是未未知知参参数数的的一一个个线线性性函函数数，这这些些未未知知参参数数也可以作为状态变量或者超参数的一部分元素。也可以作为状态变量或者超参数的一部分元素。第12页/共107页13 例例例例11.311.3变参数模型变参数模型变参数模型变参数模型 通常的回归模型可用下式表示，即通常的回归模型可用下式表示，即：其其中中：yt是是因因变变量量，xt是是m 1的的解解释释变变量量向向量量，是是待待估估计计的的m 1未未知知参参数数向向量量，ut是

14、是扰扰动动项项。这这种种回回归归方方程程式式所所估估计计的的参参数数在在样样本本期期间间内内是是固固定定的的，可可以以采采用用普普通通最最小二乘法小二乘法(OLS)、工具变数法等计量经济模型的常用方法进行估计。、工具变数法等计量经济模型的常用方法进行估计。第13页/共107页14实实际际上上近近年年来来，我我国国由由于于经经济济改改革革、各各种种各各样样的的外外界界冲冲击击和和政政策策变变化化等等因因素素的的影影响响，经经济济结结构构正正在在逐逐渐渐发发生生变变化化，而而用用固固定定参参数数模模型型表表现现不不出出来来这这种种经经济济结结构构的的变变化化，因因此此，需需要要考考虑虑采采用用变变

15、变变参参参参数数数数模模模模型型型型(Time-varyingParameterModel)。下下面面利利用状态空间模型来构造变参数模型。用状态空间模型来构造变参数模型。量测方程：量测方程：状态方程：状态方程：第14页/共107页15 xt 是具有随机系数是具有随机系数 t 的解释变量的集合，的解释变量的集合，zt 是有固定系数是有固定系数 的的解释变量集合，随机系数向量解释变量集合，随机系数向量 t 是对应于是对应于(11.1.1)中的状态向量，称为可变中的状态向量，称为可变参数。参数。变参数变参数变参数变参数 t t 是不可观测变量，必须利用可观测变量是不可观测变量，必须利用可观测变量是不

16、可观测变量，必须利用可观测变量是不可观测变量，必须利用可观测变量 y yt t 和和和和 x xt t 来估计来估计来估计来估计。假定变参数假定变参数 t 的变动服从于的变动服从于AR(1)模型（也可以简单地扩展为模型（也可以简单地扩展为AR(p)模型），模型），扰动向量扰动向量 ut,t 假定为相互独立的，且服从均值为假定为相互独立的，且服从均值为0，方差为，方差为 2和协方差和协方差矩阵为矩阵为Q 的正态分布。的正态分布。第15页/共107页16 11.211.2卡尔曼滤波卡尔曼滤波卡尔曼滤波卡尔曼滤波(KalmanFiltering)(KalmanFiltering)当当一一个个模模型型

17、被被表表示示成成状状态态空空间间形形式式就就可可以以对对其其应应用用一一些些重重要要的的算算法法求求解解。这这些些算算法法的的核核心心是是Kalman滤滤波波。Kalman滤滤波波是是在在时时刻刻 t 基基于于所所有有可可得得到到的的信信息息计计算算状状态态向向量量的的最最理理想想的的递递推推过过程程。在在某某些些工工程程问问题题中中，状状态态向向量量的的当当前前值值具具有有重重要要影影响响(例例如如，它它可可以以表表示示火火箭箭在在空空间间的的坐坐标标)。Kalman滤滤波波的的主主要要作作用用是是：当当扰扰动动项项和和初初始始状状态态向向量量服服从从正正态态分分布布时时，能能够够通通过过预

18、预测测误误差差分分解解计计算算似似然然函函数数，从从而而可可以以对对模模型型中中的的所所有有未未知知参参数数进进行行估估计计，并并且且当当新新的的观观测测值值一一旦旦得得到到，就就可可以以利利用用Kalman滤滤波波连连续续地地修修正状态向量的估计。正状态向量的估计。第16页/共107页17以以下下设设YT 表表示示在在t=T时时刻刻所所有有可可利利用用的的信信息息的的信信息息集集合合，即即YT=yT,yT-1,y1。状态向量的估计问题根据信息的多少分为。状态向量的估计问题根据信息的多少分为3种类型：种类型：(1)当当t T时时，超超出出样样本本的的观观测测区区间间，是是对对未未来来状状态态的

19、的估估计计问问题题，称称为为预测（预测（预测（预测（predictionprediction）；(2)当当t=T 时时，估估计计观观测测区区间间的的最最终终时时点点，即即对对现现在在状状态态的的估估计计问问题题，称为称为滤波（滤波（滤波（滤波（filteringfiltering）；(3)当当t T 时时，是是基基于于利利用用现现在在为为止止的的观观测测值值对对过过去去状状态态的的估估计计问问题题，称为称为平滑（平滑（平滑（平滑（smoothingsmoothing）。第17页/共107页18 进进一一步步，假假定定 at t-1 和和 Pt t-1 分分别别表表示示以以利利用用到到 t-1

20、为为止止的的信信息息集集合合 Yt-1 为为条条件件的的状状态态向向量量 t 的的条条件件均均值值和和条条件件误误差协方差矩阵，即差协方差矩阵，即 在本节假定系统矩阵在本节假定系统矩阵 Zt,Ht,Tt,Rt 和和 Qt 是已知的，设是已知的，设初始状态向量初始状态向量 0 的均值和误差协方差矩阵的初值为的均值和误差协方差矩阵的初值为 a0 和和 P0，并假定，并假定 a0 和和 P0 也是已知的。也是已知的。第18页/共107页1911.2.1Kalman11.2.1Kalman滤波的一般形式滤波的一般形式滤波的一般形式滤波的一般形式1 1滤波滤波滤波滤波考考虑虑状状态态空空间间模模型型(1

21、1.1.1)和和(11.1.3)，设设a at t-1-1为为为为状状状状态态态态向向向向量量量量 t-t-11的的的的均均均均值值值值，也也是是基基于于信信息息集集合合Yt-1的的 t-1的的估估估估计计计计量量量量，Pt-1表表示示估估计计误误差差的的m m 协协方方差差矩阵，即矩阵，即(11.2.1)第19页/共107页20当给定当给定at-1和和Pt-1时，时，t 的条件分布的均值由下式给定，即的条件分布的均值由下式给定，即(11.2.2)在在扰扰动动项项和和初初始始状状态态向向量量服服从从正正态态分分布布的的假假设设下下，t 的的条条件件分分布布的的均均值值at t-1是是 t 在最

22、小均方误差意义下的一个最优估计量。估计误差的协方差矩阵是在最小均方误差意义下的一个最优估计量。估计误差的协方差矩阵是(11.2.3)式式式式(11.2.2)(11.2.2)和式和式和式和式(11.2.3)(11.2.3)称为预测方程称为预测方程称为预测方程称为预测方程(pedictionequations)(pedictionequations)。第20页/共107页21一一旦旦得得到到新新的的预预测测值值yt，就就能能够够修修正正 t 的的估估计计at t-1，更更更更新新新新方方方方程程程程(updating(updatingequations)equations)是是是是(11.2.4)

23、和和(11.2.5)其中其中(11.2.6)上述上述式式式式(11.2.2)(11.2.2)式式式式(11.2.6)(11.2.6)一起构成一起构成一起构成一起构成KalmanKalman滤波的公式。滤波的公式。滤波的公式。滤波的公式。第21页/共107页22 Kalman滤波的初值可以按滤波的初值可以按 a0 和和 P0 或或 a1 0 和和 P1 0 指定。这样，对于指定。这样，对于t=1,2,T，每当得到一个观测值时，每当得到一个观测值时，Kalman滤波提供了状态向量的最优估计。当所有的滤波提供了状态向量的最优估计。当所有的 T 个个观测值都已处理，观测值都已处理，Kalman滤波基于

24、信息集合滤波基于信息集合 YT，产生，产生当前状态向量和下一时间期间状态向量的最优估计。这当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。测所需的所有信息。第22页/共107页2322平滑平滑平滑平滑平滑（平滑（smoothing）(t=T-1,T-2,1)(11.2.10)(11.2.11)其中：其中：aT|T,PT|T 是平滑的初值。是平滑的初值。还可以计算得到还可以计算得到yt 的平滑估计和协方差矩阵的平滑估计和协方差矩阵第23页/共107页2433预测预测预测预测如如果果量

25、量测测方方程程(11.1.1)的的扰扰动动项项和和初初始始状状态态向向量量服服从从多多元元正正态态分分布布，则则yt 关关于于Yt-1的的条条件件分分布布也也是是正正态态的的。且且这这个个条条件件分分布布的的均均值值和和协协方方差差矩矩阵阵可可以以直直接接由由Kalman滤波给定。滤波给定。以以信信息息集集Yt-1为为条条件件，t 服服从从具具有有均均值值at t 1和和协协方方差差矩矩阵阵Pt t 1的的正正态态分布。如果量测方程被写为分布。如果量测方程被写为(11.2.12)可可以以直直接接看看出出yt 的的条条件件分分布布是是正正态态的的，yt 的的条条件件均均值值(一一一一步步步步向向

26、向向前前前前(线线线线性性性性)最最最最小小小小均均均均方方方方误差估计误差估计误差估计误差估计):(11.2.13)第24页/共107页25 一步向前预测误差向量一步向前预测误差向量 (11.2.14)预测误差协方差矩阵由式预测误差协方差矩阵由式(11.2.6)的的 Ft 给定，即给定，即 (11.2.15)由由后后面面11.2.2节节的的论论述述可可以以知知道道条条件件均均值值 是是 yt 的的最最小小均均方方误误差差意意义义的的最最优优估估计计量量(MMSE)。因因此此，可可以以利利用用式式(11.2.13)，以以及及Kalman滤滤波波公公式式(11.2.2)(11.2.6)，对对 y

27、t，t（t=T+1,T+2,）进行预测。）进行预测。第25页/共107页2611.2.2Kalman11.2.2Kalman滤波的解释和性质滤波的解释和性质滤波的解释和性质滤波的解释和性质 Kalman滤波的导出依赖于扰动项和初始状态向量服从正态分布的假设。滤波的导出依赖于扰动项和初始状态向量服从正态分布的假设。有了正态分布的假设，就能够基于信息集合有了正态分布的假设，就能够基于信息集合YT=yT,yT-1,y1，利用，利用Kalman滤波递推地计算滤波递推地计算 t 的分布。这些条件分布自身也都服从正态分布，的分布。这些条件分布自身也都服从正态分布，因此也就由它们的均值和协方差矩阵完全确定，

28、这就是因此也就由它们的均值和协方差矩阵完全确定，这就是Kalman滤波计算的滤波计算的估计量。为了说明估计量。为了说明 t 的条件均值的条件均值是是 t 在最小均方误差意义下的一个最优估在最小均方误差意义下的一个最优估计量，下面首先介绍均方误差和最小均方估计的概念。计量，下面首先介绍均方误差和最小均方估计的概念。第26页/共107页271.1.均方误差均方误差均方误差均方误差设设z 是随机向量，已知样本集合是随机向量，已知样本集合ZT=zT,zT-1,z1，是是基基于于ZT的的 z 的的任任一一估估计计量量，则则定定义义均均方方误误差差（mean square error，MSE）为）为(11

29、.2.16)2.2.最小均方估计最小均方估计最小均方估计最小均方估计 设设是是基基于于ZT 的的z 的的任任一一估估计计量量，是是其其中中使使均均方方误误差差达达到到最最小小的的z 的的估计量，即估计量，即(11.2.17)则称则称为为z的最小均方估计的最小均方估计(mininummeansquareestimator，MMSE)。第27页/共107页28 Kalman滤滤波波以以信信息息集集 Yt 为为条条件件，产产生生 t 的的条条件件均均值和方差值和方差 (11.2.18)(11.2.19)其其中中：数数学学期期望望算算子子下下面面的的下下标标 t 表表示示是是关关于于 Yt 的的条条件

30、件期望。期望。第28页/共107页29 设设 是是以以信信息息集集 Yt 为为条条件件的的 t 的的任任一一估估计计量量，估估计计误误差可以被分为两个部分差可以被分为两个部分 (11.2.20)对对式式(11.2.20)两两端端平平方方，并并求求期期望望值值，经经过过计计算算，由由于于混混合乘积项为零，得到合乘积项为零，得到 (11.2.21)在在式式(11.2.21)等等号号右右边边的的第第一一项项是是 t 的的条条件件方方差差，由由于于var(t Yt)0，且且与与估估计计量量 无无关关，因因此此要要想想使使式式(11.2.21)达达到到最最小小，只只需需在在第第二二项项取取 即即可可。也

31、也就就是是说说，t 的的最最小小均均方方估估计计(MMSE)就就是是由由Kalman滤滤波波所所得得到到的的条条件件均均值值 at=E(t Yt)，并且是惟一的。，并且是惟一的。第29页/共107页30 当当状状态态空空间间模模型型的的扰扰动动项项的的分分布布不不能能满满足足正正态态分分布布假假定定时时，一一般般地地，Kalman滤滤波波所所产产生生的的估估计计量量 at 不不再再是是状状态态向向量量 t 的的条条件件均均值值，换换句句话话说说，式式(11.2.18)将将不不成成立立。但但是是如如果果限限制制估估计计量量是是观观测测值值的的线线性性组组合合，即即在在所所有有线线性性估估计计范范

32、围围内内，at 是是具具有有最最小小均均方方误误差差意意义义上上的的最最优优估估计计量量。此此时时称称at 是是基基于于信信息息集集 Yt 的的 t 的的最最小小均均方方线线性性估估计计量量(minimum mean square linear estimator，MMSLE)，估估计计误误差差的的协协方方差矩阵是由差矩阵是由Kalman滤波给出的滤波给出的 Pt 矩阵。矩阵。第30页/共107页31 进进一一步步地地，上上述述关关于于状状态态向向量量 t 的的论论述述也也可可以以类类似似地地用用来来解解释释 yt 基基于于信信息息集集 Yt1 的的条条件件均均值值，用用 表表示示，即即 (1

33、1.2.22)在正态假定下，在正态假定下，是是 yt 在最小均方误差意义下的在最小均方误差意义下的最优估计量最优估计量(MMSE)，并且在不满足正态假定时，是，并且在不满足正态假定时，是 yt 的最小均方线性估计量的最小均方线性估计量(MMSLE)。第31页/共107页32预测误差预测误差(11.2.23)被被称称为为新新新新息息息息(innovations)(innovations)，因因为为它它代代表表在在Yt-1的的基基础础上上新新观观测测值值yt 所所带带来来的的信信息息。从更新方程从更新方程(11.2.4)中可以看出，新息中可以看出，新息vt 对修正状态向量的估计量起到了关键的作用。

34、对修正状态向量的估计量起到了关键的作用。在在正正态态假假定定下下，根根据据是是最最小小均均方方误误差差意意义义下下的的最最优优估估计计量量，可可以以推推断断vt 的的均值是零向量。进一步地，从式均值是零向量。进一步地，从式(11.2.23)容易看出容易看出(11.2.24)其中：其中：Ft 由式由式(11.2.6)给定。在不同的时间区间，新息给定。在不同的时间区间，新息vt 是不相关的，即是不相关的，即,(11.2.25)第32页/共107页3311.2.311.2.3修正的修正的修正的修正的KalmanKalman滤波递推公式滤波递推公式滤波递推公式滤波递推公式当当量量测测方方程程和和转转移

35、移方方程程的的扰扰动动项项是是相相关关的的时时候候，需需要要修修改改Kalman滤滤波波。考考虑虑具有量测方程和转移方程的状态空间形式具有量测方程和转移方程的状态空间形式(11.2.26)(11.2.27)假设假设(11.2.28)其中其中Gt 是已知的是已知的g k 矩阵。量测方程和状态方程的扰动项的协方差矩阵用矩阵。量测方程和状态方程的扰动项的协方差矩阵用 表表示示第33页/共107页34 注注意意当当量量测测方方程程和和转转移移方方程程的的干干扰扰项项在在同同时时点点相相关关，在在不不同同时时点点不不相相关关时时，Kalman滤滤波波中中的的预预测测公公式式(11.2.2)，(11.2.

36、3)不不变变，更更新新方方程程进进行行如如下下修修改改：在在(11.2.4)和和式式(11.2.5)中中矩矩阵阵 Pt t 1Zt 变变为为 Pt t 1Zt +Rt Gt，式式(11.2.6)变变为为 (11.2.29)第34页/共107页3511.2.411.2.4非时变模型及非时变模型及非时变模型及非时变模型及KalmanKalman滤波的收敛性滤波的收敛性滤波的收敛性滤波的收敛性 在在许许多多实实际际应应用用问问题题中中，状状态态空空间间模模型型的的系系统统矩矩阵阵 Zt，dt，Ht，Tt，ct，Rt 和和 Qt 都都是是不不依依赖赖于于时时间间变变化化的的，这这样样就就可可以以写写成

37、成不不带带时时间间下下标标的的模模型型，称称为为非非时时变变模模型型。一一般般允允许许 ct 和和 dt 是是依依时时间间变变化化的的，于于是是状状态态空空间间模模型型的的量量测测方方程程(11.1.1)和转移方程和转移方程(11.1.3)就可以写为就可以写为 (11.2.32)(11.2.33),(11.2.34)第35页/共107页36 如如果果系系统统是是稳稳定定的的，则则转转移移矩矩阵阵 T 的的所所有有的的特特征征根根的的模模应当小于应当小于1，即，即 (11.2.35)且如果初始协方差矩阵且如果初始协方差矩阵 P1 0 是非负定的，则是非负定的，则 (11.2.36)独立于独立于

38、P1 0，Pt+1 t 呈指数地迅速收敛到呈指数地迅速收敛到 。第36页/共107页3711.2.5Kalman11.2.5Kalman滤波的初始条件滤波的初始条件滤波的初始条件滤波的初始条件(1)仅仅当当状状态态转转移移矩矩阵阵T,方方差差矩矩阵阵P 和和Q 是是非非时时变变的的且且满满足足某某些些稳稳定定性性条条件件，初始条件的求解才是可能的。如果初始条件的求解是可能的，可以利用关系式：初始条件的求解才是可能的。如果初始条件的求解是可能的，可以利用关系式：在更复杂的模型中给出求协方差矩阵初始条件在更复杂的模型中给出求协方差矩阵初始条件P0的一种方法的一种方法(11.2.37)式式中中Vec

39、()算算子子是是把把矩矩阵阵拉拉直直，即即表表示示矩矩阵阵的的列列是是一一列列接接着着一一列列而而形形成成一一个个向向量量，而运算符而运算符 表示克罗内克积表示克罗内克积(kroneckerproduct)，I 为单位矩阵。为单位矩阵。第37页/共107页38 (2)如如果果初初始始条条件件的的求求解解是是不不可可能能的的，状状态态将将按按扩扩散散先先验验处处理理。当当利利用用扩扩散散先先验验时时，采采用用Koopman，Shephard和和Doornik(1998)提提出出的的方方法法将将设设置置 0=0 和和 P0=I，这这里里 为为一一个个任任意意的的大大数数。如如设设 =106，然然后

40、后通过乘以残差协方差矩阵的最大的对角线元素调整通过乘以残差协方差矩阵的最大的对角线元素调整 P。第38页/共107页3911.311.3状态空间模型超参数的估计状态空间模型超参数的估计状态空间模型超参数的估计状态空间模型超参数的估计 在在11.2节节讨讨论论利利用用Kalman滤滤波波递递推推公公式式求求状状态态向向量量的的估估计计量量时时，假假定定状状态态空空间间模模型型的的系系统统矩矩阵阵Zt,Ht,Tt,Rt 和和Qt 是是已已知知的的。但但实实际际上上系系系系统统统统矩矩矩矩阵阵阵阵是是是是依依依依赖赖赖赖于于于于一一一一个个个个未未未未知知知知参参参参数数数数的的的的集集集集合合合合

41、，这这这这些些些些未未未未知知知知参参参参数数数数用用用用向向向向量量量量 表表表表示示示示，并并并并被被被被称称称称为为为为超超超超参参参参数数数数。例例如如，在在例例11.1的的一一阶阶移移动动平平均均模模型型MA(1)中中 =(,2)，在在例例11.2的的二二阶阶自自回回归归模模型型AR(2)中中 =(1,2,2)。本本节节对对于于状状态态空空间间模模型型的的量量测测方方程程(11.1.1)和状态方程和状态方程(11.1.3)中含有未知参数的情况，介绍超参数的估计方法。中含有未知参数的情况，介绍超参数的估计方法。第39页/共107页40 在在许许多多问问题题中中，特特别别在在关关于于正正

42、态态分分布布的的各各种种估估计计问问题题中中，极极大大似似然然法法是是最最常常用用的的方方法法，这这主主要要表表现现在在极极大大似似然然估估计计量量常常具具有有某某些些优优良良的的性性质质。这这里里采采用用极极大大似似然然法法估估计计未未知知的的超超参数。参数。极极大大似似然然法法的的原原理理通通常常用用于于观观测测值值 y1,y2,yT 相相互互独独立立且具有同样分布的情形，此时它们的联合概率函数被给定为且具有同样分布的情形，此时它们的联合概率函数被给定为 (11.3.1)其中：其中：P(yt)是第是第 t 个观测值的概率密度函数。个观测值的概率密度函数。L(y;)是样是样本本y1,y2,y

43、T 的联合概率密度函数。一旦得到样本观测值，的联合概率密度函数。一旦得到样本观测值，L(y;)就可以被解释为似然函数，并且可以通过关于就可以被解释为似然函数，并且可以通过关于 求偏求偏导数，使函数导数，使函数L(y;)达到最大来求出达到最大来求出 的极大似然估计。的极大似然估计。第40页/共107页41 然然而而，经经济济时时间间序序列列的的一一个个重重要要特特征征是是经经济济变变量量间间是是不不独独立立的的，因因此此不不能能用用式式(11.3.1)，而而是是利利用用条条件件概概率率密密度度函函数数代代替替联合概率密度函数将似然函数表示为联合概率密度函数将似然函数表示为 (11.3.2)其其中

44、中：P(yt Yt-1)表表示示 yt 以以直直到到时时刻刻 t-1 的的信信息息集集合合为为条条件件的的条条件分布，即件分布，即 Yt-1=yt-1,yt-2,y1，P(yt Yt-1)=P(yt y1,yt-1)。第41页/共107页42 在在总总体体正正态态的的假假定定之之下下，可可以以将将式式(11.3.2)的的对对数数似似然然函函数直接写为数直接写为 (11.3.3)其中其中 (11.3.4)由由前前面面11.2.2节节的的论论述述可可以以知知道道条条件件均均值值 是是 yt 的的最最小小均均方方误误差差意意义义的的最最优优估估计计量量(MMSE)，所所以以 k 1 向向量量 vt

45、可可以以作作为为一一个个预预测测误误差差向向量量来来解解释释。因因此此(11.3.3)式式有有时时也也称称为为似似然然函数形式的预测误差分解。函数形式的预测误差分解。第42页/共107页43 极大似然估计量的计算方法有许多种，有解析方法，也极大似然估计量的计算方法有许多种，有解析方法，也有数值解法。设有数值解法。设 =(1,2,n)是待求的未知参数向量，是待求的未知参数向量，首先求极大似然估计的迭代公式。为求极大似然估计，需要首先求极大似然估计的迭代公式。为求极大似然估计，需要求解求解 设设 是是超超参参数数向向量量的的精精确确值值，采采用用Taylor展展开开式式，取取一一次次近近似似，并并

46、设设 表表示示参参数数空空间间上上的的任任意意一一点点，则则可可将将 lnL(y;)/表示成表示成 第43页/共107页44令其为令其为0，可得，可得于是得到于是得到迭代公式迭代公式迭代公式迭代公式其其中中：l=1,2,，从从某某个个初初始始设设定定的的参参数数值值(0)出出发发，进进行行迭迭代代过过程程：(1),(2),(3),。第44页/共107页45求求(l)(l=1,2,)，它的收敛值，它的收敛值为为所所求求的的极极大大似似然然估估计计。式式中中对对数数似似然然函函数数的的二二二二阶阶阶阶导导导导数数数数矩矩矩矩阵阵阵阵 2 2lnlnL L/被被被被称称称称为为为为海海海海塞塞塞塞(

47、Hessian)(Hessian)矩矩矩矩阵阵阵阵，而而对对数数似似然然函函数数的的一一一一阶阶阶阶导导导导数数数数 lnlnL L/被被被被称称称称为为为为得得得得分分分分向向向向量量量量或或或或JacobianJacobian向向向向量量量量。计计算算海海塞塞(Hessian)矩矩阵阵的的逆逆矩矩阵阵，计计算算量量是是很很大大的的。计计算算方方法法有有多多种种，近近似似的的方方法法可可节节省省时时间间但但缺缺少少严严密密性性，而而严严密密的的方方法法又又有有计计算算时时间间长长的的缺点。缺点。第45页/共107页46双侧数值微分双侧数值微分双侧数值微分双侧数值微分被定义为：被定义为：而而单

48、侧数值微分单侧数值微分单侧数值微分单侧数值微分则由下式计算：则由下式计算：这这里里logL 是是似似然然函函数数，s 充充分分接接近近0，上上述述公公式式可可达达到到任任意意精精度度。双双侧侧导导数数更更加加精精确确，但但它它要要对对似似然然函函数数进进行行的的计计算算量量大大概概是是单单侧侧导导数数的的两两倍倍，运运行行时时间间上上也也是如此。是如此。第46页/共107页4711.411.4EViewsEViews软件的相关操作软件的相关操作软件的相关操作软件的相关操作 11.4.111.4.1定义状态空间模型定义状态空间模型定义状态空间模型定义状态空间模型 EViews可可以以处处理理大大

49、量量的的单单方方程程和和多多方方程程状状态态空空间间模模型型，提提供供了了指指定定系统方程、协方差矩阵和初始条件控制的详细方法。系统方程、协方差矩阵和初始条件控制的详细方法。在在定定义义和和估估计计一一个个状状态态空空间间模模型型时时，第第一一步步是是创创建建一一个个状状态态空空间间对对象象。从从主主菜菜单单中中选选择择Objects/NewObject/Sspace，EViews将将创创建建一一个个状状态态空间对象，并打开一个空的状态空间说明窗口。空间对象，并打开一个空的状态空间说明窗口。第47页/共107页48 有有两两种种方方法法定定义义一一个个状状态态空空间间模模型型，最最简简单单的的

50、方方法法就就是是利利用用EViews中中的的“自自动动指指定定”功功能能引引导导状状态态空空间间模模型型的的标标准准形形式式。这这种种方方式式只只需需在在状状态态空空间间过过程程Procs中中选选择择Define State Space功功能能，就就可可以以弹弹出出定定义义对对话话框框，指指导导创创建建一一个个状状态态空空间间的的过过程程。这这一一方方式式的的详详细细介介绍绍见见“自自动动定定义义”一节。一节。描述状态空间模型的更一般方法是使用关键字和文本描述状态空间模型的更一般方法是使用关键字和文本来描述量测方程、状态方程、误差结构、初始条件和待估来描述量测方程、状态方程、误差结构、初始条件