第8章 状态空间模型和卡尔曼滤波.pdf

《第8章 状态空间模型和卡尔曼滤波.pdf》由会员分享，可在线阅读，更多相关《第8章 状态空间模型和卡尔曼滤波.pdf（108页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1第十一章第十一章 状态空间模型和卡尔曼滤波状态空间模型和卡尔曼滤波State Space Models and State Space Models and KalmanKalman FilterFilter上世纪上世纪60年代初，由于工程控制领域的需要，产生了卡尔曼滤波年代初，由于工程控制领域的需要，产生了卡尔曼滤波(Kalman Filtering)。进入。进入70年代初，人们明确提出了状态空间模型的标准形式，并开始将其应用到经济领域。年代初，人们明确提出了状态空间模型的标准形式，并开始将其应用到经济领域。80年代以后，状态空间模型已成为一种有力的建模工具。许多时间序列模型，包括典型的线

2、性回归模型和年代以后，状态空间模型已成为一种有力的建模工具。许多时间序列模型，包括典型的线性回归模型和ARIMA模型都能作为特例写成状态空间的形式，并估计参数值。在计量经济学文献中，状态空间模型被用来估计不可观测的时间变量：理性预期，测量误差，长期收入，不可观测因素（趋势和循环要素）。状态空间模型在经济计量学领域其他方面的大量应用请参见模型都能作为特例写成状态空间的形式，并估计参数值。在计量经济学文献中，状态空间模型被用来估计不可观测的时间变量：理性预期，测量误差，长期收入，不可观测因素（趋势和循环要素）。状态空间模型在经济计量学领域其他方面的大量应用请参见 Harvey（1989）和）和 H

3、amilton（1994）。）。2在一般的统计模型中出现的变量都是可以观测到的，这些模型以反映过去经济变动的时间序列数据为基础，利用回归分析或时间序列分析等方法估计参数，进而预测未来的值。状态空间模型的特点是提出了在一般的统计模型中出现的变量都是可以观测到的，这些模型以反映过去经济变动的时间序列数据为基础，利用回归分析或时间序列分析等方法估计参数，进而预测未来的值。状态空间模型的特点是提出了“状态状态状态状态”这一概念。而实际上，无论是工程控制问题中出现的某些状态（如导弹轨迹的控制问题）还是经济系统所存在的某些状态都是一种不可观测的变量，正是这种观测不到的变量反映了系统所具有的真实状态，所以被

4、称为这一概念。而实际上，无论是工程控制问题中出现的某些状态（如导弹轨迹的控制问题）还是经济系统所存在的某些状态都是一种不可观测的变量，正是这种观测不到的变量反映了系统所具有的真实状态，所以被称为状态向量状态向量状态向量状态向量。这种。这种含有不可观测变量的模型被称为含有不可观测变量的模型被称为含有不可观测变量的模型被称为含有不可观测变量的模型被称为UCUC模型模型模型模型(Unobservable Component Model)。3UC模型通过通常的回归方程式来估计是不可能的，必须利用状态空间模型来求解。模型通过通常的回归方程式来估计是不可能的，必须利用状态空间模型来求解。状态空间模型建立了

5、可状态空间模型建立了可状态空间模型建立了可状态空间模型建立了可观测变量和系统内部状态之间的关系观测变量和系统内部状态之间的关系观测变量和系统内部状态之间的关系观测变量和系统内部状态之间的关系，从而可以通过估计各种不同的状态向量达到分析和观测的目的。，从而可以通过估计各种不同的状态向量达到分析和观测的目的。EViews状态空间对象对单方程或多方程动态系统提供了一个直接的、易于使用的界面来建立、估计及分析方程结果。它提供了大量的建立、平滑、滤波及预测工具，帮助我们利用状态空间形式来分析动态系统。状态空间对象对单方程或多方程动态系统提供了一个直接的、易于使用的界面来建立、估计及分析方程结果。它提供了

6、大量的建立、平滑、滤波及预测工具，帮助我们利用状态空间形式来分析动态系统。4利用状态空间形式表示动态系统主要有两个优点：第一，状态空间模型将不可观测的变量利用状态空间形式表示动态系统主要有两个优点：第一，状态空间模型将不可观测的变量(状态变量状态变量)并入可观测模型并与其一起得到估计结果；其次，状态空间模型是利用强有效的递归算法并入可观测模型并与其一起得到估计结果；其次，状态空间模型是利用强有效的递归算法卡尔曼滤波卡尔曼滤波卡尔曼滤波卡尔曼滤波来估计的。卡尔曼滤波可以用来估计单变量和多变量的来估计的。卡尔曼滤波可以用来估计单变量和多变量的ARMA模型、模型、MIMIC（多指标和多因果）模型、马

7、尔可夫转换模型以及变参数模型。（多指标和多因果）模型、马尔可夫转换模型以及变参数模型。511.111.1 状态空间模型的定义状态空间模型的定义状态空间模型的定义状态空间模型的定义在本节中，我们仅就如何定义并预测一个线性状态空间模型做以简要的讨论。状态空间模型一般应用于多变量时间序列。设在本节中，我们仅就如何定义并预测一个线性状态空间模型做以简要的讨论。状态空间模型一般应用于多变量时间序列。设 yt是包含是包含 k 个经济变量的个经济变量的 k 1 维可观测向量。这些变量与维可观测向量。这些变量与 m 1 维向量维向量 t 有关，有关，t t 被称为状态向量被称为状态向量被称为状态向量被称为状态

8、向量。定义。定义“量测方程量测方程量测方程量测方程”(measurement equation)或称或称“信号方程信号方程信号方程信号方程”(signal equation)为为(11.1.1)其中：其中：T 表示样本长度，表示样本长度，Z Zt t表示表示 k m 矩阵，称为矩阵，称为量测矩量测矩量测矩量测矩阵阵阵阵，dt表示表示 k 1 向量，向量，ut表示表示 k 1 向量，是均值为向量，是均值为0，协方差矩阵为，协方差矩阵为 Ht 的不相关扰动项，即的不相关扰动项，即(11.1.2),tttttudZy+=Tt,2,1L，=tttEHuu=)var(0)(6一般地，一般地，t t的元素

9、是不可观测的的元素是不可观测的的元素是不可观测的的元素是不可观测的，然而可表示成一阶马尔可夫，然而可表示成一阶马尔可夫(Markov)过程。下面定义过程。下面定义转移方程转移方程转移方程转移方程(transition equation)或称或称状态方程状态方程状态方程状态方程(state equation)为为(11.1.3)其中：其中：T Tt t表示表示 m m 矩阵，称为矩阵，称为状态矩阵状态矩阵状态矩阵状态矩阵，ct 表示表示 m 1 向量，向量，Rt表示表示 m g 矩阵，矩阵，t 表示表示 g 1 向量，是均值为向量，是均值为0，协方差矩阵为，协方差矩阵为 Qt 的连续的不相关扰动

10、项，即的连续的不相关扰动项，即(11.1.4)量测方程和状态方程的扰动项的协方差矩阵用量测方程和状态方程的扰动项的协方差矩阵用 表示表示,1ttttttRcT+=tttEQ=)var(0)(Tt,2,1L，=ttttQHu00var7当当 k=1 时，变为单变量模型，量测方程可以写为时，变为单变量模型，量测方程可以写为(11.1.5)其中：其中：Zt表示表示 1 m 矩阵，矩阵，t 表示表示 m 1状态向量，状态向量，ut是方差为是方差为2 的扰动项。的扰动项。tttttudy+=ZTt,2,1L=2=)var(tu8若使上述的状态空间模型成立，还需要满足下面两个假定：若使上述的状态空间模型成

11、立，还需要满足下面两个假定：(1)初始状态向量初始状态向量 0 的均值为的均值为 a0，协方差矩阵为，协方差矩阵为 P0，即，即(11.1.6)(2)在所有的时间区间上，扰动项在所有的时间区间上，扰动项 ut和和 t 相互独立，而且它们和初始状态相互独立，而且它们和初始状态 0 也不相关，即也不相关，即(11.1.7)且且(11.1.8)0000)var()(P=aE0)(=stEuTts,2,1,L=，0)(0=utE0)(0=tETt,2,1L=9量测方程中的矩阵量测方程中的矩阵 Zt,dt,Ht 与转移方程中的矩阵与转移方程中的矩阵Tt,ct,Rt,Qt 统称为统称为系统矩阵系统矩阵系统

12、矩阵系统矩阵。如不特殊指出，它们都被假定为非随机的。因此，尽管它们能随时间改变，但是都是可以预先确定的。对于任一时刻。如不特殊指出，它们都被假定为非随机的。因此，尽管它们能随时间改变，但是都是可以预先确定的。对于任一时刻 t，yt能够被表示为当前的和过去的能够被表示为当前的和过去的 ut和和 t 及初始向量及初始向量 0 的线性组合，所以模型是线性的。的线性组合，所以模型是线性的。10例例例例11.111.1 一阶移动平均模型一阶移动平均模型一阶移动平均模型一阶移动平均模型MA(1)MA(1)(11.1.9)其中：其中：E(t)=0，var(t)=2，cov(t,t-s)=0,通过定义状态向量

13、通过定义状态向量 t=(yt,t)可以写成状态空间形式量测方程：可以写成状态空间形式量测方程：(11.1.10)状态方程：状态方程：(11.1.11)这种形式的特点是不存在量测方程噪声。这种形式的特点是不存在量测方程噪声。，1+=tttytty)0,1(=ttt+=100101Tt,2,1L=11对于任何特殊的统计模型，状态向量对于任何特殊的统计模型，状态向量 t的定义是由结构确定的。它的元素一般包含具有实际解释意义的成分，例如趋势或季节要素。状态空间模型的目标是，所建立的状态向量的定义是由结构确定的。它的元素一般包含具有实际解释意义的成分，例如趋势或季节要素。状态空间模型的目标是，所建立的状

14、态向量 t包含了系统在时刻包含了系统在时刻 t 的所有有关信息，同时又使用尽可能少的元素。所以如果状态空间模型的状态向量具有最小维数，则称为的所有有关信息，同时又使用尽可能少的元素。所以如果状态空间模型的状态向量具有最小维数，则称为最小实现最小实现最小实现最小实现(Minimal Realization)。对一个好的状态空间模型，最小实现是一个基本准则。然而对于任一特殊问题的状态空间模型的表示形式却不是惟一的，这一点很容易验证。对一个好的状态空间模型，最小实现是一个基本准则。然而对于任一特殊问题的状态空间模型的表示形式却不是惟一的，这一点很容易验证。12考虑通过定义一个任意的非奇异矩阵考虑通过

15、定义一个任意的非奇异矩阵B，得到得到 t*=B t，为新的状态向量。用为新的状态向量。用B矩阵左乘状态方程矩阵左乘状态方程(11.1.3)，得到，得到(11.1.12)式中式中Tt*=BTtB-1，ct*=Bct，Rt*=BRt。相应的量测方程是。相应的量测方程是(11.1.13)式中式中Zt*=ZtB-1。ttttttRcT+=1tttttudZy+=13例例11.2 二阶自回归模型二阶自回归模型AR(2)(11.1.14)其中：其中：E(ut)=0，var(ut)=2，cov(ut,ut-s)=0,考虑两个可能的状态空间形式考虑两个可能的状态空间形式(k=1,m=2)是是(11.1.15)

16、(11.1.16)换一种形式换一种形式(11.1.17),ttttuyyy+=2211tttttuyy+=010112112tttttuyy+=01011211=tty)0,1(tty)0,1(=Tt,2,1L=14系统矩阵系统矩阵 Zt，Ht，Tt，Rt，Qt 可以依赖于一个可以依赖于一个未知参数未知参数未知参数未知参数的集合。状态空间模型的一个主要的任务就是估计这些参数，在例的集合。状态空间模型的一个主要的任务就是估计这些参数，在例11.1的的MA(1)模型中的参数模型中的参数 ,2 和例和例11.2的的AR(2)模型中的参数模型中的参数 1，2，2 是未知的，这些参数将通过是未知的，这些

17、参数将通过 向量表示，并被称为向量表示，并被称为超参数（超参数（超参数（超参数（hyperparametershyperparameters）。超参数确定了模型的随机性质，在。超参数确定了模型的随机性质，在 ct 和和 dt中出现的参数仅影响确定性的可观测变量和状态的期望值。在状态空间模型中可以引入外生变量作为解释变量，也可以引入中出现的参数仅影响确定性的可观测变量和状态的期望值。在状态空间模型中可以引入外生变量作为解释变量，也可以引入 yt的延迟变量，这些都可以放到的延迟变量，这些都可以放到 dt中去。如果中去。如果 ct 或或 dt是未知参数的一个线性函数，这些未知参数也可以作为状态变量或

18、者超参数的一部分元素。是未知参数的一个线性函数，这些未知参数也可以作为状态变量或者超参数的一部分元素。15例例例例11.3 11.3 变参数模型变参数模型变参数模型变参数模型通常的回归模型可用下式表示，即：其中：通常的回归模型可用下式表示，即：其中：yt是因变量，是因变量，xt是是m 1的解释变量向量，的解释变量向量，是待估计的是待估计的m 1未知参数向量，未知参数向量，ut是扰动项。这种回归方程式所估计的参数在样本期间内是固定的，可以采用普通最小二乘法是扰动项。这种回归方程式所估计的参数在样本期间内是固定的，可以采用普通最小二乘法(OLS)、工具变数法等计量经济模型的常用方法进行估计。、工具

19、变数法等计量经济模型的常用方法进行估计。，tttuy+=xTt,2,1L=16实际上近年来，我国由于经济改革、各种各样的外界冲击和政策变化等因素的影响，经济结构正在逐渐发生变化，而用固定参数模型表现不出来这种经济结构的变化，因此，需要考虑采用实际上近年来，我国由于经济改革、各种各样的外界冲击和政策变化等因素的影响，经济结构正在逐渐发生变化，而用固定参数模型表现不出来这种经济结构的变化，因此，需要考虑采用变参数模型变参数模型变参数模型变参数模型(Time-varying Parameter Model)。下面利用状态空间模型来构造变参数模型。量测方程：状态方程：。下面利用状态空间模型来构造变参数

20、模型。量测方程：状态方程：tttttuy+=zxttt+=1),(ttu,00,002QNTt,2,1L=17xt是具有随机系数是具有随机系数 t的解释变量的集合，的解释变量的集合，zt是有固定系数是有固定系数 的解释变量集合，随机系数向量的解释变量集合，随机系数向量 t是对应于是对应于(11.1.1)中的状态向量，称为可变参数。中的状态向量，称为可变参数。变参数变参数变参数变参数 t t是不可是不可是不可是不可观测变量，必须利用可观测变量观测变量，必须利用可观测变量观测变量，必须利用可观测变量观测变量，必须利用可观测变量y yt t和和和和x xt t来来来来估计估计估计估计。假定变参数。假

21、定变参数 t的变动服从于的变动服从于AR(1)模型（也可以简单地扩展为模型（也可以简单地扩展为AR(p)模型），扰动向量模型），扰动向量ut,t假定为相互独立的，且服从均值为假定为相互独立的，且服从均值为0，方差为，方差为 2和协方差矩阵为和协方差矩阵为Q的正态分布。的正态分布。1811.2 11.2 卡尔曼滤波卡尔曼滤波卡尔曼滤波卡尔曼滤波(KalmanKalman Filtering)Filtering)当一个模型被表示成状态空间形式就可以对其应用一些重要的算法求解。这些算法的核心是当一个模型被表示成状态空间形式就可以对其应用一些重要的算法求解。这些算法的核心是Kalman滤波。滤波。Ka

22、lman滤波是在时刻滤波是在时刻 t 基于所有可得到的信息计算状态向量的最理想的递推过程。在某些工程问题中，状态向量的当前值具有重要影响基于所有可得到的信息计算状态向量的最理想的递推过程。在某些工程问题中，状态向量的当前值具有重要影响(例如，它可以表示火箭在空间的坐标例如，它可以表示火箭在空间的坐标)。Kalman滤波的主要作用是：当扰动项和初始状态向量服从正态分布时，能够通过预测误差分解计算似然函数，从而可以对模型中的所有未知参数进行估计，并且当新的观测值一旦得到，就可以利用滤波的主要作用是：当扰动项和初始状态向量服从正态分布时，能够通过预测误差分解计算似然函数，从而可以对模型中的所有未知参

23、数进行估计，并且当新的观测值一旦得到，就可以利用Kalman滤波连续地修正状态向量的估计。滤波连续地修正状态向量的估计。19以下设以下设 YT 表示在表示在 t=T 时刻所有可利用的信息的信息集合，即时刻所有可利用的信息的信息集合，即 YT=yT,yT-1,y1。状态向量的估计问题根据信息的多少分为。状态向量的估计问题根据信息的多少分为3种类型：种类型：(1)当当 t T 时，超出样本的观测区间，是对未来状态的估计问题，称为时，超出样本的观测区间，是对未来状态的估计问题，称为预测（预测（预测（预测（predictionprediction）；(2)当当 t=T 时，估计观测区间的最终时点，即对

24、现在状态的估计问题，称为时，估计观测区间的最终时点，即对现在状态的估计问题，称为滤波（滤波（滤波（滤波（filteringfiltering）；(3)当当 t T 时，是基于利用现在为止的观测值对过去状态的估计问题，称为时，是基于利用现在为止的观测值对过去状态的估计问题，称为平滑（平滑（平滑（平滑（smoothingsmoothing）。20进一步，假定进一步，假定 at t-1 和和 Pt t-1 分别表示以利用到分别表示以利用到 t-1 为止的信息集合为止的信息集合 Yt-1 为条件的状态向量为条件的状态向量 t 的条件均值和条件误差协方差矩阵，即在本节假定系统矩阵的条件均值和条件误差协方

25、差矩阵，即在本节假定系统矩阵 Zt,Ht,Tt,Rt和和 Qt 是已知的，设初始状态向量是已知的，设初始状态向量 0 的均值和误差协方差矩阵的初值为的均值和误差协方差矩阵的初值为 a0 和和P0，并假定，并假定 a0 和和 P0 也是已知的。也是已知的。)(11=ttttEYa)var(11=ttttYP2111.2.1 11.2.1 KalmanKalman滤波的一般形式滤波的一般形式滤波的一般形式滤波的一般形式1 1滤波滤波滤波滤波考虑状态空间模型考虑状态空间模型(11.1.1)和和(11.1.3)，设，设 a at t-1 1为状态为状态为状态为状态向量向量向量向量 t t-1 1 的均

26、值的均值的均值的均值，也是基于信息集合，也是基于信息集合 Yt-1 的的 t-1 的的估计估计估计估计量量量量，Pt-1 表示估计误差的表示估计误差的 m m 协方差矩阵，即协方差矩阵，即(11.2.1)(11111=tttttEaaP22当给定当给定 at-1 和和 Pt-1 时，时，t 的条件分布的均值由下式给定，即的条件分布的均值由下式给定，即(11.2.2)在扰动项和初始状态向量服从正态分布的假设下，在扰动项和初始状态向量服从正态分布的假设下，t 的条件分布的均值的条件分布的均值 at t-1 是是 t 在最小均方误差意义下的一个最优估计量。估计误差的协方差矩阵是在最小均方误差意义下的

27、一个最优估计量。估计误差的协方差矩阵是(11.2.3)式式式式(11.2.2)(11.2.2)和式和式和式和式(11.2.3)(11.2.3)称为预测方程称为预测方程称为预测方程称为预测方程(pedictionpediction equations)equations)。tttttcT+=11aattttttttRQRTPTP+=1123一旦得到新的预测值一旦得到新的预测值 yt，就能够修正，就能够修正 t 的估计的估计 at t-1，更新方程更新方程更新方程更新方程(updating equations)(updating equations)是是是是(11.2.4)和和(11.2.5)其中

28、其中(11.2.6)上述上述式式式式(11.2.2)(11.2.2)式式式式(11.2.6)(11.2.6)一起构成一起构成一起构成一起构成KalmanKalman滤波的公式。滤波的公式。滤波的公式。滤波的公式。)(1111ttttttttttttdZyFZP+=aaa1111=ttttttttttPZFZPPPttttttHZPZF+=1Tt,2,1L=24Kalman滤波的初值可以按滤波的初值可以按 a0 和和 P0 或或 a1 0 和和 P1 0 指定。这样，对于指定。这样，对于t=1,2,T，每当得到一个观测值时，每当得到一个观测值时，Kalman滤波提供了状态向量的最优估计。当所有的

29、滤波提供了状态向量的最优估计。当所有的 T 个观测值都已处理，个观测值都已处理，Kalman滤波基于信息集合滤波基于信息集合 YT，产生当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。，产生当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。252 2平滑平滑平滑平滑平滑（平滑（smoothing）(t=T-1,T-2,1)(11.2.10)(11.2.11)其中：其中：aT|T,PT|T 是平滑的初值。还可以计算得到是平滑的初值。还可以计算得到yt的平滑估计和协方差

30、矩阵的平滑估计和协方差矩阵)(|11|1|tt tTtttt tt tTtcTPTP+=+aaaat tttttTtttt tt tTt|1|1|1|11|1|)(PTPPPPTPPP+=+tTttTtdZy+=atTtttZPZS=263 3预测预测预测预测如果量测方程如果量测方程(11.1.1)的扰动项和初始状态向量服从多元正态分布，则的扰动项和初始状态向量服从多元正态分布，则 yt关于关于 Yt-1 的条件分布也是正态的。且这个条件分布的均值和协方差矩阵可以直接由的条件分布也是正态的。且这个条件分布的均值和协方差矩阵可以直接由Kalman滤波给定。以信息集滤波给定。以信息集 Yt-1 为

31、条件，为条件，t 服从具有均值服从具有均值 at t 1 和协方差矩阵和协方差矩阵 Pt t 1 的正态分布。如果量测方程被写为的正态分布。如果量测方程被写为(11.2.12)可以直接看出可以直接看出 yt的条件分布是正态的，的条件分布是正态的，yt的条件均值的条件均值(一步一步一步一步向前向前向前向前(线性线性线性线性)最小均方误差估计最小均方误差估计最小均方误差估计最小均方误差估计):(11.2.13)ttttttttttudZZy+=)(11aattttttttEdZyy+=111)(a27一步向前预测误差向量一步向前预测误差向量(11.2.14)预测误差协方差矩阵由式预测误差协方差矩阵

32、由式(11.2.6)的的 Ft 给定，即给定，即(11.2.15)由后面由后面11.2.2节的论述可以知道条件均值是节的论述可以知道条件均值是 yt的最小均方误差意义的最优估计量的最小均方误差意义的最优估计量(MMSE)。因此，可以利用式。因此，可以利用式(11.2.13)，以及，以及Kalman滤波公式滤波公式(11.2.2)(11.2.6)，对，对 yt，t（t=T+1,T+2,）进行预测。）进行预测。,1=ttttyyvTt,2,1L=,1ttttttHZPZF+=Tt,2,1L=1tty2811.2.2 11.2.2 KalmanKalman滤波的解释和性质滤波的解释和性质滤波的解释和

33、性质滤波的解释和性质Kalman滤波的导出依赖于扰动项和初始状态向量服从正态分布的假设。有了正态分布的假设，就能够基于信息集合滤波的导出依赖于扰动项和初始状态向量服从正态分布的假设。有了正态分布的假设，就能够基于信息集合 YT=yT,yT-1,y1，利用，利用Kalman滤波递推地计算滤波递推地计算 t 的分布。这些条件分布自身也都服从正态分布，因此也就由它们的均值和协方差矩阵完全确定，这就是的分布。这些条件分布自身也都服从正态分布，因此也就由它们的均值和协方差矩阵完全确定，这就是Kalman滤波计算的估计量。为了说明滤波计算的估计量。为了说明 t 的条件均值是的条件均值是 t 在最小均方误差

34、意义下的一个最优估计量，下面首先介绍均方误差和最小均方估计的概念。在最小均方误差意义下的一个最优估计量，下面首先介绍均方误差和最小均方估计的概念。291.1.均方误差均方误差均方误差均方误差设设 z 是随机向量，已知样本集合是随机向量，已知样本集合 ZT=zT,zT-1,z1，是基于，是基于ZT的的 z 的任一估计量，则定义均方误差（的任一估计量，则定义均方误差（mean square error，MSE）为）为(11.2.16)2.2.最小均方估计最小均方估计最小均方估计最小均方估计设是基于设是基于 ZT 的的 z 的任一估计量，是其中使均方误差达到最小的的任一估计量，是其中使均方误差达到最

35、小的 z 的估计量，即的估计量，即(11.2.17)则 称为则 称为 z 的 最 小 均 方 估 计的 最 小 均 方 估 计(mininum mean square estimator，MMSE)。)()MSE(2zzz=E)()(22zzzzEEz z z z 30Kalman滤波以信息集滤波以信息集 Yt为条件，产生为条件，产生 t 的条件均值和方差的条件均值和方差(11.2.18)(11.2.19)其中：数学期望算子下面的下标其中：数学期望算子下面的下标 t 表示是关于表示是关于 Yt的条件期望。的条件期望。)()(tttttEE=Ya=)()(ttttttttEEEP31设是以信息集

36、设是以信息集 Yt为条件的为条件的 t 的任一估计量，估计误差可以被分为两个部分的任一估计量，估计误差可以被分为两个部分(11.2.20)对式对式(11.2.20)两端平方，并求期望值，经过计算，由于混合乘积项为零，得到两端平方，并求期望值，经过计算，由于混合乘积项为零，得到(11.2.21)在式在式(11.2.21)等号右边的第一项是等号右边的第一项是 t 的条件方差，由于的条件方差，由于var(t Yt)0，且与估计量无关，因此要想使式，且与估计量无关，因此要想使式(11.2.21)达到最小，只需在第二项取即可。也就是说，达到最小，只需在第二项取即可。也就是说，t 的最小均方估计的最小均方

37、估计(MMSE)就是由就是由Kalman滤波所得到的条件均值滤波所得到的条件均值 at=E(t Yt)，并且是惟一的。，并且是惟一的。)()(ttttttttEE+=YY2)Y()Yvar()MSE(ttttttEE+=t t)(tttEY=32当状态空间模型的扰动项的分布不能满足正态分布假定时，一般地，当状态空间模型的扰动项的分布不能满足正态分布假定时，一般地，Kalman滤波所产生的估计量滤波所产生的估计量 at 不再是状态向量不再是状态向量 t 的条件均值，换句话说，式的条件均值，换句话说，式(11.2.18)将不成立。但是如果限制估计量是观测值的线性组合，即在所有线性估计范围内，将不成

38、立。但是如果限制估计量是观测值的线性组合，即在所有线性估计范围内，at 是具有最小均方误差意义上的最优估计量。此时称是具有最小均方误差意义上的最优估计量。此时称at 是基于信息集是基于信息集 Yt的的 t 的最小均方线性估计量的最小均方线性估计量(minimum mean square linear estimator，MMSLE)，估计误差的协方差矩阵是由，估计误差的协方差矩阵是由Kalman滤波给出的滤波给出的 Pt 矩阵。矩阵。33进一步地，上述关于状态向量进一步地，上述关于状态向量 t 的论述也可以类似地用来解释的论述也可以类似地用来解释 yt基于信息集基于信息集 Yt1 的条件均值，

39、用表示，即的条件均值，用表示，即(11.2.22)在正态假定下，是在正态假定下，是 yt在最小均方误差意义下的最优估计量在最小均方误差意义下的最优估计量(MMSE)，并且在不满足正态假定时，是，并且在不满足正态假定时，是 yt的最小均方线性估计量的最小均方线性估计量(MMSLE)。ttttttdZy+=11a1tty1tty34预测误差预测误差(11.2.23)被称为被称为新息新息新息新息(innovations)(innovations)，因为它代表在，因为它代表在 Yt-1 的基础上新观测值的基础上新观测值yt所带来的信息。从更新方程所带来的信息。从更新方程(11.2.4)中可以看出，新息

40、中可以看出，新息 vt对修正状态向量的估计量起到了关键的作用。在正态假定下，根据是最小均方误差意义下的最优估计量，可以推断对修正状态向量的估计量起到了关键的作用。在正态假定下，根据是最小均方误差意义下的最优估计量，可以推断 vt的均值是零向量。进一步地，从式的均值是零向量。进一步地，从式(11.2.23)容易看出容易看出(11.2.24)其中：其中：Ft 由式由式(11.2.6)给定。在不同的时间区间，新息给定。在不同的时间区间，新息 vt是不相关的，即是不相关的，即,(11.2.25),)(11tttttttttuZyyv+=aTt,2,1L=ttFv=)var(0)(=stEvvTstst

41、,2,1,L=1tty3511.2.3 11.2.3 修正的修正的修正的修正的KalmanKalman滤波递推公式滤波递推公式滤波递推公式滤波递推公式当量测方程和转移方程的扰动项是相关的时候，需要修改当量测方程和转移方程的扰动项是相关的时候，需要修改Kalman滤波。考虑具有量测方程和转移方程的状态空间形式滤波。考虑具有量测方程和转移方程的状态空间形式(11.2.26)(11.2.27)假设假设(11.2.28)其中其中 Gt是已知的是已知的 g k 矩阵。量测方程和状态方程的扰动项的协方差矩阵用矩阵。量测方程和状态方程的扰动项的协方差矩阵用 表示表示tttttudZy+=,1ttttttRc

42、T+=Tt,2,1L=ststEtst,)(0Gu=ttttttQGGHuvar36注意当量测方程和转移方程的干扰项在同时点相关，在 不 同 时 点 不 相 关 时，注意当量测方程和转移方程的干扰项在同时点相关，在 不 同 时 点 不 相 关 时，Kalman 滤 波 中 的 预 测 公 式滤 波 中 的 预 测 公 式(11.2.2)，(11.2.3)不变，更新方程进行如下修改：在不变，更新方程进行如下修改：在(11.2.4)和式和式(11.2.5)中矩阵中矩阵 Pt t 1Zt 变为 变为 Pt t 1Zt +RtGt，式，式(11.2.6)变为变为(11.2.29)ttttttttttt

43、tHZRGGRZZPZF+=13711.2.4 11.2.4 非时变模型及非时变模型及非时变模型及非时变模型及KalmanKalman滤波的收敛性滤波的收敛性滤波的收敛性滤波的收敛性在许多实际应用问题中，状态空间模型的系统矩阵在许多实际应用问题中，状态空间模型的系统矩阵 Zt，dt，Ht，Tt，ct，Rt和和 Qt 都是不依赖于时间变化的，这样就可以写成不带时间下标的模型，称为非时变模型。一般允许都是不依赖于时间变化的，这样就可以写成不带时间下标的模型，称为非时变模型。一般允许 ct 和和 dt是依时间变化的，于是状态空间模型的量测方程是依时间变化的，于是状态空间模型的量测方程(11.1.1)

44、和转移方程和转移方程(11.1.3)就可以写为就可以写为(11.2.32)(11.2.33),(11.2.34)HuudZy=+=)var(,tttttQRcT=+=)var(,1ttttt0)(=stEuts,38如果系统是稳定的，则转移矩阵如果系统是稳定的，则转移矩阵 T 的所有的特征根的模应当小于的所有的特征根的模应当小于1，即，即(11.2.35)且如果初始协方差矩阵且如果初始协方差矩阵 P1 0 是非负定的，则是非负定的，则(11.2.36)独立于独立于 P1 0，Pt+1 t呈指数地迅速收敛到。呈指数地迅速收敛到。,1)(Timi,2,1L=PP=+ttt1limPP3911.2.

45、5 11.2.5 KalmanKalman滤波的初始条件滤波的初始条件滤波的初始条件滤波的初始条件(1)仅当状态转移矩阵仅当状态转移矩阵 T,方差矩阵方差矩阵 P 和和 Q 是非时变的且满足某些稳定性条件，初始条件的求解才是可能的。如果初始条件的求解是可能的，可以利用关系式：在更复杂的模型中给出求协方差矩阵初始条件是非时变的且满足某些稳定性条件，初始条件的求解才是可能的。如果初始条件的求解是可能的，可以利用关系式：在更复杂的模型中给出求协方差矩阵初始条件 P0 的一种方法的一种方法(11.2.37)式中式中Vec()算子是把矩阵拉直，即表示矩阵的列是一列接着一列而形成一个向量，而运算符表示克罗

46、内克积算子是把矩阵拉直，即表示矩阵的列是一列接着一列而形成一个向量，而运算符表示克罗内克积(kroneckerproduct)，I 为单位矩阵。为单位矩阵。cTI10=）（aRRQTTPP+=001)(Vec)(Vec1RRQTTIP=40(2)如果初始条件的求解是不可能的，状态将按扩散先验处理。当利用扩散先验时，采用如果初始条件的求解是不可能的，状态将按扩散先验处理。当利用扩散先验时，采用Koopman，Shephard和和Doornik(1998)提出的方法将设置提出的方法将设置 0=0 和和P0=I，这里，这里 为一个任意的大数。如设为一个任意的大数。如设=106，然后通过乘以残差协方差

47、矩阵的最大的对角线元素调整，然后通过乘以残差协方差矩阵的最大的对角线元素调整 P。4111.3 11.3 状态空间模型超参数的估计状态空间模型超参数的估计状态空间模型超参数的估计状态空间模型超参数的估计在在11.2节讨论利用节讨论利用Kalman滤波递推公式求状态向量的估计量时，假定状态空间模型的系统矩阵滤波递推公式求状态向量的估计量时，假定状态空间模型的系统矩阵 Zt,Ht,Tt,Rt和和Qt 是已知的。但实际上是已知的。但实际上系统矩阵是依赖于一个未知参数的系统矩阵是依赖于一个未知参数的系统矩阵是依赖于一个未知参数的系统矩阵是依赖于一个未知参数的集合，这些未知参数用向量集合，这些未知参数用

48、向量集合，这些未知参数用向量集合，这些未知参数用向量 表示，并被称为超参数表示，并被称为超参数表示，并被称为超参数表示，并被称为超参数。例如，在例。例如，在例11.1的一阶移动平均模型的一阶移动平均模型MA(1)中中=(,2)，在例，在例11.2的二阶自回归模型的二阶自回归模型AR(2)中中=(1,2,2)。本节对于状态空间模型的量测方程。本节对于状态空间模型的量测方程(11.1.1)和状态方程和状态方程(11.1.3)中含有未知参数的情况，介绍超参数的估计方法。中含有未知参数的情况，介绍超参数的估计方法。42在许多问题中，特别在关于正态分布的各种估计问题中，极大似然法是最常用的方法，这主要表

49、现在极大似然估计量常具有某些优良的性质。这里采用极大似然法估计未知的超参数。极大似然法的原理通常用于观测值在许多问题中，特别在关于正态分布的各种估计问题中，极大似然法是最常用的方法，这主要表现在极大似然估计量常具有某些优良的性质。这里采用极大似然法估计未知的超参数。极大似然法的原理通常用于观测值 y1,y2,yT相互独立且具有同样分布的情形，此时它们的联合概率函数被给定为相互独立且具有同样分布的情形，此时它们的联合概率函数被给定为(11.3.1)其中：其中：P(yt)是第是第 t 个观测值的概率密度函数。个观测值的概率密度函数。L(y;)是样本是样本y1,y2,yT的联合概率密度函数。一旦得到

50、样本观测值，的联合概率密度函数。一旦得到样本观测值，L(y;)就可以被解释为似然函数，并且可以通过关于就可以被解释为似然函数，并且可以通过关于 求偏导数，使函数求偏导数，使函数L(y;)达到最大来求出达到最大来求出 的极大似然估计。的极大似然估计。=TttPL1)();(yy43然而，经济时间序列的一个重要特征是经济变量间是不独立的，因此不能用式然而，经济时间序列的一个重要特征是经济变量间是不独立的，因此不能用式(11.3.1)，而是利用条件概率密度函数代替联合概率密度函数将似然函数表示为，而是利用条件概率密度函数代替联合概率密度函数将似然函数表示为(11.3.2)其中：其中：P(yt Yt-