2022年贝叶斯网络参数的在线学习算法及 .pdf

《2022年贝叶斯网络参数的在线学习算法及 .pdf》由会员分享，可在线阅读，更多相关《2022年贝叶斯网络参数的在线学习算法及 .pdf（4页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、收稿日期! #$% #$% #&作者简介!张少中博士研究生研究方向为数据库的知识发现(决策 支持系统) * % + , -.! / .0123445 671+ , -. 87+ 9王秀坤教授博士生导师研究方向为数据库系统决策支持系统9杨南海硕士研究方向为数据库的知识发现(决策支持系统)贝叶斯网络参数的在线学习算法及应用张少中杨南海王秀坤:大连理工大学计算机科学与工程系辽宁大连; ; &# $ 71-?* =算法并利用该算法对防洪决策贝叶斯网络进行在线参数学习将该算法与* =算法的学习结果进行了比较分析结果表明 71-?* =算法不但能够进行在线参数学习而且也具有较高的学习精度)关 键 词!贝叶

2、斯网络9参数学习9 * =算法9 71-?* =算法中图分类号! A B$C;文献标识码! D文 章 编 号! ; #% ; #: #E; #% ; FCC % #$GHHIJKLM JNONP QOIJOR SRLTOJOUG IUNTJM VW PNT XLYRZJLOR M NTLTLWM RT_D a bc6, 7% 367? d D a b a , ?% 6, -eDa b f -0% g0?: h ij kl m n i ompqrpn j sm il t uvi oui h kw vkoxovyi l zvm p q|i u opw p h k w vk o ; ; &# $ r

3、 vok 71-?* =, . 7-16+ # 6-86- $ % , $&/*=-$ / -$80$&/,?/, .-&/- ?1 6& , , + &1 & 7?.-?& .&, ?-?-? (.77/ &8-$-7? $0 71-?) , *&$-, ? &1# 7g$ -?1 6-$ , & ) ) 71 6*=, . 7-1 6+ , ?/71 -?* =, & , .-&/- ? (.77/&8-$-7?) , *&$-, ? &1# 7 g$ 178 7+ , & 16&-&(7+ , ?8&)A6& &$0.1- ?/ -8, 1&$ 16, 11 6& 71-?* =8, ?

4、 % & 0$&/-?7?.-?&.&, ?-?(7 ) , * &$-, ? &1 # 7g , , + &1 & , ?/- 1 , .$76 , $ + 7& &8-$&.* 1 6, ?1 , / -1-7?, . * =, . 7 -16+ )+ RN T, Z!% , *&$-, ? &1# 7g$9 , , + &1& .&, ?-?9* =, . 7-16+9 71-?* =, . 7 -16+-引言贝叶斯网络是根据各个变量之间的概率关系使 用 图 论方法表示变量集合的联合概率分布的图形模型)该模型是一个有向无环图其中每个结点代表一个随机变量并通过给定结点的条件概率与其父结点相

5、关. ; /)贝叶斯网络的学习可划分为两个方面!结构学习和 参 数学习)结构学习是利用训练样本集尽可能结合先验知识确定合适的贝叶斯网络拓扑结构9参数学习是在给定贝叶斯网络拓扑结构的情况下确定各结点处的条件概率密度)一般情况下利用批量样本数据的参数学习是离线进行的其参数值并不能随新数据集的实时增加而及时地在线进行参数的更新和调整这样就不能实现数据的充分利用并影响参数学习的精度. $/)因此我们需要一种当新数据到来后能够 及 时 进 行参数学习和调整的贝叶斯网络在线参数学习方法)0贝叶斯网络和参数学习0) -贝叶斯网络在贝叶斯网络的有向无环图中结点代表论域中的变量有向弧代表变量的关系变量之间的关系

6、强弱由结点与其父结点之间的条件概率来表示)通过贝叶斯网络可以准确的反映实际应用中变量之间的依赖关系)关 于一组变量12; 2 ) ) ) 2?3的贝叶斯网络由以下两个部分组成! ; 一个表示f中变量的条件独立断言的网络结构c 9 与 每 一 个 变 量 相 联 系 的 局 部 概 率 分 布 集 合B c是 一 个有向无环图 c中的结点一对一地对应于f中的变量结点之间缺省弧线表示条件独立 c和B定义的f的联合概率分布)根据条件独立的性质联合概率分布为!j : 4; 4 5 4o6789ov8;j : 4; 4 5 4v2 ; 7: ; 对于每个变量2-令:-;12; 2 5 2-2;3是2-的

7、父结点12; 2 5 2-2;3条件独立则!j : 4v64; 4 5 4v2 ; 78 j : 4v6v 7: 和贝叶斯网络结构c 814; 44$ 5 4o3对于网络结构中的每个变量4v其值域为14;v 4v5 4lv3 =81 ; 5 +3为数据样本 v为变量2-的父结点集则表示j:4?v6v!给定父节点集v为第A种可能取值时结点2-为第g种取值的概率记为! Bv ?)贝叶斯网络参数学习的目标是!给定网络拓扑结构c和训练样本集= 利用先验知识确定贝叶斯网络模型各结点处的条件概率密度记为! j : B6h t )0) CDE算法* =算法是一种计算最大似然函数: = F 的通用算法. &/

8、F, 0-1&?已经 提 出 它 可以 应 用 于 贝 叶 斯 网 络 的 参 数 学 习)在该 算 法 中对 于 所 有 的 参 数 集 合=和 所 有 的 变 量2-计 算 条件概率j : 4v v6hw B: m )给定数据集= 其似然函数为!w : B6h 8Gw.?j : h 6B8Gv ?q: 4? v.?Bv ?: $J K cd cA* =c 7.L Ha 7); #K 81) #E名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 4 页 - - - - -

9、 - - - - 这里! #$%&%()表示当#(*$且(* %时在数据集中的 取值&最大似然函数+可以由下式得到,+(% $*! #$%&%()-! #$%&%() . )/ 0算法的主要思想是在开始设定一个初始估计+ 1)&然后不断地修正它2从当前的估计+ 3)&到下一个估计+ 34 5)需要两个步骤,期望计算和最大化2期望计算是计算给定6时&当前+的似然函数期望,7 +8+ 3 ) *979#(:;78+) 78=7&+ 3 ) ?)对 于所有的+&应满足7 +8+ 345) 7 +8+ 3 ) &根 据 式 A)有,7 +8+ 3 ) *9(&% &$!3 #$(&%() :; + (

10、% $) B)这里!3#(&()97#(&C(8=7&+ 3)最大化计算是通过最大化当前期望似然函数值&选 择 下一个估计+ 3 45) ,+ 34 5)(% $* DEFG D HI JK = 8+) 8= &+ 3)&LM*! #$(&%()9%! #$(&%() N)式B和式N分别为/ 0算法的期望计算和最大化计算等式2OPQ R S TUV W在线学习算法描述和分析O2X基本定义假定有当前模型Y&条件概率参数为+Z&数据集为= *&_&每个数 据 集7可 能 为 网 络 中 变 量 的 部 分 赋 值&在 线学习就是根据数据集=和参数为+Z的 模 型构 造 新 的 模 型+2在通常情况

11、下&+是可以通过似然函数来获得的&如/ 0算法中 的7 +8= )&但 是 当模 型 为 在 线 情 况 时&似 然 函 数 并 不 是 影响+的唯一参数&此外还应包括旧模型本身2这是由于我们所得到的模型已经是前面学习过程的结果&不能完全忽略该结果而完全依赖似然函数2因此&应该同时考虑似然函数和当前模型共同的影响2定 义 函 数a表 示 似 然 函 数和 当 前 模 型 的 共 同 影 响 新 模型的函数&记为a +) ,a +) *b7 +8= ) c d +c +Z) e)7 +8= )为新模型+f数据集=的标准似然函数&根据似然函数的定义有,7 +8= ) *5g9g7 *5:hFK+7

12、) i )参数b为学习的速率且bj1&其大小决定参数调整前后新旧模型的依赖程度2b接近于5&则表示参数调整 偏 重 于 当前数据而轻于原来模型&参数调整的速率就快&新模型变化显著kb趋近于1&则表示参数调整偏重于原来模型而 轻 视 当 前数据参数调整缓慢&模型变化较小&本文不考虑bj5的情况2d +c +Z)为参数学习前后新旧两个模型参数距离的估计值&其功能是使得新模型更接近于旧模型&减少新旧模型间的落 差2该距离是一种平方距离&记为, d +&+Z) 2两概率分布l f m的平方距离表示为,d &n) *5o9# (在第%个状态的值可以观测到并且(等于其 第$个 值 时&增 加 参 数+(%

13、 $的值k当变(量在第%个状态的值可以观 测 但(不 等 于 其第$个值时&减少参数+(% $的值k当变量(的第%个状态的值不可以观测时&不进行更改2PQR S TUV W算 法 在 防 洪 决 策 贝 叶 斯 网 络 在 线 参数学习中的应用和性能分析 2X在线参数学习的条件概率密度在防洪决策贝叶斯网络中&给定包含|个样本的训练样本集= *d5&do&d|_和贝叶斯网络拓扑结构L &需要确定贝叶斯网络模型各个结点处的参数&采用文献J?M中 的 结 果&11e5小型微型计算机系统o11.年名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - -

14、- - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - 利用黑龙江省某水库防洪数据库数据!相关样本数据经过离散化!采用 #算法得到的防洪决策贝叶斯网络结构见图$%图$防洪决策贝叶斯网络结构拓扑图& ( ) $* +,- . +- ,. / 0 0 1/ / 22 . 3 4 / 564- 77/ , + 5(8 9: . 4 955 . + ; / ,$?入 库 流 量=#?出 库 流 量=A?水 位= B?坝 高= C?出 险= D?灾 情 损 失= E?!属 性 参 见 文 献FCG)图#条件概率值=实线为HIJ) J$虚线为HIJ)

15、JC?& ( ) #K/ 52 + / 5917, / L9L 1 + . 4 =4/ 1 21 5. 4; M . 5N IJ) J$ 952O / 21 5. N IJ) JC?利用上述防洪决策贝叶斯网络结构!假定数据是完整的!网络结点为E个!每个数据集中的记录为D JJ个)采用P / + 5(QR算 法 获 得 的 结 点 D的 条 件 概 率 结 果 如 图#=其 它 结 点略?)S) T参数学习的质量评估标准采用参数学习算法从训练样本中获得的条件概率密度为UV =WXY=Z?!由于实际结点处的条件概率密度U=WXY=Z?是已知的!于是作为结果的条件概率密度UV =WXY=Z?与真实的

16、条件概率密度U=WXY=Z?之间的差别可以用来作为评价参数学习结果的测度)这里采用 - 1 1L936 . L1 . ,距离进行计算! - 11 L936 . L1 . ,距离定义为%=U! UV ?IY=W?W=_ =WXY=W?1 / (=_ =XY=W?=_ V =WXY=W?=#$?这 里距 离 大 于 等 于J!当_ V =WXY=W?与=_ =WXY=W?越接近时! - 1 1L936 . L1 . ,距离越小!说明参数学 习 的结果越精确)S) ab cde f gh i算法性能分析将 基 本 的QR算 法 与P / + 5(Q R算 法 的 参 数 学 习 结 果进行比较!来分

17、析P / + 5(Q R算法在防洪决策贝叶斯网络参数学习的有效性)采 用QR算 法 和P/ + 5(QR算 法 分 别 计 算U=jk! YkXlmn=o?! 距离如表$=由于篇幅所限!仅比较各结点最终概率密度的距离?%表$防洪决策贝叶斯网络结点距离=$JpB?q 9L1 . $62 O. ,( . 53. / 001 / / 22 . 3 4 / 54 - 77/ ,+ 5(89: . 4 955 . +; 9, $#ABCDEQR算法r AsA$rCDEEDJ#CAr Crs DBP / + 5(QR算法CAD#$sBB$DJr$#sr DACB表中横栏表示网络结点!纵栏表示采用的参数学习

18、算法!内容为该结点的条件概率密度 与实 际 数 据 的距 离)从 表中可以看出!对于相同的训练样本P / + 5(Q R所的的结果较采用QR算法所得的距离要小!表明其结果也越精确)t结论贝叶斯网络能够反映数据之间潜在的关系!为数 据 挖 掘和知识发现以及决策支持提供了一种有效的方法)贝叶斯网络的参数学习直接影响贝叶斯网络的精度!因此充分利用数据 进 行 在 线 学 习 是 非 常 重 要 的) P / + 5(QR算 法 采 用 传 统QR算法的基本原理!通过修正参数!实现了贝叶斯网络参数的在线学习!同时也提高了参数学习的精度)通过实际的比较分析!验证了该算法在防洪决策支持贝叶斯网络参数在线学

19、习中是可行的)uvw vxvf yvz%$ . 3. | 95)8 9: . 4 955. +; / , 40 / ,29+9| 5 5 (FG) 9+9R5 5(9525/ ; 1 . 2( . 43/ O. , :)$r r E! $!E r 6$r )#9- , +! . 5*)q M .QR91( / , +M|0/ ,(, 97M 3919 44/ 3 9+ / 5| / 2. 1 4; +M| 44 5(29+9FG)K / | 7- +)* +9+) 9+9 591)$r r C=$r ?%$r $6#J$)A#,9K / M. 5! 1. $952,.8 , / 54+. 5!

20、&9L /%) K / ! | 95)& 51 5.1. 9, 5 5(/ 089: . 4 955. +; / , 79, 9| . +. , 4FQ8&G)M+7% ; ; ; )M71)M7) 3/ | +. 3M , . 7/ , +4 #JJ $ (6#JJ $6$CD) 720)BQ, 389- . , ! 97 M 5./ 11 . ,!) / , 9|* 5 ( . , )* 729+.,- 1. 40 / ,79, 9| . +. , . 4+ | 9+ / 5 5 8 9: . 4 95 5. +; / , - 6- 5)K / 54+, - 3+ / 595297 71

21、39+ / 5/ 0L 9: . 4 955. +; / , 4 501 / / 22. 3 4 / 5 64- 77/ , + 5(4: 4+. |FK G)( , / 3. . 2 5( 4/ 0+M.& , 4+#5+. , 59+ / 5 91 K/ 50. , . 53. / 5R93M 5. 9,5 5( 952 K: L. ,5. + 34!8. / 5( !B6C - / O. | L. ,#J J#!#KK#JJ # #QQQ!P / 1#! E$s6E#)$Js$J期张少中等%贝叶斯网络参数的在线学习算法及应用名师资料总结 - - -精品资料欢迎下载 - - - - - -

22、 - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 贝叶斯网络参数的在线学习算法及应用作者：张少中， 杨南海， 王秀坤作者单位：大连理工大学,计算机科学与工程系,辽宁,大连,116023刊名：小型微型计算机系统英文刊名：MINI-MICRO SYSTEMS年，卷(期)：2004,25(10)被引用次数：5次参考文献(5条)1. Heckeman DBayesian networks for data mining 19972. Lauritzen S LThe EM algorithm for

23、graphical association models with missing data 1995(19)3. Ira Cohen . Alexandre Bronstein. Fabio G.Cozman Online learning of Bayesian network parameters4. Eric Bauer . Daphne Koller . Yoram Singer Update rules for parameter estimation in Bayesian networks19975. Zhang Shao-zhong. YANG Nan-hai. WANG X

24、iu-kunConstruction and application of bayesian networks inflood decision-supporting system引证文献(5条)1. 金俊丽. 赵川. 杨洁 基于EM-GA改进贝叶斯网络的研究及应用期刊论文-计算机应用研究 2010(4)2. 刘晋中. 廖芹 贝叶斯网络的动态知识获取与修正期刊论文-计算机工程与设计 2009(9)3. 钱娜. 宫义山 贝叶斯网络结构在线学习算法研究及应用期刊论文-电脑知识与技术 2008(35)4. 马志柔 中文信息检索分类技术的研究学位论文硕士 20055. 龙兵 多信号建模与故障诊断方法及其在航天器中的应用研究学位论文博士 2005本文链接： http:/ - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -