一种基于深度玻尔兹曼机的半监督典型相关分析算法-蒋文.pdf

《一种基于深度玻尔兹曼机的半监督典型相关分析算法-蒋文.pdf》由会员分享，可在线阅读，更多相关《一种基于深度玻尔兹曼机的半监督典型相关分析算法-蒋文.pdf（5页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第 卷第期 年 月河南科技大学学报（自然科学版） （ ） 基金项目：国家自然科学基金项目（ ， ）作者简介：蒋文（ ），男，四川资阳人，硕士生；齐林（ ），男，河南郑州人，教授，博士，博士生导师，主要研究方向为信号检测与估计、通信系统及其信号处理、多媒体信号处理、情感及生物特征识别等收稿日期： 文章编号： （ ） ： 一种基于深度玻尔兹曼机的半监督典型相关分析算法蒋文，齐林（郑州大学信息工程学院，河南郑州 ）摘要：从模式分类的角度出发，针对典型相关分析（ ， ）算法不适应于高层次关联的缺陷，提出了改进算法。将深度学习理论与典型相关分析算法相结合，基于深度玻尔兹曼机理论提出了一种半监督典型相关分

2、析算法。通过深度玻尔兹曼机提取出样本的显层特征与隐层特征，结合已标注样本的监督信息，构造出最有效的鉴别特征。依据 、 和 人脸数据库进行仿真实验，实验结果表明：本文算法与其他的方法相比，具有更好的识别效果。关键词：典型相关分析；深度玻尔兹曼机；半监督学习；人脸识别中图分类号： 文献标志码： 引言近 年来，典型相关分析（ ， ）在模式识别、计算机视觉及生物医学等领域中被广泛地应用，同时，在人脸识别、行为分类和疾病诊断等诸多领域中取得了突破 。文献提出核典型相关分析（ ， ），能够更好地解决人脸识别中的非线性问题。文献能够实现类内相关的最大化与类间相关的最小化，且比 具有更好的识别性能。文献使投影

3、后样本在最小化类内离散度的同时，两组特征之间具有最大的相关性，从而有利于投影后同类样本聚类信息的保持。文献有效地避免了小样本问题的发生，较好地描述了非线性的人脸识别问题。文献提出利用少量的监督信息来提高分类性能。文献 提出能够捕获数据的局部流形结构特性，在数据可视化和姿态估计中获得了比 更好的实验结果。另外，文献 提出的稀疏保持典型相关分析方法，能在两组不同特征融合的基础上，对样本间的稀疏重构性进行约束，增强了鉴别能力。最近几年，在特征提取和降维方法领域中半监督学习也得到了广泛应用。文献 提出了一种半监督判别分析方法，文献 提出了半监督局部线性判别分析方法，但是这两种方法也存在不足之处，即都没

4、有采用约束信息，只用大量的无标号样本和少量的有标号样本进行降维。文献 提出了半监督降维方法，该方法能够同时利用无标号样本和样本之间的成对约束信息。文献 提出基于 的半监督学习，该方法只利用少量有标号样本。但是，这两种方法也有明显的不足： 往往只适应于低层次的关联，对于抽象、稀疏的高层概念应用范围较窄。因此，建立合适的监督信息特征提取方式成为解决这一问题的关键。深度玻尔兹曼机（ ， ）是由 提出的一种以受限制玻尔兹曼机（ ， ）为基础的深度学习模型 ，不同于 的深度信念网络（ ， ）模型。在 模型中，各单元层之间均为无向连接，简化了上下层的反馈系数训练，从而使其数据泛化能力大大提高，并在多个数据

5、库上的表现优于 模型。鉴于深度学习模型的迅猛发展 ，本文提出了一种基于深度玻尔兹曼机的半监督典型相关分析算法，该算法充分利用了大量的无标号样本和少量的有标号样本，保留了充足的有效信息。利用深度玻尔兹曼机提取深层的监督信息，并在使用 进行融合的过程中融入样本间的成对约束信息，从而有效解决了 只适用于低层次关联的弊病，确保了识别的准确性。并依据 、 和 人脸数据库进行了仿真实验。 基于深度玻尔兹曼机的半监督典型相关分析 基于深度玻尔兹曼机的监督信息提取 提取的特征分为隐层特征 和显层特征 。设 提取的第层隐层特征为 ，为二值单元，则 提取的隐层特征的后验概率为：（ ）（ ），（）其中：为特征的偏置

6、项； 为显层单元到隐层单元的连接权值； ， ， 为隐层特征集合。同理，设 提取的第层显层特征为 ，为二值单元，则 提取的显层特征的后验概率为：（） （ ，），（）其中：（ ，）是以 为均值，以为方差的高斯分布；为特征的偏置项； 为显层单元到隐层单元的连接权值； ， ， 为显层特征集合。对于包含个训练样本的训练库监督信息标注集合为（ ， ），（ ， ），（ ， ）， 为第幅图像 隐性特征标注，维度为； 为第幅图像 显性特征标注，维度为。监督信息标注集合分别构成两组大小为 和 的矩阵和，对两组矩阵进行典型相关分析得到监督信息矩阵。 基于深度玻尔兹曼机的半监督典型相关分析算法设有对样本（，） ，为第

7、个图片对应的特征，为用 生成的对应的监督信息特征。寻找一组投影向量和，使得投影之后实现类内相关的最小化和类间相关的最大化。转化为如下优化问题： 槡，（）其中： （，）（ ）（，）（ ），（）整理得： （ ），其中：为单位矩阵；为正约束集合；为负约束集合。利用 乘子法最终可以将式（）转化为： （ ），（）求解得投影向量，其中： ， ， ；（） ， ， 。（）将线性变换式（）和式（）作为投影后的融合特征用于分类： ；（） ，（）河南科技大学学报（自然科学版） 年第期蒋文，等：一种基于深度玻尔兹曼机的半监督典型相关分析算法其中：式（）为串行融合， 为其投影向量；式（）为并行融合， 为其投影向量。综上

8、所述，算法流程总结如下：步骤输入两组特征集和。步骤根据式（）构建 。步骤根据式（）和式（）计算投影矩阵。步骤根据式（）和式（）计算串行融合特征和并行融合特征。步骤对测试样本进行分类，并比较串行、并行融合特征的识别率。 实验结果与分析在 、 和 人脸数据库上进行人脸识别仿真实验，以检验本文算法的识别性能。同时，为了对比本文算法识别性能的优劣，分别与特征脸 、费舍尔脸（ ） 、 （ ） 、 、 和 等算法作了对比。针对高维小样本的问题，本文先利用主成分提取法对数据进行降维处理，特征提取完毕后，再用最近邻法进行分类。因为在每个人脸数据库上，训练库和测试库是随机抽取而得的，为了防止随机抽取的结果干扰到

9、实验的准确性，每个数据库上的每组实验都重复了 次，实验结果取 次的平均值。 人脸数据库在 人脸数据库上的仿真实验中，对 个人的 幅灰度图像进行了分组，在每个人的 幅图片中选取幅图像作为训练，剩余张做测试。表分别列出了特征脸、 、 、 、 、 和本文算法在 数据库上的识别率，同时将串行融合和并行融合的识别率进行对比。表 人脸库上的识别率算法识别率 串行融合并行融合特征脸 本文算法 总体来看，本文算法在 人脸数据库上的识别率最高，优于其他方法。不同的融合方法识别率略有差别，从各算法在 数据库上的识别率来看：串行融合获得的特征识别率略高于并行融合的特征。支持向量机 的性能比较好，优于 ，但略低于本文

10、算法。典型相关分析 的识别率介于特征脸和 算法之间。 的识别率与特征脸相当，且都高于原始 的识别率。作为 的最新改进算法， 在 数据库上的识别性能也相当优秀，但相比于本文算法，还是有一定的差距。 人脸数据库在 人脸数据库上的仿真实验中，对 个人的 幅灰度图像进行了分组，在每个人的 幅图片中选取幅图像作为训练，剩余张做测试。表 人脸库上的识别率算法识别率 串行融合并行融合特征脸 本文算法 表分别列出了特征脸、 、 、 、 、 和本文算法在 数据库上的识别率，同时将串行融合和并行融合的识别率进行对比。总体看来，本文算法在 人脸数据库上的识别率较好。值得注意的是，采用不同的融合方法，识别率几乎完全相

11、同。从各算法在 数据库上的识别率上来看：串行融合获得的特征识别率与并行融合获得的特征识别率完全相同。支持向量机 识别性能相较于其他算法，并无明显优势。 的识别率明显低于 。 的识别率介于特征脸和 算法之间。 在 数据库上的识别性能最优秀，但本文算法与之相比，并不逊色。 人脸数据库在 人脸数据库上的仿真实验中，对 个人的 多幅彩色图像进行了分组，在每个人的 幅图片中选取 幅图像作为训练，剩余 张做测试。表分别列出了特征脸、 、 、 、 、 和本文算法在 数据库上的识别率，同时将串行融合和并行融合的识别率进行对比。表 人脸库上的识别率算法识别率 串行融合并行融合特征脸 本文算法 总体看来，本文算法

12、在 人脸数据库上也有较高的识别率。不同的融合方法识别率略有差别，从各算法在 数据库上的识别率上来看：串行融合获得的特征识别率略高于并行融合，但是 和 算法并行融合获得的特征识别率反而高于串行融合。支持向量机 的性能比较好，但逊色于 算法和本文算法。 的识别率介于特征脸和 算法之间。作为 的最新改进算法， 在 数据库上的识别性能也相当优秀，识别性能与本文算法相比，基本相当。 实验结果分析 在 人脸数据库上的识别性能达到最佳，但在 和 人脸数据库上识别性能并不理想，是由于光照、人脸角度和色彩的变换，使 无法在相对复杂的数据库中提取更多的有效信息，导致识别率不理想。在模式识别理论中，特征抽取的一般原

13、则是抽取特征之间的统计相关性越小越好，最佳的抽取结果是抽取得到不相关的特征。 可以抽取到完全不相关的特征，所以其抽取的特征显然优于 ，识别性能自然优于 。基于 准则的线性鉴别分析理论是模式识别中公认的最有效的方法之一，可以从理论上证明， 线性鉴别分析是 的一种特殊情况，但是由于 存在小样本问题，当训练样本较少时， 的识别性能会受到影响，所以 在个数据库上的识别性能低于 。在 、 和 人脸数据库上的实验结果，有力地验证了本文算法在半监督分类问题中的有效性，其识别性能明显优于 和 。本文算法利用深度玻尔兹曼机提取深层的监督信息，结合已标注样本提供的重要监督信息，能够提取出对分类有效的最佳鉴别特征。

14、 虽然获得了不错的识别性能，但是这种算法仅利用了已标记的训练样本，没有充分利用有效的监督信息，同时，该算法抽取特征维数受到总类别数的限制，不利于算法的进一步改进提升。而 虽然利用了所有的训练样本，但是由于弱化了已标注样本在互相关矩阵构造过程中的重要性，导致抽取的特征过多地受无监督信息的总体互相关散度矩阵的影响而出现鉴别能力不足的现象，因而在组实验中的识别结果均劣于 。 结束语本文提出了一种基于深度玻尔兹曼机的半监督典型相关分析，利用深度玻尔兹曼机提取深层的监督信息，不仅解决了 只适用于低层次关联的弊病，同时提取出了最佳的鉴别特征，有效地提高了识别率。通过在 、 和 人脸数据库上的仿真实验，证明

15、本文算法比其他算法更加优秀。 算法虽然利用了所有训练样本，但弱化了同类样本之间的互相关，识别率不佳。 算法虽然有很好的识别率，但是仅用了已标注的样本信息，对大量的未标注信息并未充分利用。相比于 和 算法，本文算法所提取的特征更加优秀，识别性能更好。河南科技大学学报（自然科学版） 年第期蒋文，等：一种基于深度玻尔兹曼机的半监督典型相关分析算法参考文献： ， ， ， ， ， （ ）： ， ， ， （）： ， ， ， ， ， （）： 孙权森，曾生根，王平安，等典型相关分析的理论及其在特征融合中的应用计算机学报， ， （）： ， ， ， ， ， （）： ， ， ， ， ， ， ， ， ， （）： 洪泉，陈松灿，倪雪蕾子模式典型相关分析及其在人脸识G21中的应用自动化学报， ， （）： 彭岩，张道强半监督典型相关分析算法软件学报， ， （ ）： ， ， ， （）： 侯书东，孙权森稀疏保持典型相关分析及在特征融合中的应用自动化学报， ， （）： ， ， ， ， ： ， ， ， ， ， （）： ， ， ： ， ， ， ， ： ， ， ， ： ， ： ， ， ， ： ， ： ， ， ， ， ： ， ： ， ， ， ， ， （ ）： ， ： ， ， ： ， ， （）： ， ， ， ：