基于hvs特性的无参考图像质量评价-张妍.docx

《基于hvs特性的无参考图像质量评价-张妍.docx》由会员分享，可在线阅读，更多相关《基于hvs特性的无参考图像质量评价-张妍.docx（59页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、论文题目：基于 HVS特性的无参考图像质量评价 工程领域：计算机技术 硕士生：张妍 （ 签名 ). 指导教师：付燕 （ 签名 ). 摘要 在图像采集、处理、传输和存储的过程中，很容易导致有些图像的降质或失真，这 给人们认识客观事物、研宄图像信息带来很大的困难。因此，图像质量的合理评价具有 非常重要的应用价值和研宄意义。而这些失真很多都是没有原始图像作参考的，因此无 参考图像质量评价就显得尤为重要。根据当前的研宄现状，无参考图像质量评价方法可 以分为两类：基于失真类型的算法和基于机器学习类型的算法，本文分别从这两类方法 对 JPEG图像的无参考评价做了深入的研宄。 分析了基于纹理掩盖效应的可视化

2、系数理论，发现 Laws提出的算法确实在性能上 有了非常大的改善，但是这个改善是以牺牲时间为代价的。针对这个问题，提出了改进 的纹理掩盖效应的可视化系数一一可视化系数块度量方法 (VCBM)。 实验证明，改进的 方法与原方法相比，不仅在时间上缩短了 1/3，更重要是度量结果与 DMOS的拟合性得 到了进一步的改善，本实验还将本方法与当前比较知名的各种块效应度量方法做 对比， 也得到了较好的结果。 提出一种基于 s SVR的 JPEG无参考图像质量评价方法 支持向量回归客观得分 (SVROS)。有效地将 HVS和块度量结合，提取出亮度对比度、纹理复杂度、块效应失真 和块平坦度，考虑到亮度能更好地

3、反映块平坦度的平坦区域情况，而纹理对块效应失真 的影响较大，提出利用亮度对比度对块平坦度加权，纹理复杂度对块效应失真加权，得 到更符合人眼特性的综合特征值；将所得的综合特征值作为输入，采用 s SVR进行预 测得到客观评价值 SVROS。 实验表明，本章提出的 SVROS方法具有优良的泛化能力 和 普适性，能够较好的模拟人类视觉特征与 DMOS之间的函数关系。与其它的评价方法相 比， SVROS方法所得到的图像评价结果与 DMOS有较高的一致性，充分体现了人眼视觉 特征在图像评价中的作用。 关键词 ：无参考； SVR;块效应； JPEG;人类视觉系统 研究类型：应用研宄 万方数据 Subjec

4、t Specialty Name Instructor :No-Reference Image Quality Assessment Based On HVS :Computer Technology :Zhang Yan (Signature) _ :Fu Yan (Signature) _ ABSTRACT The process of the collection, process, transmission and storage of image often leads to degradation or distortion, this problem obstructs the

5、development of perceiving object things and research of image information. Hence, reasonable assessment of image quality is important. However, some distortions havent the original image to refer. So no-reference image quality evaluation emerges. According to current research status, no-reference im

6、age quality evaluation methods include algorithm based on distortion and algorithm based on machine learning. This paper studies no-reference method by these two algorithms based on JPEG. In this paper, the algorithm based on distortion aims at blocking effect. This paper analyses visibility coeffic

7、ient due to texture masking, realizes that when caclulating the background activity, the method Laws proposed is good, but this wastes a lot of time. According to this problem, this paper proposes modified visibility coefficient due to texture masking, Visibility Coefficient due to Blocking Metric(V

8、CBM). Experimental indicates that modified method not only reduces a lot of time, but also has a good fitness with Degredation Mean Opinion Score(DMOS) than original method. Further more, compared with other famous methods, modified method achieves a better result. This paper also proposes a JPEG no

9、-reference image assessment based on s SVR, Support Vector Regression Objective Score(SVROS). It combines Human Visual System (HVS) with blocking metric effectively, extracts luminance contrast, texture complexity, block artifacts and block flatness. In consideration of luminance can refect block fl

10、atness and texture can influence block artifacts, it proposes luminance contrast weights block flatness and texture complexity weights block artifacts,then an integrated feature is obtained. The final objective quality assessment result, SVROS, is predicted by 8 SVR. The experimental results indicat

11、e that the extracted feature fits HVS well, and the objective seroe agrees well with DMOS. Keywords： No-Reference SVR Block Artifacts JPEG Human Visual System Thesis ： Application Research 目录 1绪论 . 1 1.1选题背景及研究意义 . 1 1.2国内外研宄现状及发展方向 . 2 1.2.1国内外研究现状 . 2 1.2.2图像质量评价的发展方向 . 4 1.3主要研宄内容和论文结构 . 5 1.3.1主

12、要研宄内容 . 5 1.3.2论文结构 . 6 2人类视觉系统 . 7 2.1人眼的生理结构 . 7 2.2 HVS基本特性 . 8 2.2.1视觉对比敏感度 #性 . 8 2.2.2视觉多通道特性 . 9 2.2.3掩盖特性 . 10 2.3本章小结 . 12 3无 #考图像质量评价方法 . 13 3.1图像质量主观评价方法 . 13 3.2无参考图像质量评价的设计原则 . 14 3.3无参考图像质量评价的分类 . 14 3.3.1基于失真类型的无参考评价方法 . 15 3.3.2基于机器学习的无参考评价方法 . 16 3.4无参考图像质量评价的验证方法 . 19 3.4.1无参考方法的评估

13、标准 . 19 3.4.2无参考图像质量的验证方法 . 20 3.5本章小结 . 22 4基于纹理掩盖的无参考块度量方法 . 23 4.1块效应的产生原因 . 23 4.2基于纹理掩盖的可视化系数 . 23 4.3改进的纹理掩盖可视化系数 . 25 4.4实验及结果分析 . 27 4.4.1实验环境 . 27 4.4.2试验样本的选择 . 27 4.4.3试验 #数的设定 . 28 4.4.4结果分析 . 29 4.5本章小结 . 32 5基于 s-SVR的无参考评价方法 SVROS . 33 5.1图像 #征提取 . 33 5.1.1亮度对比度 . 33 5.1.2纹理复杂度 . 34 5.

14、1.3块效应失真 . 35 5.1.4块平坦度 . 35 5.1.5综合 #征 . 36 5.2支持向量回归机 . 36 5.2.1支持向量机 . 36 5.2.2回归问题的描述 . 37 5.2.3支持向量回归机的基本原理 . 37 5.2.4 8-支持向量回归 . 38 5.3构建 SVROS图像质量模型 . 39 5.4实验及结果分析 . 40 5.4.1实验环境 . 40 5.4.2试验样本的选择 . 40 5.4.3试验 #数的设定 . 40 5.4.4结果分析 . 43 5.5本章小结 . 46 6结论 . 47 6.1工作总结 . 47 6.2未来工作展望 . 48 致谢 . 4

15、9 参考文献 . 50 附录 . 53 1 绪论 1.1选题背景及研究意义 图像所能承载的信息比其他形式的信息 (如文字、语音等 )更加形象、更加真切，因 此利用图像信息进行客观世界的感知，并对其进行有效的处理成为各个领域不可或缺的 技术。但是，在图像采集、处理、传输和存储的过程中，由于成像设备、处理方法、传 输失真以及存储设备等的不成熟，加之一些外界的影响，很容易导致有些图像的降质或 失真，这给人们认识客观事物、研宄图像信息和工程领域带来很大的困难。因此，图像 质量的合理评价具有非常重要的应用价值和研宄意义。 图像质量评价方法包括主观评价方法和客观评价方法这两种方法。主观评价方法是 感知者主

16、观感受评价对象的质量，被认为是最直接准确的视觉感知的方法 1，通常采用 CCIR500-1提供的主观评价标准 平均主观得分 (Mean Opinion Score, MOS)， 由于图 像质量取决于观看者的满意程度，因此图像的主观评价结果符合图像的实际观察质量， 也是国家公认的评价方法。但该评价方法受客观条件、主观条件和观看者自身条件等因 素影响，其评价结果往往不太稳定，在实际应用中受到一定的限制。图像质量的客观评 价方法是根据人的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量，其 基本目标是设计能准确和自动感知图像质量的计算模型，其终极目标是希望用计算机代 替人类视觉系统 (Hum

17、an Visual System, HVS)去感知图像。 按照失真图像对原始参考图像的依赖程度，可将客观评价算法分为全参考评价算法 (Full-Reference, FR)、 部分参考评价算法 (Reduced-Reference, RR)和无参考评价方法 (No-Reference, NR)三种。全参考图像质量评价方法假定原始图像存在并且完全可以获 得，但是在实际应用中很难获得原始图像作为参考，而且很多时候观察者是在没有任何 参考图像的情况下对图像质量进行评价，因此无参考图像质量评价就 显得尤为重要。 既然图像质量客观评价的终极目标是希望用计算机来代替 HVS去感知图像，那么如 何使图像质量

18、评价既客观准确又符合人眼实际观测质量，是众多从事图像质量评价的学 者孜孜以求的目标。 评价图像质量是图像处理领域中非常重要的一个环节，它在图像处理的各种方法中 都起到了至关重要的作用（比如图像的传输、图像的压缩、图像的去噪等各种处理算 法 )2。整体说来，图像质量评价的三个主要应用有： 1)监控系统或者视频获取系统， 自动对图像或视频进行调节，使其能获取到最佳的图片或视频； 2)可以作为一种指标， 以此来判 断图像系统中图像质量的好坏； 3)可以作为一种反馈信息，有助于调节算法 中的参数，使得算法得到优化，从而获得最佳性能。总之，质量评价在图像信息处理的 很多领域都有着广泛的应用，对图像处理的

19、研宄具有非常重要的意义。 同时，图像质量的评价在我们日常的生活和应用中也有着非常重要的作用。 (1) 对于加工过或处理过的图像我们需要对其进行质量的评价。当对图像进行加工 或处理过之后，可以与原始图像进行一个对比，这样可以验证加工或处理算法的优劣。 (2) 图像采集设备和数字成像系统。当人们获取图像时，往往很关心图像的质量， 比如摄像机有像素大小之分， X射线对图像质量要求也比较高等，这些设备只有获取到 高质量的图片才能保证准确的处理。 (3) 接收端获取到传输端的图片时可能需要进行质量评价，特别是无参考的质量评 价。 1.2国内外研究现状及发展方向 1.2.1国内外研究现状 从上世纪八十年代

20、起，国外的一些科研机构就针对图像质量评价展开了深入的研 宄，例如国际电信联盟视频质量专家组 (VQEG)将图像、视频质量的评估作为其重要的 话题，并测试当前研宄的一些算法的性能，并向世界公布一些性能较好的评价算法。在 1998年的会议上总共提交了多个国家的 10个评价算法， 2000年 3月完成了性能的测试， 并给出了评估结果。除此之外，美国德克萨斯大学奥斯丁分校图像与视频工程实验室 (LIVE)等也都对图像与视频的研宄有一定的历史。国内的一些高校例如北京大学、清华 大学、复旦大学和一些研宄所都曾经对这方面进行过相关的研宄，并且取得了不错的成 果。 从整体上来说，当前图像质量评价方法主要可分为

21、主观评价方法和客观评价 方法。 主观评价方法就是通过人力来对图像质量进行评价，而客观评价方法则是通过算法来对 质量进行评价。 (1) 主观评价方法：该方法通过组织一些观测者对图像进行主观的评分并记录评价 结果，经过一定的转换处理就形成平均主观得分 (Mean Opinion Score, MOS)。 国际无线电咨询委员会 (Consultative Committee of Internatinal Radio, CCIR)制定的 电视图像质量的主观评价方法和电视图像质量的主观评价中，专门对主观评价 的方法和标准做出了相关的规定 3。 该方法的优点是和 HVS相一致，但缺点是评价过程费时费力，

22、而且又特别容易受到 一些心理上的影响，缺乏一个统一的标准，更重要的是，它不能够嵌入到相应的算法系 统中去。 0) 客观评价方法就是采用算法对图像的质量进行评价。客观评价方法不需要观测 者进行评估，并且比较容易嵌入到系统中，有相对统一的标准，但它的缺点是评价结果 很难与人类主观感知相一致 4。因此，客观评价方法的终极目标就是要研宄出与 HVS相 一致的评价算法，目前客观评价算法的研宄成果是最多的。 按照待评价图像对原始图像的依赖程度，可以将客观评价算法分为： 1) 全参考 (Full-Reference, FR)评价算法：是通过数学算法来构造模型，通过输入原 始图像和待评价图像，得出一个能反映待

23、评价图像的质量值。 自 20世纪 60年代以来，人们通过对 HVS的不断探索，使得全参考的客观评价方法得 到了突飞猛进的发展。 1974年 Mannos和 Sakrison通过光栅可视度实验 5，提出了对比敏 感度函数 (Contrast Sensitivity Function, CSF)的算法模型，现在广泛地应用于客观评价的 研宄中。 1992年， Daly提出了视觉差异预报器 (Visible Differences Predictor, VDP)模型； Teo和 Heeger于 1995年提出了矩阵模型； 1997年， Watson提出离散余弦变换 (Discrete Cosine T

24、ransform, DCT)矩阵模型 6。这些算法都或多或少加入了 HVS特性，模拟了一些 人眼视觉的特性，但是由于HVS本身所具有的复杂性和多通道性，导致模拟程度受限， 因此评价结果还不是很理想。 由于 HVS特性方法本身的一些缺陷，客观质量评价的后期研宄方向 转化为从功能上 着手，即把 HVS看作是一个黑盒，不考虑其内部的组成结构，而是模拟它的输入输出。 2004年， Zhou Wang等人提出了一种自上而下的结构相似性理论与其模型 7，有效地模 拟了人眼提取视觉场景中结构信息的能力 ， 该方法已然成为当前应用最为广泛的评价方 法，近年来还有人将结构相似性理论的应用推广至小波域 8。 SS

25、IM也可应用于 Contourlet 变换域，这是因为 Contourlet变换具有多尺度性和多方向性，对提取结构信息有一定帮助。 2005年， Hamid等人提出了信息保真度准则 (Information Fidelity Criterion, IFC)和视觉信 息保真度 (Visual Information Fidelity, VIF)两种算法，这两种方法性能较好，涉及到小波 分解。 2008年叶盛楠等人对结构信息做出了新的诠释，提出了基于结构信息提取 (Structural Information Extraction, SlExt)9的评价方法。 2) 部分参考 (Reduced-R

26、eference, RR)评价算法：只需要将当前的图像与原始图像部 分重要的统计特征进行对比分析。 目 前，人们已经提出了多种部分参考图像质量评价方法，其中比较典型的有：基于 降质特征提取方法、基于小波域自然图像统计的方法、基于谐波强度的方法、针对彩色 图像的部分参考评价模型和基于多尺度几何分析 (Multiscale Geometric Analysis, MGA) 的方法 10等。 T.M.Kusuma和 H.J.Zepernick针对传输误码或压缩编码所造成的图像失真， 提出了一种基于降质特征提取的部分参考型图像质量评价方法 一 混合图像质量标准 (Hybird Image Qualit

27、y Metric, HIQM);由于块效应会使图像频谱中谐波分量的强度增大， 而模糊则会使图像频谱中谐波分量的强度减小，因此 I.P.Gunawan和 M.Ghanbari提出了一 种基于局部谐波强度 (Local Harmonic Strength, LHS)的部分图像质量评价方法；研宄发 现，不同失真会使小波系数的边缘概率分布产生不同的变化，因此， wang等人提出了一 种基于小波域自然图像统计模型的部分参考图像质量评价方法； Mathieu Carnec等人在 文献中提出了一种基于 HVS感知特性的通用彩色图像部分参考型质量评价方法。 3)无参考 (No-Reference, NR)评价

28、算法：完全不需要任何原始图像作为参考，仅仅 根据被评价图像本身的信息来评价，应用非常灵活，难度也比较大。 在过去的几十年，人们对视觉特性的认知非常有限，而且无参考图像评价本身难度 较大，无参考图像评价算法的发展受到了限制。无参考评价的方法一般都是针对某种特 定的失真类型进行评估的，如针对 JPEG图像， Babu等就提出了结合 HVS特性的 JPEG图 像质量评价方法， Wang11通过度量图像的差分信号的活跃度来估计图像的失真程度， 进而得出 JPEG图像的评价值；而Marziliano等人 12针对模糊，用边缘的延展宽度特性估 计图像锐度， 8“ 13等将模糊图像二次模糊，将两幅模糊图像做

29、对比来估计失真程度。 Sheikh14等提出的基于自然图像的统计模型是无参考在 Contourlet变换域和小波域上的 发展。无参考质量评价方法的难点是将人眼视觉特性考虑进来，要求评价的结果既要考 虑失真图像的客观因素，又要兼顾主观因素。近年来，研宄人员提出了一些基于人眼视 觉特性的无参考质量评价 方法，这些评价方法都取得了较好的评价效果。 由于图像最终是为人民服务的，不管是全参考、部分参考还是无参考的算法，其质 量评价结果必须和 HVS特征保持一致。 HVS的特性较多，但是相对成熟的、可用数学公 式准确度量的特征却有限，主要包括亮度掩盖效应、纹理掩盖效应、人类视觉敏感度和 时间掩盖效应。研宄

30、表明，评价图像质量时考虑 HVS特性的算法要明显优于那些单纯的 不考虑任何 HVS特性的评价算法，因此基于 HVS特性的算法是未来图像质量评价研宄的 热点之一。 1.2.2图像质量评价的发展方向 从上文可以看出，客观质量评 价方法已然成为当前图像质量评价的一个热点课题。 根据专家的研宄与预测，该领域仍有以下问题值得深入研宄和探索： (1) SSIM与 HVS结合进行图像质量评价。在 SSIM中有效的融入 HVS特性，可以对评 价结果有更进一步的提升。 (2) 考虑多个指标的评价模型。由单独的指标衡量图像的客观质量往往只能反映图 像的单一特征，不能反映其综合特征。因此多指标结合将是图像质量评价算法的另一个 发展方向。 (3) 尽量降低图像对原始图像的依赖程度。无参考评价方法逐渐成为专家热议的话 题，相应的研宄成果也不断增多，成为未来质量评价的一个发展趋势。 (4) 将 HVS有效地融入到无参考评价方法研宄中是发展的必然趋势。图像质量评价 的意义在于设计出与人的主观感受值相一致的算法。由于没有参考图像，无参考图像质 量评价方法只能够从图像所具有的本质特征着手来进行度量，同时又要最大限度的避开