Overview of image quality assessment

Presentation on theme: "Overview of image quality assessment"— Presentation transcript:

1 Overview of image quality assessment
我们毕业啦 其实是答辩的标题地方 Wang Wenzong Ocean University of China 授课教师 郑海永

2 introduction Subjective IQA Objective IQA Methods CONTANTS Related work State-of-the-art paper

3 introduction Stay hungry， stay foolish.

4 introduction Sub IQA Ob IQA Method Related work summary 。

5 “ ” What is image quality assessment ? Sub IQA Ob IQA Methods summary
introduction Sub IQA Ob IQA Methods Related work summary “ What is image quality assessment ? 图像质量的含义主要包括两个方面：图像的逼真度和图像的可懂度。图像质量直接取决于成像装备的光学性能、图像对比度、仪器噪声等多种因素的影响，通过质量评价可以对影像的获取、处理等各环节提供监控手段。为了对图像处理的各个环节进行合理评估，图像质量评价的研究已经成为图像信息工程的基础技术之一。 目前人们对人类视觉特性仍没有充分理解，特别是对人眼视觉的心理特性还难以找出定量的描述方法，因此图像质量评价还有待深入研究。 ”

6 introduction Sub IQA Ob IQA Methods Related work summary

7 introduction Sub IQA Ob IQA Methods Related work summary

8 Subjective IQA Stay hungry， stay foolish.

9 Human visual system（HVS）
Introduction Sub IQA Ob IQA Methods Related work summary Human visual system（HVS） Blurred image Original image As we can see above, it is easy for us to define which image is clear and which is blur, in another word, we can use our eyes to find which image’s quality is better.

10 Human visual system（HVS）
Introduction Sub IQA Ob IQA Methods Related work Summary Human visual system（HVS） Image 1 Image 2 However, if the differences between images are too small, it will be difficult to define which image is better and which one is worse. Therefore an objective method is needed for human to detect the quality of image effectively.

11 Mean opinion score(absulute assessment)
Introduction Sub IQA Ob IQA Methods Related work Summary Mean opinion score(absulute assessment) The MOS is the arithmetic mean of all the individual scores, and can range from 1 (worst) to 5 (best)

12 Introduction Sub IQA Ob IQA Method Related work Summary

13 Comparison(relative assessment)
Related work Introduction Sub IQA Ob IQA Methods Summary Comparison(relative assessment) Score :

14 s o w T Sub IQA Sub IQA Ob IQA Methods Summary Strength threat
Introduction Sub IQA Ob IQA Methods Related work Summary Based on HVS(human vision system) Accuracy Reliable Stable Strength Objective methods threat Sub IQA s w o T Speed Not fast Inefficient Expensive weakness New method such as: [1] Ye P, Doermann D. Active Sampling for Subjective Image Quality Assessment[C]// Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on .IEEE, : opportunity

15 Objective IQA Stay hungry， stay foolish.

16 image quality assessment
introduction Sub IQA Ob IQA Methods Related work Summary Half-reference IQA No-reference IQA Full-reference IQA 根据对原始图像信息的依赖程度，客观质量评价可分为3类。1) 全参考，需要原始图像的所有信息；2) 部分参考，需要原始图像的特征信息；3) 无参考型，不需要原始图像 image quality assessment

17 全参考方法 Methods Sub IQA Ob IQA Summary 基于像素误差统计的方法 基于结构相似度的方法
introduction Sub IQA Ob IQA Methods Related work Summary 基于像素误差统计的方法 基于结构相似度的方法 全参考方法 基于信息论提出的信息保真度 基于人类视觉系统 全参考型方法就是利用原始图像的全部信息，通过计算原始图像与失真图像之间的感知误差，并综合这些误差得到失真图像质量的评价值。

18 MSE(mean square error) PSNR(peak signal to noise ratio)
introduction Sub IQA Ob IQA Methods Related work Summary MSE(mean square error) [1] Safranek R J, Johnston J D. A perceptually tuned sub-band image coder with image dependent quantization and post-quantization data compression [J]. Acoustics, Speech, and Signal Processing, 1989, 3: PSNR(peak signal to noise ratio) [2] Avcibas I, Sankur B, Sayood K. Statistical evaluation of image quality measures [J]. Journal of Electronic Imaging, 2002, 11(2): 基于像素误差统计的算法 Weakness 这类算法的缺点是： 仅仅计算像素间的差异性，评价结果并不能很好地反映人眼对图像质量的主观感受

19 SSIM(structural similarity)
introduction Sub IQA Ob IQA Methods Related work Summary SSIM(structural similarity) 其中C1, C2, C3 用来增加结果稳定性, L为像素最大值 2004年由Wang等提出，它是度量参考图像与失真图像之间结构相似性(SSIMstructural similarity)的算法，认为人眼的主要功能是提取视场中的结构信息，并且人眼对视场内信号结构的改变具有高度的自适应性。 基于结构相似度的算法 [3] Wang Z, Bovik A C, Hamid R S, et al. Image quality assessment:from error visibility to structural similarity [J]. IEEE Transactions onImage Processing, 2004, 13(4):

20 VIF(visual information fidelity)
introduction Sub IQA Ob IQA Methods Related work Summary 基于信息论提出的信息保真度 VIF(visual information fidelity) Hamid 等从信息论的角度出发，通过计算原始图像与失真图像之间的互信息对图像质量进行度量，提出了视觉信息保真度(VIF, visual information fidelity)算法。信息保真度方法开发了图像信息和视觉质量之间的联系。 [4] Sheikh H R, Bovik A C, Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics [J]. IEEE Transactions on Image Processing, 2005, 14(12):

21 部分参考方法 Sub IQA Ob IQA Methods Summary 基于原始图像特征方法 基于wavelet域统计模型的方法
introduction Sub IQA Ob IQA Methods Related work Summary 基于原始图像特征方法 部分参考方法 基于wavelet域统计模型的方法 基于数字水印方法 部分参考方法仅利用原始图像的部分信息来估计失真图像的视觉感知质量。部分参考方法的优点是在减小传输数据量的基础上，获得了较好的评价效果。缺点是算法对提取的特征非常敏感。特征提取和特征比较是影响部分参考方法性能指标的关键因素。主要是先提取原始图像和失真图像的部分信息，通过比较部分信息对失真图像进行质量评价。

22 Contour let 变换的空域分解及子带选择示意图
introduction Sub IQA Ob IQA Methods Related work Summary 基于原始图像特征的方法 　Contour let 变换的空域分解及子带选择示意图 此方法利用Contourlet分解实现对图像内视觉敏感系数的提取, 通过统计比较失真图像与原始图像视觉敏感系数的关系, 得到对失真图像的质量评价测度。该方法与主观评价方法有很好的一致性。此类方法针对不同失真，选取特征是关键。 [5] Wang Tisheng, Gao Xinbo, Lu Wen. A new type of reduced reference image quality assessment [J]. Xi'an: Xi'an university ofelectronic science and technology, 2008, 35(l):

23 Sub IQA Ob IQA Methods Summary 基于wavelet域统计模型的方法 ADD YOUR TITLE 系统模型
introduction Sub IQA Ob IQA Methods Related work Summary 基于wavelet域统计模型的方法 根据人眼视觉感知特性, 提出了一种基于小波变换的图像质量评价方法。利用小波分解提取信号的局部信息，采用CSF(contrast sensitivity function )子带加权获得图像的视觉敏感信息, 通过统计参考图像在失真过程中，各子带的视觉感知系数在各自子带中所占比重的变化情况, 得到了一种新的部分参考型图像质量评价方法。 ADD YOUR TITLE 系统模型 [6] Lu Wen, Gao Xinbo, Wang Tisheng. A reduced reference image quality assessment based on wavelet analysis [J]. Journal of Electronics & Information, (l):

24 Sub IQA Ob IQA Methods Summary 基于图像纹理的方法 introduction Related work
[7] Zheng Xiaoxiang, Dai Pingzhong, Bai Jing, et al. Modeling andsimulation of physiological system [M]. Beijing, Beijing institute of technology press, 2003

25 无参考方法 Methods Sub IQA Ob IQA Summary BRISQUE方法 CBIQ方法 CORNIA方法
introduction Sub IQA Ob IQA Methods Related work Summary BRISQUE方法 无参考方法 CBIQ方法 CORNIA方法 无参考方法：不需要原始图像的任何信息，直接对失真图像进行质量评价。无参考型质量评估算法难点在于：图像特征难以定义和提取，人眼感知难以模型化表示。其优点是不需要传输原始图像，就能对失真图像进行质量评价。极大地减少了信息传输量。因此受到了很多人的关注，呈蓬勃发展之势。无参考方法一般都是基于图像统计特性。

26 Overview of general-purpose NR-IQA systems
introduction Sub IQA Ob IQA Methods Related work Summary CBIQ方法 Overview of general-purpose NR-IQA systems Ye等人将无监督特征学习引入到盲图像质量评价中．该类方法首先利用无监督学习方法从训练图像集中提取具有表征性的元素构建字典，然后将测试图像在所学字典上进行编码，进而得到测试图像的特征表示，最后利用所学特征进行质量评价，构建了CBIQ方法。 [8] Ye P，Doermann D S．No reference image quality assessment using visual codebooks． IEEE Transactions on image Processing，2012，2l(7)： [9] Ye P，Kumar J，Kang L，Doermann D S．Unsupervised feature learning framework for no reference image quality assessment//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)．Providence，USA，2012：

27 BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator )方法
introduction Sub IQA Ob IQA Methods Related work Summary BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator )方法 Bovik等人最先将自然场景统计特性引入到盲图像质量评价中，并基于图像在像素域以及图像余弦变换系数、小波变换系数和Gabor变换系数的统计规律，提取了对应的图像统计特征，然后进行质量预测，构建了BRISQUE方法，取得了较为优异的性能。 [10] A. Mittal, A. K. Moorthy and A. C. Bovik, “ No-Reference Image Quality Assessment in the Spatial Domain ”, IEEE Transactions on ImageProcessing, 2012 

28 Sub IQA Ob IQA Methods Summary 其他方法： BRISQUE-L BLIINDS-II CORNIA
introduction Sub IQA Ob IQA Methods Related work Summary 其他方法： BRISQUE-L [10]Mittal A，Moorthy A K，Bovik A C．Making image quality assessment .bust／／Pr。ceedings of the 2012 Conference Record of the Forty Sixth Asilomar Conference on Signals，Systems and Computers(ASILOMAR)．Pacific Grove，USA，2013： BLIINDS-II [11]Saad M A，Bovik A C，Charrier C．Blind image quality assessment：A natural scene statistics approach in the DCT domain．IEEE Transactions on image Processing，2013，2l(8)： CORNIA [12] Ye P，Kumar J，Kang L，Doermann D S．Unsupervised feature learning framework for no reference image quality assessment／／Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)．Providence，USA，2012： NSS-GS和NSS-TS [13] Gonen M，Alpaydin E．Multiple kernel learning algorithms．Journal of Machine Learning Research，20ll，12：

29 Related work Stay hungry， stay foolish.

30 Sub IQA Ob IQA Methods Related work Summary introduction Related work

31 introduction Sub IQA Ob IQA Method Related work Summary Related work I

32 Summary Stay hungry， stay foolish.

33 “ ” Summary Sub IQA Ob IQA method Summary
Related work Summary introduction “ Summary 目前，无参考图像质量评价方法具有以下几个特点：1)针对性强； 2) 从单纯的客观评价算法转变为与人类视觉系统特性相结合的算法；3)基于机器学习方法的算法逐渐增多。 总体来说，无参考图像质量评价方法还是一个比较新的研究领域，所取得的研究成果还非常的有限，还未形成一套标准的方法。不过，由于无参考图像质量评价方法所具备的各种优点，该方法正逐渐受到关注 （视频质量专家组将该方法的标准化作为其未来的一个工作方向），具有广阔的应用前景。 ”

34 THANKS NAME 王文宗