图像测试改进调研

根据《大型活动用液晶彩色监视器通用规范》，与图像相关的测试内容有亮度、对比度、可视角、亮度均匀度、像素缺陷、清晰度等。以上指标要求一般是基于肉眼及仪器分析。肉眼主要用于进行识别；仪器主要对亮度等可量化的数据进行获取，而后通过统计学方式进行处理，并与标准数据进行比对。

本次主要对相似度分析算法进行调研，分别为PSNR峰值信噪比、感知哈希算法、计算特征点、基于频域的结构相似度的图像质量评价方法、直方图，并且可以通过软件（基于Matlab与OpenCV）的方式进行部分实现，以减少在测试过程中，需要人眼进行长时间注视的工作。

1.PSNR峰值信噪比

PSNR**（Peak Signal to Noise Ratio），一种全参考的图像质量评价指标。**

PSNR是最普遍和使用最为广泛的一种图像客观评价指标，然而它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。

SSIM（structural similarity）结构相似性，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pj5j3wqT-1581991868420)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)]

SSIM取值范围[0,1]，值越大，表示图像失真越小.

在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平均结构相似性MSSIM：

2.感知哈希算法

(perceptual hash algorithm**）**

感知哈希算法(perceptual hash algorithm)，它的作用是对每张图像生成一个“指纹”(fingerprint)字符串，然后比较不同图像的指纹。结果越接近，就说明图像越相似。

实现步骤：

缩小尺寸：将图像缩小到8*8的尺寸，总共64个像素。这一步的作用是去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异；
简化色彩：将缩小后的图像，转为64级灰度，即所有像素点总共只有64种颜色；
计算平均值：计算所有64个像素的灰度平均值；
比较像素的灰度：将每个像素的灰度，与平均值进行比较，大于或等于平均值记为1，小于平均值记为0；
计算哈希值：将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图像的指纹。组合的次序并不重要，只要保证所有图像都采用同样次序就行了；
得到指纹以后，就可以对比不同的图像，看看64位中有多少位是不一样的。在理论上，这等同于”汉明距离”(Hamming distance,在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数)。如果不相同的数据位数不超过5，就说明两张图像很相似；如果大于10，就说明这是两张不同的图像。

3.计算特征点

OpenCV的feature2d module中提供了从局部图像特征（Local image feature）的检测、特征向量（feature vector）的提取，到特征匹配的实现。其中的局部图像特征包括了常用的几种局部图像特征检测与描述算子，如FAST、SURF、SIFT、以及ORB。对于高维特征向量之间的匹配，OpenCV主要有两种方式：

1）BruteForce穷举法；
2）FLANN近似K近邻算法（包含了多种高维特征向量匹配的算法，例如随机森林等）。

feature2d module： http://docs.opencv.org/modules/features2d/doc/features2d.html

OpenCV FLANN: http://docs.opencv.org/modules/flann/doc/flann.html

FLANN: http://www.cs.ubc.ca/~mariusm/index.php/FLANN/FLANN

4. 基于频域的结构相似度的图像质量评价方法

基于结构相似度信息( SSIM)的图像质量评价方法结构简单、评价性能优于峰值信噪比( PSNR) , 但是在研究中发现SSIM 不能很好地评价严重模糊的图像。该文提出一种基于频域的结构相似度( FSSIM )的图像质量评价方法。该方法将频域信息作为图像的主要结构信息,根据人眼视觉系统( HV S)对不同频率分量的敏感程度不同,对离散余弦变换后的各频率分量加权后得到图像的频域函数。由频域函数、亮度函数和对比度函数计算得到结构相似度。实验结果表明, FSSIM 比SSIM 和PSNR更符合人眼视觉系统特性,能较好的评价图像质量。结构相似度文[8]提出的SSIM包括亮度、对比度和结构度3方面,如下:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aLDk64rp-1581991868421)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image004.jpg)]

其中: x 和y 分别为参考图像和噪声图像中的对应位置的块; l ( x , y )、c( x , y )和s(x , y )分别为x 和y的亮度函数、对比度函数和结构度函数; _ x 和_ y 分别为x 和y 的均值; ex 和ey 分别为x 和y 的标准差;ex y为x 和y 的协方差; T> 0、U> 0和V> 0是控制3部分权重的参数,文中设T= U= V= 1; C1、C2 和C3是为了避免出现分母为零而设置的常数,文中设C1= ( K1L ) 2、C2= (K2L ) 2和C3= C2 /2; K1、K2 1; L是像素的动态范围。结构相似度的值越高,表示2幅图像越相似。整幅图像的平均结构相似度( mean st ructuralsimila ri ty , MSSIM)是通过对所有图像块的SSIM求均值得到的:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oeNJQz5z-1581991868421)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image006.jpg)]

其中, M为整幅图像中图像块的个数。文[7- 8]的实验结果表明, SSIM比PSN R或MSE 更符人眼视觉特性。但是在研究中发现SSIM不能很好的评价严重模糊的图像。例如,在图

1中(a )是无失真的参考图像, ( b)、( c)是不同的失真图像。Gauss 模糊失真图像的主观评分差值( di fference mean opinion score, DMO S) 为82,PSN R= 30. 466 6, MSSIM= 0. 467 9,平均频域结构相似度( mea n frequency domain-based st ructuralsimila ri ty , M FSSIM)为0. 35。白噪声失真图像DMOS= 54, PSNR= 28. 377 4, MSSIM= 0. 368 6,M FSSIM= 0. 387 5。可以看出主观质量图1( c)比( b)好很多, M SSIM 的结果很不合理。这是因为SSIM在计算过程中使用的是空间域的统计信息,不能反映出图像中的人眼所感受到的微小细节反差和纹理变化。本文将从频域对结构相似度进行改进。

基于频域的结构相似度

由于人眼对不同频率的信息敏感程度不同,其中对边缘等一些频率分量非常敏感。频域信息可以有效地反映出图像的纹理特征,同时可以根据人眼对不同频率敏感程度进行不同的理。因此本文提出以频域信息作为图像的主要结构信息,进而提出基于频域的结构相似度的图质量评价方法。文中采用离散余弦变换对图像块进行空频域变换得到图像块的频域信息。正变换:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mv4KM4Wx-1581991868422)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image008.jpg)]

其中: f ( x , y )为原始图像块, F (u, v )为变换后的频域系数,图像块大小为M×N。考虑到变换的图像块长宽相等M= N , 并对变换后的系数分为直流系数( direct co ef ficient , DC)和交流系数( al terna ting coefficient, AC):

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5AtcUEPJ-1581991868422)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image010.jpg)]

考虑到人眼对不同频率的信息敏感程度不同,对交流系数根据人眼的感知进行加权后得到图像块x 和y 的频域相似度函数为

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iFxcN7AP-1581991868422)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image012.jpg)]

其中: eFx和eFy分别为x 和y 的频域加权标准差;

eFx y为x 和y 的频域加权协方差。计算方法如下:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3rEk1Og4-1581991868423)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image014.jpg)]

其中, wuv是对频率FAC (u , v )的感知加权系数,他是根据联合图象专家组( joint pho tog raphic expert sg roup, JPEG)静态图像压缩编码[9 ]中DC T系数的

量化参数计算,并归一化[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PgSWdDD9-1581991868423)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image015.png)] 后得出的。

用频域相似度函数sF ( x , y )代替式( 1)中的s( x , y ) , 得到基于频域的结构相似度:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cDLVHV0J-1581991868423)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image017.jpg)]

其中, T> 0、U> 0和V> 0是控制3部分权重的参数,本文中设T= U= V= 1。对各图像块的FSSIM求均值可得到整幅图像的基于频域的结构相似度:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7pSVOQma-1581991868424)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image019.jpg)]

5.matlab实现计算两张图片的相似度

图像处理之相似图片识别（直方图应用篇）

算法概述：

首先对源图像与要筛选的图像进行直方图数据采集，对采集的各自图像直方图进行归一化再使用巴氏系数算法对直方图数据进行计算，最终得出图像相似度值，其值范围在[0, 1]之间0表示极其不同，1表示极其相似（相同）。

算法步骤详解：

大致可以分为两步，根据源图像与候选图像的像素数据，生成各自直方图数据。第二步：使用第一步输出的直方图结果，运用巴氏系数（Bhattacharyya coefficient）算法，计算出相似程度值。

第一步：直方图计算

直方图分为灰度直方图与RGB直方图，对于灰度图像直方图计算十分简单，只要初始化一个大小为256的直方图数组H，然后根据像素值完成频率分布统计，假设像素值为124，则H[124] += 1, 而对于彩色RGB像素来说直方图表达有两种方式，一种是单一直方图，另外一种是三维直方图，三维直方图比较简单明了，分别对应RGB三种颜色，定义三个直方图HR,HG, HB, 假设某一个像素点P的RGB值为(4, 231,129), 则对于的直方图计算为HR[4] += 1,HG[231] += 1, HB[129] += 1, 如此对每个像素点完成统计以后，RGB彩色直方图数据就生成了。而RGB像素的单一直方图SH表示稍微复杂点，每个颜色的值范围为0 ~ 255之间的，假设可以分为一定范围等份，当8等份时，每个等份的值范围为32， 16等份时，每个等份值范围为16，当4等份时候，每个等份值的范围为64，假设RGB值为(14, 68, 221), 16等份之后，它对应直方图索引值(index)分别为: (0, 4, 13), 根据计算索引值公式:index = R + G16 + B16*16

对应的直方图index = 0 + 4*16 + 13 * 16 * 16， SH[3392] += 1

如此遍历所有RGB像素值，完成直方图数据计算。

第二步：巴氏系数计算，计算公式如下：

**[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eUDMytpv-1581991868424)(file:///C:/Users/PUBYFC~1/AppData/Local/Temp/msohtmlclip1/01/clip_image020.png)]**其中P, P’分别代表源与候选的图像直方图数据，对每个相同i的数据点乘积开平方以后相加,得出的结果即为图像相似度值（巴氏系数因子值），范围为0到1之间。

参考资料：

1）《基于频域的结构相似度的图像质量评价方法》

2） OpenCV进行图像相似度对比的几种办法

3） matlab实现计算两张图片的相似度

4）《大型活动用液晶彩色监视器通用规范》