信 息 隐 藏 技 术 与 应 用 第八章 数字水印的评价理论 和测试基准 信 息 隐 藏 技 术 与 应 用 第八章 数字水印的评价理论 和测试基准 任延珍 副教授 2012.9

本章学习目标 了解数字水印的性能评价理论和表示 了解数字水印测试的基准程序

第8章 数字水印的评价理论和测试基准 8.1 性能评价理论和表示 8.2 水印测试基准程序

8.1 性能评价理论和表示 8.1.1 评测的对象 8.1.2 视觉质量度量 8.1.3 感知质量度量 8.1.4 可靠性评价与表示 8.1.5 水印容量 8.1.6 速度 8.1.7 统计不可检测性 8.1.8 非对称 8.1.9 面向应用评测

8.1.1 评测的对象 数字水印和拷贝保护中典型目的包括: 视音频信号永久性的鉴别 版权所有者证据 审计 拷贝控制标签 监视多媒体数据的使用 篡改证据 用户意识标签 数据扩展 提升搜索速度的标签

8.1.1 评测的对象 影响性能的因素包括以下几个方面： 嵌入信息的数量 水印嵌入强度 数据的大小和种类 秘密信息 直接影响水印的健壮性，一个重要的参数。要嵌入的信息越多，随意的健壮性就越低。 水印嵌入强度 水印的嵌入强度和水印可感知性之间需要权衡。 数据的大小和种类 数据尺寸大小，拍摄图像、合成图像、扫描图像等。 秘密信息 对鲁棒性、可感知性没有直接影响，但是密钥空间影响到安全性。

8.1 性能评价理论和表示 8.1.2 视觉质量度量 8.1.1 评测的对象 8.1.3 感知质量度量 8.1.4 可靠性评价与表示 8.1.5 水印容量 8.1.6 速度 8.1.7 统计不可检测性 8.1.8 非对称 8.1.9 面向应用评测

图像的质量评价 主观评价 让观察者根据一些事先规定的评价尺度或自己的经验，对测试图像按视觉效果提出质量判断，并给出质量分数，对所有观察者给出的分数进行加权平均。这种方法称为平均意见分（MOS）方法 客观评价 以机器为主体对图像质量进行评价

主观评价 比较准确 受观察者的知识背景、情绪和疲劳程度等因素的影响 可重复性较差

主观图像质量评测

主观评价的主要手段 对于图像的感知性能，人类的主观评价是十分有效和重要的。 我们进行水印不可见性主观评价的实验是二选一迫选实验（Two Alternatives Forced Choice,TAFC)。 另一个典型实验就是要求观察者将作品按照感知质量优劣排成等级。如ITU-R Rec.500对于电视图像的感知质量。

ITU-R Rec.500对图像等级的定义

二选一迫选实验举例（第1组）

二选一迫选实验举例（第2组）

二选一迫选实验举例（第3组）

二选一迫选实验举例（第4组）

二选一迫选实验举例（第5组）

二选一迫选实验举例（第6组）

二选一迫选实验举例（第7组）

二选一迫选实验举例（第8组）

二选一迫选实验举例（第9组）

二选一迫选实验举例（第10组）

二选一迫选实验举例 在前面十组图像中，加有水印的图像依次为：右、右、左、右、左、左、左、右、左、右

临界可觉差异 Just Noticeable Difference，JND 感觉阈值是人感到某个剌激存在或剌激发生变化所需刺激强度的临界值，又分为绝对感觉阈值和差别感觉阈值。 绝对感觉阈值指最小可觉察的剌激量，也就是有50%的可能被觉察到的最小刺激量。 差别感觉阈值是指那种刚能引起差别感觉的两个刺激之间的最小差异量。 刺激变化时所产生的最小感觉差异就是JND 。

TAFC与JND 在水印不可见性评价中，人们通常将在TAFC中有50%正确率的那一组原始图像和加有水印的图像之间的差异称为零JND。

100 个同学进行TAFC的结果

100 个同学进行TAFC的结果

客观评价 对一个系统中输入和输出的图像信号做处理和分析，一般是从图像中提取一些特征参量作为研究分析对象，处理并作比较。从总体上反映了图像间的差别 常用的有 均方误差（MSE） 峰值信噪比（PSNR）

客观评价 使用方便 可重复性强 评价结果与主观感觉有时存在不一致

客观图像质量评测

经过尺度适应后，所列出的大部分度量都可应用于除了图像之外的其他类型的数据中，例如音频数据。 其中SNR,PSNR（db）应用最为广泛

均方差（Mean Square Error, MSE） 信噪比（Signal to Noise Ratio,SNR） 峰值信噪比（Peak Signal to Noise Ratio,PSNR）

均方差（Mean Square Error, MSE） MSE是最普遍的使用于图像感知质量评价的手段之一。图像之间的MSE由以下公式计算得到： 其中，I(x,y)表示原始图像各像素，IW(x,y)表示加有水印的图像各像素。M×N是图像的尺寸。

对MSE的讨论 MSE计算简单，便于理解，能在一定程度上评价图像的感知质量。见《实验教程》表8.3。 MSE是用来求SNR、PSNR的基础。

MSE低估了图像(d)的质量

MSE高估了图像(a)的质量

信噪比（Signal to Noise Ratio,SNR）

峰值信噪比 （Peak Signal to Noise Ratio,PSNR） D是图像峰值，在8位图中为255，在16位图中为65535。

MSE与SNR、PSNR的关系 SNR、PSNR存在与MSE同样的问题。

为什么客观评价与主观评价不能很好吻合？ 人眼对所看到物体的理解，不仅与生理因素有关，还在相当大的程度上取决于心理因素 如“视而不见”，“听而不闻” 对感兴趣的区域给予极大关注，对其它区域不在意 大脑对所接收的事务有一个过滤和取舍的过程，目前计算机还无法很好地模拟此过程

例1 高斯噪声，椒盐噪声，PSNR相同 PSNR(dB) 48.1183 50.9538

例1（续） PSNR(dB) 34.1389 35.1996

例1（续） PSNR(dB) 28.1183 29.0575

例2 PSNR(dB) 23.1805 23.5164

例2（续） PSNR(dB) 23.5084 23.2079

8.1 性能评价理论和表示 8.1.4 可靠性评价与表示 8.1.1 评测的对象 8.1.2 视觉质量度量 8.1.3 感知质量度量 8.1.5 水印容量 8.1.6 速度 8.1.7 统计不可检测性 8.1.8 非对称 8.1.9 面向应用评测

8.1.3 可靠性评价与表示 对水印系统的性能评价 水印系统健壮性影响因素 视觉质量 嵌入的数据量 水印攻击强度

8.1.3 可靠性评价与表示 系统可靠性评测方法 为了能进行合理的性能评价，应该固定某些因素，也就是说我们应该控制测试环境，使得一些量固定，一些量变化。 健壮性用来描述对这些攻击的抵抗能力，由误码率（Bit-Error Rote）来评估。

8.1.3 可靠性评价与表示

8.1.3 可靠性评价与表示 举例：两种水印嵌入方法可靠性评测： 水印算法1：在空间域采用扩频调制水印嵌入 水印算法2：在多分辨率环境下，用Daubechies六抽头的滤波器对图象进行3级小波变换，在变换域采用扩频调制水印嵌入

实验环境和参数的确定 图像源：512*512*24色的Lena图象 水印序列： 攻击策略： JPEG压缩 实验评测指标 采用密钥，作为产生扩展频谱序列水印的随机数发生器的种子 长度为100bit。 攻击策略： JPEG压缩 实验评测指标 健壮性：位误码率 视觉质量度量：MPSNR --》Q 实验方案：每项测试应用不同的随机产生的密钥进行多次。

实验结果 （1）健壮性对攻击强度曲线（Robustness vs. Attack Strength Graph） （2）健壮性对视觉质量曲线（Robustness vs. Visual Quality Graph） （3）攻击强度对视觉质量曲线（Attack vs. Visual Quality Graph） （4）接受者操作特性曲线（ROC，Receiver Operating Characteristic）

（1）健壮性对攻击强度曲线（Robustness vs. Attack Strength Graph） 在给定视觉质量的前提下，位误码率或检测误码率与攻击强度之间的函数关系。 每项测试使用不同的密钥进行10次，视觉质量级别固定在Q=4.5. 很明显在给定视觉质量的前提下，多分辨率扩频水印方案具有更好的性能。

（2）健壮性对视觉质量曲线（Robustness vs. Visual Quality Graph） 在给定攻击强度下，位误码率或检测误码率与视觉质量的关系。 每项测试使用不同的密钥对一幅图进行10次。 攻击采用的是对图象进行75%质量系数的JPEG压缩。 实验结果：对一给定的期望误码率，多分辨率水印方案会有更高的视觉质量。

（3）攻击强度对视觉质量曲线（Attack vs. Visual Quality Graph） 在误码率固定时如0.1，给定视觉质量，每项测试用不同的密钥重复进行5次。 多分辨率方法攻击强度小,性能好。

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic）

水印的检测任务： （4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 判断给定图像是否存在水印 解码水印信息

检测错误 （4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 判断是否存在水印时出现的错误 常用的水印检测策略是相关检测。在相关检测中，检测阈值的取值对检测结果起着决定性的作用。

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 二元的假设校验，存在两类错误 第一类错误（false positive）：在没有嵌入水印的图像中检测到水印（虚警错误） 第二类错误（false negative）：在嵌入水印的图像中没有检测到水印（漏警错误） 水印图像 提取水印

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 检测器输出分布和阈值

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 关于检测阈值的函数曲线，直观地反映了水印检测的灵敏度和特异性以及两类错误率之间的关系。

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 横坐标：False Positive Fratction（错误肯定率）（1-特异性） 纵坐标： True positive-Fratction （正确肯定率）（灵敏度）

TPF = TP/(TP +FN) （4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 正确接受比率 True positive-Fratction （灵敏度） TPF = TP/(TP +FN) TP（True Positive）：正确接受测试结果次数（ 嵌入水印的图像中检测到水印的次数） FN（False Negative）：错误拒绝测试结果次数（嵌入水印的图像中没有检测到水印的次数） 水印 图像 提取水印

FPF = FP/(TN +FP) （4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 错误报警比率 False Positive-Fratction FPF = FP/(TN +FP) FP（False Positive）：错误报警测试结果次数（没有嵌入水印的图像中检测到水印的次数） TN（True Negative）：正确拒绝测试结果次数（没有嵌入水印的图像中没有检测到水印的次数） 特异性： TNF = 1-FDF 水印 图像 提取水印

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） ROC曲线的含义（两类错误之间的关系 FPF ， 1-TPF） TPF FPF

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） ROC曲线的含义：ROC曲线越向左上偏，曲线与坐标轴围成的面积越大，表明检测器性能就越好。

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 实例： W-SVD 水印系统 图像：5副JPEG图像，256x256

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 实例： 检测样本空间 未嵌入水印的图像 采用C-SVD嵌入水印的图像 攻击策略 采用JPEG不同程度的压缩处理 检测方法 常规检测器 DCT检测器

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic）

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic）

（4）接受者操作特性曲线（ROC，Receiver Operating Characteristic） 使用 MATLAB 中的 trapz函数分别计算两组 ROC 曲线与坐标轴所围成的曲边梯形的面积, 得到两个面积分别为 0. 7525 和 0. 7459, 由此可见,这两种检测器的性能是相当的。

8.1 性能评价理论和表示 8.1.5 水印容量 8.1.1 评测的对象 8.1.2 视觉质量度量 8.1.3 感知质量度量 8.1.4 可靠性评价与表示 8.1.5 水印容量 8.1.6 速度 8.1.7 统计不可检测性 8.1.8 非对称 8.1.9 面向应用评测

8.1.5 水印容量 判定有多少信息能可靠地嵌入在制定的信号中 判定可靠检测和有效提取信息的载体信号的最小部分

8.1.6 速度 实时的嵌入与检测 计算复杂度 在相同的平台环境下进行比较

8.1.7 统计不可检测性 攻击者不能发现嵌入与没有嵌入水印信号的重要的统计差别 载体与嵌入载体信息之间的统计特性是不相同的。

8.1.8 非对称性 私有水印 公开水印

8.1.9 面向应用的评测 面向应用的评测理论和评测攻击Checkmark 数字水印有很多不同的应用 不同的应用有不同的要求 面向应该评测针对不同的应用采用不同的攻击进行评测。

第8章 数字水印的评价理论和测试基准 8.1 性能评价理论和表示 8.2 水印测试基准程序

8.2 水印的测试基准程序 8.2.1 Stirmark 8.2.2 Checkmark 8.2.3 Optimark 8.2.4 测试图像

8.2.1 Stirmark 鲁棒性测试采取主动攻击的方法测试数字水印对数据同步的依赖程度、 抗各种线性和非线性滤波的能力以及抵御几何变换等其他攻击的能力。 由于人工测试过程是一个复杂烦琐的过程 ,因此自动测试软件是数字水印技术应用的重要保证。

8.2.1 Stirmark Fabien Petitcolas（英国）在剑桥大学读博士期间研发了Stirmark，在1997年第一次公布 是数字水印研究领域中典型的自动测试工具包 许多公开发表的数字水印方面的研究报告和论文都以的 Stirmark 的攻击结果作为衡量水印算法优劣的标准。

8.2.1 Stirmark 用c++实现的数字水印攻击软件 并包含源代码 可作为水印攻击工具使用，并可以在其中集成自己开发的攻击算法进行攻击测试 资源地址： http://www.petitcolas.net/fabien/watermarking/stirmark/

8.2.1 Stirmark 1997年11月，发布Stirmark 1.0 目前版本： StirMark Benchmark 4.0 2009,7

8.2.1 Stirmark 功能： 对图像进行改变操作（水印攻击） Stirmark评测基准引擎 可以插入自己的水印库，使用评测轮廓（基本的测试和图像）来进行评测。 可以插入自己的攻击策略。

8.2.1 Stirmark 特点： 使用用户提供的动态链接库作为水印标记 对在 ini文件中指定的文件夹所包含的所有媒体文件执行测试 在LOG文件中导出量化测试结果 同时在输出文件夹中导出失真图像 用户可容易地编写自定义的测试和攻击

8.2.1 Stirmark

8.2.1 Stirmark

Stirmark Version 3.1 中包括以下图像改变操作 (1) 剪切(Cropping) (2) 水平翻转(Flip) (3) 旋转(Rotation) (4) 旋转-尺度(Rotation-Scale ) (5) FMLR, 锐化，Gaussian 滤波(FMLR, sharpening, Gaussian filtering)

Stirmark Version 3.1 中包括以下图像改变操作 (6) 随机几何变形(Random bending) (7) 线性变换(Linear transformations ) (8) 各个方向按比例变换(Aspect ratio) (9) 尺度变换(Scale changes ) (10) 线性移除(Line removal) (11) 颜色量化(Color reduction) (12) JPEG压缩(JPEG compression)

8.2.1 Stirmark 执行程序 处理图片库 配置文件 程序源代码

8.2.1 Stirmark StirMark Benchmark.exe SMBsettings.ini Input Output Image Set1 Set2 Set3 Output

8.2.1 Stirmark

8.2.1 Stirmark Stirmark for Audio http://wwwiti.cs.uni-magdeburg.de/~alang/smba.php

8.2 水印的测试基准程序 8.2.1 Stirmark 8.2.2 Checkmark 8.2.3 Optimark 8.2.4 测试图像

8.2.2 Checkmark Pereira（瑞士）开发的一个数字水印技术测试基准工具 支持操作系统：UNIX 或Windows 语言：Matlab 下载地址：http://watermarking.unige.ch/Checkmark/index.html

8.2.2 Checkmark 特点： 面向应用的评测 使用XML描述应用 考虑每个攻击作为应用的功能 每个攻击有不同的强度 容易集成新的攻击和应用 以HTML文件自动生成结果。

8.2.2 Checkmark 各种应用： Copyright protection Banknote protection 最重要的应用，包括所有的攻击。 Banknote protection 特别的应用，仅一些攻击的子集可以应用 Non-geometric 一个人工的例子 Logo Medical Images Video，MediaBride，Maps，BW&Color Medical Image

8.2 水印的测试基准程序 8.2.1 Stirmark 8.2.2 Checkmark 8.2.3 Optimark 8.2.4 测试图像

8.2.3 Optimark Optimark（希腊） 是一个静态图像水印算法测试基准工具 由希腊Aristotle 大学信息学系人工智能和信息分析实验室发展的 下载地址： http://poseidon.csd.auth.gr/optimark/

8.2.3 Optimark 主要特性： 图形用户接口 利用多试验不同的水印密钥和信息评价监测和解码性能。 检测器性能的评价 解码性能机制的评价 平均嵌入和检测时间的评价 算法负载（多比特算法）的评价 算法崩溃机制的评价 用户定义的攻击选项和预先基准测试项

8.2.3 Optimark 攻击策略： 无攻击 剪切 行列删除 广义线性变形 尺度变换 减取 水平翻、旋转 旋转 旋转+自动减取 …

8.2 水印的测试基准程序 8.2.1 Stirmark 8.2.2 Checkmark 8.2.3 Optimark 8.2.4 测试图像

8.2.4 测试图像 比较相同的一套图像样本是对不同水印算法性能进行对比评测的基础。 建立水印测试基准图库

8.2.4 测试图像 建库原则： 图像应该具有有某些典型的信号处理的特点：图像纹理、光滑区域、图像大小、合成、图像边缘、锐化、亮度对比度等等， 这些图像应该覆盖大部分的内容和类型。 颜色、纹理、模式、形状、亮度。 但是，要得到一个列举所有类型图像的图库是不可能的，而且库存图像公司要建立一个满意的图像索引也是有很多困难的。但我们至少可以保留这样一些图像类型的主要部分，这个图像库包括比较广的图像类型：颜色、纹理、模式、形状、亮度。

8.2.4 测试图像 公开图像库： USC-SIPI 图像数据库 地址：http://sipi.usc.edu/database/

8.2.4 测试图像 公开图像库： USC-SIPI 图像数据库 地址：http://sipi.usc.edu/database/

课后思考 数字水印的视觉质量度量方法有哪些？说明其工作原理 什么是ROC曲线？其横纵坐标分别代表什么含义？

谢 谢！ 2019/4/9