检测错误与ROC曲线 《信息隐藏实验教程》教学幻灯片 十八.

Presentation on theme: "检测错误与ROC曲线 《信息隐藏实验教程》教学幻灯片 十八."— Presentation transcript:

1 检测错误与ROC曲线 《信息隐藏实验教程》教学幻灯片 十八

2 检测错误 在检测水印时 ，存在着两类错误： 第一类错误（False Positive） 第二类错误（True Positive）

3 第一类错误 该类错误是指在没有嵌入水印的接收图像中检测到了水印，也就是说水印检测器输出的相关性值大于给定的阈值。由于检测器错误的发出报警，因此这类错误也被称为虚警错误。

4 第二类错误 该类错误是指在有嵌入水印的接收图像中没有检测到水印，也就是说水印检测器的输出的相关性值小于给定的阈值。在这种情况下，检测器应该但没有报警，因此这类错误也被称为漏警错误。

5 检测错误的直观表示 下图可以直观的看出这两类错误产生的情况，图中的阴影部分表示的是发生第一类错误的概率 ：

6 检测错误的直观表示

7 ROC曲线的引入 为了进一步了解和分析两类错误，我们引进利用ROC(Receiver Operating Characteristic)曲线的ROC分析法来说明它。 ROC曲线是关于检测阈值的函数曲线。它直观反映了水印检测的灵敏度和特异性以及两类错误率之间的关系。

8 ROC曲线的引入 ROC曲线纵坐标定义为TPR(True Positive Ratio),我们也称之为灵敏度（sensitivity），用公式表示为： 式中的TP表示正确接受测试结果的次数，也就是在嵌有水印的接收图像中检测到水印的次数，FN表示错误拒绝的测试结果的次数，也就是在嵌有水印的接收图像中没有检测到水印的次数。

9 ROC曲线的引入 ROC曲线横坐标定义为FPR(False Positive Ratio)，它与特异性（specificity，TNR）是互补的关系，即FPR=1—特异性。 式中的FP表示错误报警测试结果的次数，即在没有嵌入水印的接收图像中检测到水印的次数，TN表示正确拒绝测试结果的次数，即在没有嵌入水印的接收图像中没有检测到水印的次数。

10 ROC曲线的含义

11 ROC曲线的含义 ROC曲线越向左上偏，曲线下的面积越大，其性能就越好。上图上半部分所示的是4种类型检测的加有水印的图像和没有加水印的图像的分布。图的下半部分是上半部分对应的ROC曲线，我们可以明显的看出，b实验的曲线最为理想。

12 绘制ROC曲线实例 在标准图像库中我们选取如下所示的五幅JPEG图像，其大小均为256×256。我们将使用它们来生成实验的样本空间。

13 绘制ROC曲线实例

14 绘制ROC曲线实例

15 绘制ROC曲线实例 检测的样本空间由以下几个方面构成：5幅原始图像；每幅原始图像做以10%压缩率为间隔的9幅JPEG压缩图像，这一共得到45幅图像；对每幅原始图像各自加入10个不同种子的水印，得到50幅加有水印的图像；再分别对5幅图像加入水印，并进行如前面的压缩，得到45幅经过不同程度压缩的嵌有水印的图像和5幅嵌入水印但没有压缩的图像。这样共有100幅加有水印的图像（不管有没有压缩），以此作为后面检测漏警错误的样本空间。50幅没有加入水印的图像，作为检测虚警错误的样本空间。

16 绘制ROC曲线实例 以某一个检测阈值（例如0.05）检测一幅图像，结果有四种组合：图像加有水印并被检测出来（TP）、图像加有水印没有被检测出来（FN）、图像没有加水印检测结果也无水印（TN）、图像没有加水印但检测出水印（FP）。

17 绘制ROC曲线实例 下面分别是常规检测器和DCT检测器检测的结果：

18 绘制ROC曲线实例 0.01 98 2 44 6 0.98 0.12 阈值 水印图像中检测到水印的累计数目（TP）
水印图像中没有检测到水印的累计数目（FN ） 无水印图像中检测到水印的累计数目（FP） 无水印图像中没有检测到水印的累计数目（TN） 灵敏度（TPR） 特异性(TNR) 0.01 98 2 44 6 0.98 0.12

19 绘制ROC曲线实例 0.02 89 11 38 12 0.89 0.24 0.03 85 15 25 0.85 0.5 0.04 19 31 0.62 0.05 84 16 18 32 0.84 0.64 0.06 83 17 0.83 0.76

20 绘制ROC曲线实例 0.08 81 19 6 44 0.81 0.88 0.1 80 20 50 0.80 1 0.15 76 24 0.76 0.2 70 30 0.70 0.25 68 32 0.68

21 绘制ROC曲线实例 0.3 62 38 50 0.62 1 0.4 58 42 0.58 0.5 54 46 0.54 0.6 53 47 0.53 0.7 52 48 0.52

22 绘制ROC曲线实例 阈值 水印图像中检测到水印的累计数目（TP） 水印图像中没有检测到水印的累计数目（FN） 无水印图像中检测到水印的累计数目（FP） 无水印图像中没有检测到水印的累计数目（TN） 灵敏度（TPR） 特异性(TNR) 0.02 96 4 43 7 0.96 0.14 0.04 93 36 14 0.93 0.28

23 绘制ROC曲线实例 0.06 90 10 30 20 0.90 0.40 0.08 88 12 26 24 0.88 0.48 0.1 86 14 18 32 0.86 0.64 0.15 83 17 13 37 0.83 0.74 0.2 81 19 5 45 0.81

24 绘制ROC曲线实例 0.25 78 22 3 47 0.78 0.94 0.3 75 25 50 0.75 1 0.35 71 29 0.71 0.4 69 31 0.69 0.5 64 36 0.64

25 绘制ROC曲线实例 0.6 58 42 50 0.58 1 0.7 56 44 0.56 0.8 53 47 0.53

26 ROC曲线 根据上表绘制的ROC曲线：