多媒体搜索引擎 多媒体文档内容理解技术.

Presentation on theme: "多媒体搜索引擎 多媒体文档内容理解技术."— Presentation transcript:

1 多媒体搜索引擎 多媒体文档内容理解技术

2 Multimedia Search Engine
多媒体文档语义描述 人描述多媒体信息的方法 “面若中秋之月，色如春晓之花，鬓若刀裁，眉如墨画，面如桃瓣，目若秋波。” “一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，体格风骚，粉面含春威不露，丹唇未启笑先闻。” “部件” “特征” 分割 特征提取 2018年9月18日 Multimedia Search Engine

3 Multimedia Search Engine
多媒体文档语义描述 分割 把多媒体文档分解成语义相对独立的部分 特征提取 从各部分提取出能表示其语义的特征 特征必须是计算机可计算的 不可计算：“丹凤三角眼”，“柳叶吊梢眉” 可计算：矢量 由于声音能够提供的语义比图像/视频少很多，这方面的研究以图像/视频为主。 2018年9月18日 Multimedia Search Engine

4 Multimedia Search Engine
图像分割 如何分割 需要被分割成不同部分的对象有什么不同？ 第一类图像：前景与背景 2018年9月18日 Multimedia Search Engine

5 Multimedia Search Engine
图像分割 前景与背景分割 假设：前景与背景亮度不同 一个暗一个亮 阈值分割 如何求最优分割阈值？ 阈值 2018年9月18日 Multimedia Search Engine

6 Multimedia Search Engine
图像分割 前景与背景分割 基于直方图的方法 直方图：图像灰度级的离散概率密度函数 如何发现这个点？ 2018年9月18日 Multimedia Search Engine

7 Multimedia Search Engine
图像分割 前景与背景分割 最大熵算法 熵： 物理含义：分布的“均匀性” 越均匀，熵越大 越不均匀，熵越小 2018年9月18日 Multimedia Search Engine

8 Multimedia Search Engine
图像分割 前景与背景分割 最大熵算法 图像假设：前景/背景亮度不同 直方图如同时包含前景和背景，则其熵将变小 如只包含前景或背景，熵将变大 把直方图分解成两部分，分别计算熵，两部分熵的和最大时为最佳分割阈值 H1 H2 很强很完美？ 2018年9月18日 Multimedia Search Engine

9 Multimedia Search Engine
图像分割 前景与背景分割 最大熵算法 图像噪声影响直方图 2018年9月18日 Multimedia Search Engine

10 Multimedia Search Engine
图像分割 前景与背景分割 最大熵算法 如何解决？ 2018年9月18日 Multimedia Search Engine

11 Multimedia Search Engine
图像分割 前景与背景分割 物体的分布区域是空间连续的 相邻像素应该有相同的分类 很可能是噪声 如何利用这些信息? 2018年9月18日 Multimedia Search Engine

12 Multimedia Search Engine
图像分割 前景与背景分割 松弛算法 P(i): 像素i是前/背景的概率 i1 i2 i3 i4 i i5 i6 i7 i8 像素值 255 先有鸡？先有蛋？ 2018年9月18日 Multimedia Search Engine

13 Multimedia Search Engine
图像分割 前景与背景分割 先有鸡？先有蛋？ 恐龙象鸡蛋的恐龙蛋象鸡的恐龙更象一点的蛋再象一点的鸡……高产芦花鸡优质土鸡蛋…… “鸡蛋同出” 迭代优化 EM算法 2018年9月18日 Multimedia Search Engine

14 Multimedia Search Engine
图像分割 前景与背景分割 松弛算法 初始化: 迭代： 2018年9月18日 Multimedia Search Engine

15 Multimedia Search Engine
图像分割 前景与背景分割 松弛算法 同等对待所有领域 同质奖励 异质惩罚 > <0 反复迭代多次，直至收敛 2018年9月18日 Multimedia Search Engine

16 Multimedia Search Engine
图像分割 前景与背景分割 松弛算法 待分割图像 阈值分割 松弛算法 还有更高级、更复杂的算法 2018年9月18日 Multimedia Search Engine

17 Multimedia Search Engine
图像分割 前景与背景分割 实际应用：指纹图像处理 很强很完美？ 2018年9月18日 Multimedia Search Engine

18 Multimedia Search Engine
图像分割 前景与背景分割 实际图像 并非一定有显著亮度/颜色差异 可以是纹理差异 可以是…没有差异！？ 有边缘线条画 前/背景有多个物体 还可能互相遮盖 2018年9月18日 Multimedia Search Engine

19 Multimedia Search Engine
图像分割 对象分割(Object Segmentation) 把图像分解成对象 “对象”：具有独立语义的图像区域 人脸 眼睛、鼻子、眉毛？ 人？ 不同应用有不同“粒度” 2018年9月18日 Multimedia Search Engine

20 Multimedia Search Engine
图像分割 对象分割 人眼分割物体的方法 边缘：人眼对边缘敏感 通过边缘分割物体 检测边缘 边缘所围的区域为物体 如何检测边缘？ 2018年9月18日 Multimedia Search Engine

21 Multimedia Search Engine
图像分割 灰度级 对象分割 边缘检测 边缘的数学模型 一阶导数 二阶导数 2018年9月18日 Multimedia Search Engine

22 Multimedia Search Engine
图像分割 对象分割 边缘检测 图像的一阶导数 图像是二维的只能求偏导数结果为矢量 梯度矢量 幅度： 方向： 2018年9月18日 Multimedia Search Engine

23 Multimedia Search Engine
图像分割 对象分割 边缘检测 检测算子：用卷积对一阶偏导数的近似 -1 1 -1 1 1 -1 -1 1 Prewitt -1 -2 1 2 -1 1 -2 2 1 2 -1 -2 -2 -1 1 2 Sobel 水平 垂直 -45° +45° 2018年9月18日 Multimedia Search Engine

24 Multimedia Search Engine
图像分割 对象分割 Sobel算子检测例 很强很完美？ 2018年9月18日 Multimedia Search Engine

25 Multimedia Search Engine
图像分割 对象分割 边缘检测的问题 噪声敏感 导数反映的是变化 噪声是高频的变化 阶越高对噪声越敏感 很少使用二阶导数 基本上不考虑更高阶的导数 2018年9月18日 Multimedia Search Engine

26 Multimedia Search Engine
图像分割 对象分割 边缘检测的问题 不大可能总是检测出连续的边缘 2018年9月18日 Multimedia Search Engine

27 Multimedia Search Engine
图像分割 对象分割 局部连接 如果在很近的领域内像素的梯度幅度和方向都很相似，则连接这两个像素 |f (x,y) – f (x’,y’)|  T | (x,y) –  (x’,y’)| < A 在同一边缘上的像素 能连接的仍然很少 只能在很小的局部进行连接(3x3, 5x5) 2018年9月18日 Multimedia Search Engine

28 Multimedia Search Engine
图像分割 任何可以化为参数方程的形状都可以检测 对象分割 Hough变换 把坐标空间变换到参数空间，检测峰值 y=ax+b b A Y a 出现峰值 B X “简化”的Hough变换：实际变换的理论更复杂 2018年9月18日 Multimedia Search Engine

29 Multimedia Search Engine
图像分割 对象分割 边缘检测 虽然可以使用大量技术，要获得完整的边缘并不容易 边缘检测只作为图像分割和其它图像处理技术的辅助手段 如何更好地进行分割？ 2018年9月18日 Multimedia Search Engine

30 Multimedia Search Engine
图像分割 对象分割 基于颜色、纹理特征的分割 假设：对象和对象之间总要有差异 要么颜色，要么纹理 检测这种差异，即可进行分割 原始图像 特征图像 ！ 聚类 2018年9月18日 Multimedia Search Engine

31 Multimedia Search Engine
图像分割 对象分割 基于颜色、纹理特征的分割 使用RGB颜色作为特征，K-均值聚类算法 分割过细 纹理区域被分割 必须指定类数 2018年9月18日 Multimedia Search Engine

32 Multimedia Search Engine
图像分割 对象分割 基于颜色、纹理特征的分割 Mean-Shift聚类 2018年9月18日 Multimedia Search Engine