Download presentation
Presentation is loading. Please wait.
1
图像检索技术综述
2
图像检索技术的发展历史 当前主流的图像检索技术介绍 一个图像搜索引擎的系统模型
本文主要内容 图像检索技术的发展历史 当前主流的图像检索技术介绍 一个图像搜索引擎的系统模型
3
(Text-based Image Retrieval） 沿用了传统文本检索技术，利用文本描述的方式表示图像的特征。
20世纪70年代： TBIR (Text-based Image Retrieval） 基于文本的图像检索技术 沿用了传统文本检索技术，利用文本描述的方式表示图像的特征。
4
早期的TBIR： 手工对图像进行注释，工作量相当大，不可避免地会带来主观性和不精确性 Internet环境下的TBIR： 网页信息的自动采集和标引技术 索引方式：全文索引和关键词索引 Google，Yahoo和百度等搜索引擎所提供的图像检索服务，它们采用的都是TBIR技术．
5
TBIR的优点：使用成熟的文本检索和搜索引擎技术，符合人们的检索习惯，实现简单
6
TBIR的缺点：标注的准确性差，也不能满足用户对图像原始特征信息的检索
7
MPEG-7 国际标准化组织ISO／IEC 制定的MPEG-7国际标准，该标准的正式名称为“多媒体内容描述接口”（Multimedia Content Description Interface），为各类多媒体信息提供一种标准化的描述，并将该描述与所描述的内容相关联，极大地促进了对各种多媒体信息的快速查询和访问。 该标准于1998年10月提出，于2001年最终完成并公布。
8
MPEG-7标准化的范围包括： 一系列的描述子（描述子是特征的表示法，一个描述子就是定义特征的语法和语义学）； 一系列的描述结构（详细说明成员之间的结构和语义）； 一种详细说明描述结构的语言、描述定义语言（DDL）； 一种或多种编码描述方法。
9
(Content-based Image Retrieval）
90年代以来： CBIR (Content-based Image Retrieval） 基于内容的图像检索 对图像的视觉内容，如图像的颜色、纹理、形状等进行分析和检索图像。 其特点是图像本身包含的客观视觉特性，不需要人为干预和解释，能够通过计算机自动实现对图像特征的提取和存储。
10
CBIR进行检索时利用的是第2层的特征。特征提取是CBIR系统最基础的部分，在很大程度上决定了CBIR系统的成败． [1]
第3层：语义特征层 人们对图像内容概念级的反映 第2层：物理特征层 图像的颜色、纹理、形状和轮廓等低层物理特征 第1层：原始数据层 图像的原始像素点 图1 图像内容的层次模型 CBIR进行检索时利用的是第2层的特征。特征提取是CBIR系统最基础的部分，在很大程度上决定了CBIR系统的成败． [1] 特征提取
![CBIR进行检索时利用的是第2层的特征。特征提取是CBIR系统最基础的部分，在很大程度上决定了CBIR系统的成败． [1]](http://slidesplayer.com/slide/11571901/62/images/10/CBIR%E8%BF%9B%E8%A1%8C%E6%A3%80%E7%B4%A2%E6%97%B6%E5%88%A9%E7%94%A8%E7%9A%84%E6%98%AF%E7%AC%AC2%E5%B1%82%E7%9A%84%E7%89%B9%E5%BE%81%E3%80%82%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96%E6%98%AFCBIR%E7%B3%BB%E7%BB%9F%E6%9C%80%E5%9F%BA%E7%A1%80%E7%9A%84%E9%83%A8%E5%88%86%EF%BC%8C%E5%9C%A8%E5%BE%88%E5%A4%A7%E7%A8%8B%E5%BA%A6%E4%B8%8A%E5%86%B3%E5%AE%9A%E4%BA%86CBIR%E7%B3%BB%E7%BB%9F%E7%9A%84%E6%88%90%E8%B4%A5%EF%BC%8E+%5B1%5D.jpg "第3层：语义特征层. 人们对图像内容概念级的反映. 第2层：物理特征层. 图像的颜色、纹理、形状和轮廓等低层物理特征. 第1层：原始数据层. 图像的原始像素点. 图1 图像内容的层次模型. CBIR进行检索时利用的是第2层的特征。特征提取是CBIR系统最基础的部分，在很大程度上决定了CBIR系统的成败． [1] 特征提取.")
11
1 基于颜色特征的检索 实践表明，基于颜色的CBIR系统具有较好的性能，而且实现相对容易．最常用的表达颜色特征的方法是颜色直方图。 其他常用的颜色特征表示方法还有颜色矩和颜色相关图。 [2]
![1 基于颜色特征的检索 实践表明，基于颜色的CBIR系统具有较好的性能，而且实现相对容易．最常用的表达颜色特征的方法是颜色直方图。 其他常用的颜色特征表示方法还有颜色矩和颜色相关图。 [2]](http://slidesplayer.com/slide/11571901/62/images/11/1+%E5%9F%BA%E4%BA%8E%E9%A2%9C%E8%89%B2%E7%89%B9%E5%BE%81%E7%9A%84%E6%A3%80%E7%B4%A2+%E5%AE%9E%E8%B7%B5%E8%A1%A8%E6%98%8E%EF%BC%8C%E5%9F%BA%E4%BA%8E%E9%A2%9C%E8%89%B2%E7%9A%84CBIR%E7%B3%BB%E7%BB%9F%E5%85%B7%E6%9C%89%E8%BE%83%E5%A5%BD%E7%9A%84%E6%80%A7%E8%83%BD%EF%BC%8C%E8%80%8C%E4%B8%94%E5%AE%9E%E7%8E%B0%E7%9B%B8%E5%AF%B9%E5%AE%B9%E6%98%93%EF%BC%8E%E6%9C%80%E5%B8%B8%E7%94%A8%E7%9A%84%E8%A1%A8%E8%BE%BE%E9%A2%9C%E8%89%B2%E7%89%B9%E5%BE%81%E7%9A%84%E6%96%B9%E6%B3%95%E6%98%AF%E9%A2%9C%E8%89%B2%E7%9B%B4%E6%96%B9%E5%9B%BE%E3%80%82+%E5%85%B6%E4%BB%96%E5%B8%B8%E7%94%A8%E7%9A%84%E9%A2%9C%E8%89%B2%E7%89%B9%E5%BE%81%E8%A1%A8%E7%A4%BA%E6%96%B9%E6%B3%95%E8%BF%98%E6%9C%89%E9%A2%9C%E8%89%B2%E7%9F%A9%E5%92%8C%E9%A2%9C%E8%89%B2%E7%9B%B8%E5%85%B3%E5%9B%BE%E3%80%82+%5B2%5D.jpg "1 基于颜色特征的检索 实践表明，基于颜色的CBIR系统具有较好的性能，而且实现相对容易．最常用的表达颜色特征的方法是颜色直方图。 其他常用的颜色特征表示方法还有颜色矩和颜色相关图。 [2]")
12
2 基于纹理特征的检索 纹理是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，对图像灰度变化的特征进行量化,与对象的位置、走向、大小、形状有关,与平均灰度级无关。 图像检索中用到的纹理特征表示方法主要有：Tamura法、小波变换和自回归纹理模型。 [3]
![2 基于纹理特征的检索 纹理是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，对图像灰度变化的特征进行量化,与对象的位置、走向、大小、形状有关,与平均灰度级无关。 图像检索中用到的纹理特征表示方法主要有：Tamura法、小波变换和自回归纹理模型。 [3]](http://slidesplayer.com/slide/11571901/62/images/12/2+%E5%9F%BA%E4%BA%8E%E7%BA%B9%E7%90%86%E7%89%B9%E5%BE%81%E7%9A%84%E6%A3%80%E7%B4%A2+%E7%BA%B9%E7%90%86%E6%98%AF%E4%B8%80%E7%A7%8D%E4%B8%8D%E4%BE%9D%E8%B5%96%E4%BA%8E%E9%A2%9C%E8%89%B2%E6%88%96%E4%BA%AE%E5%BA%A6%E7%9A%84%E5%8F%8D%E6%98%A0%E5%9B%BE%E5%83%8F%E4%B8%AD%E5%90%8C%E8%B4%A8%E7%8E%B0%E8%B1%A1%E7%9A%84%E8%A7%86%E8%A7%89%E7%89%B9%E5%BE%81%EF%BC%8C%E5%AF%B9%E5%9B%BE%E5%83%8F%E7%81%B0%E5%BA%A6%E5%8F%98%E5%8C%96%E7%9A%84%E7%89%B9%E5%BE%81%E8%BF%9B%E8%A1%8C%E9%87%8F%E5%8C%96%2C%E4%B8%8E%E5%AF%B9%E8%B1%A1%E7%9A%84%E4%BD%8D%E7%BD%AE%E3%80%81%E8%B5%B0%E5%90%91%E3%80%81%E5%A4%A7%E5%B0%8F%E3%80%81%E5%BD%A2%E7%8A%B6%E6%9C%89%E5%85%B3%2C%E4%B8%8E%E5%B9%B3%E5%9D%87%E7%81%B0%E5%BA%A6%E7%BA%A7%E6%97%A0%E5%85%B3%E3%80%82+%E5%9B%BE%E5%83%8F%E6%A3%80%E7%B4%A2%E4%B8%AD%E7%94%A8%E5%88%B0%E7%9A%84%E7%BA%B9%E7%90%86%E7%89%B9%E5%BE%81%E8%A1%A8%E7%A4%BA%E6%96%B9%E6%B3%95%E4%B8%BB%E8%A6%81%E6%9C%89%EF%BC%9ATamura%E6%B3%95%E3%80%81%E5%B0%8F%E6%B3%A2%E5%8F%98%E6%8D%A2%E5%92%8C%E8%87%AA%E5%9B%9E%E5%BD%92%E7%BA%B9%E7%90%86%E6%A8%A1%E5%9E%8B%E3%80%82+%5B3%5D.jpg "2 基于纹理特征的检索 纹理是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，对图像灰度变化的特征进行量化,与对象的位置、走向、大小、形状有关,与平均灰度级无关。 图像检索中用到的纹理特征表示方法主要有：Tamura法、小波变换和自回归纹理模型。 [3]")
13
3 基于形状特征的检索 形状特征常与目标联系在一起，需提取目标的轮廓或描述目标轮廓所包围的区域的性质。因此形状比颜色和纹理的语义性更强。 基于边界的表示：代表方法是傅里叶描述子。其基本思想是用对图像进行傅里叶变换得到的边界作为形状描述. 其中一个优点就是把二维问题简化为一维问题。 基于区域的表示：代表方法是不变矩法。
14
CBIR系统向用户提供的查询方式 示例查询就是由用户提交一个或几个例子图像，然后由系统检索出特征与之相似的图像．这里的“相似”，指的是上述的颜色、纹理和形状等几个视觉特征上的相似。 草图查询：用户可以简单地画一幅草图，由系统检索出视觉特征上与之相似的图像。
15
目前基于内容图像检索技术已经取得了不少的成就，一些著名的图像检索系统相继被推出，有IBM的 QBIC 系统，哥伦比亚大学开发的 Visual-SEEK，MIT多媒体实验室开发的 Photo-Book，U C Berkeley开发的 Chabot 系统等。
16
CBIR利用图像本身固有的物理信息，能够对图像的颜色、纹理和形状等特征进行比较，在指纹识别、商标检索和医学图像检索等特定领域得到了广泛应用，因为这些领域的图像在某些特征上容易识别，比如同一个手指的指纹其纹理是一样的。 然而，Internet上的图像来自不同的领域，根本无法捕获其共同点，用基于内容的方法对这些图像进行检索，其效果远不能令人满意．
17
基于语义的图像检索 基于语义的图像检索的目的，就是要使计算机检索图像的能力达到人的理解水平。
基于语义的图像检索 基于语义的图像检索的目的，就是要使计算机检索图像的能力达到人的理解水平。 在图1所示的图像内容层次模型中，语义位于最高层：第3层。第2层和第3层之间的差别被许多学者称为“语义鸿沟” (semantic gap)。缩小语义鸿沟的办法有2种：由高层语义导出低层特征和由低层特征向高层语义的转换。 语义鸿沟的存在是目前CBIR系统还难以被普通用户接受的原因．在某些狭窄的专业领域，比如指纹识别和医学图像检索中，将图像低层特征和高层语义建立某种联系是可能的，但是在广泛领域内，低层视觉特征与高层语义之间并没有很直接的联系．如何最大限度地减小图像简单视觉特征和丰富语义之间的鸿沟问题，是语义图像检索研究的核心．其中的关键技术，就是如何获取图像的语义信息．
18
在原有检索系统中加入高级语义到低层特征的转化，可以在不改变现有的图像特征库和匹配方式的情况下，实现基于语义的图像检索，其基本框图见图2.
图像语义的提前过程是由低层特征向高层语义转化的过程。在获取语义和有效地表达语义的基础上，可以建立语义索引，提取图像语义的模型见图3。
19
高层语义导出低层特征 反馈信息 检索结果 图像数据库管理 特征比较 图像特征库 特征提取 图2 基于语义的图像检索系统框图 结果输出 语义查询 相似性比较
20
对象空间 关系分析 对象识别 图像分割 局部视觉 特征提取 全局抽象 语义处理 全局视觉 图像标注 用户交互 外部信息 原始图像 图像语义描述 图3 图像语义提取模型 利用系统知识的语义提取 基于系统交互的语义生成 基于外部信息的语义提取
21
基于反馈的图像检索 相关反馈方法的基本思想是在检索过程中，允许用户对检索结果进行评价和标记，指出结果中哪些是用户希望得到的查询图像，哪些是不相关的，然后将用户标记的相关信息作为训练样本反馈给系统进行学习，指导下一轮检索，从而使得检索结果更符合用户的需要。
22
基于知识的图像检索 将人工智能领域的基于知识的处理方法引入到图像处理领域，通过对图像理解、知识表达、机器学习，并结合专家和用户的先验知识，建立图像知识库实现对图像数据库的智能检索。主要涉及到自然语言理解、专家系统、知识表达和机器学习等人工智能的主要研究领域。
23
一个图像搜索引擎的系统模型 SeekImg系统是华中科技大学图像识别与人工智能研究所开发的，一个www上的图像搜索引擎的原型系统。[4] 该系统采用Internet搜索技术、图像自动识别技术和基于内容的图像检索技术，基于C1ient／Server 架构和 Microsoft SQL Server／NT 平台研制开发。
![一个图像搜索引擎的系统模型 SeekImg系统是华中科技大学图像识别与人工智能研究所开发的，一个www上的图像搜索引擎的原型系统。[4]](http://slidesplayer.com/slide/11571901/62/images/23/%E4%B8%80%E4%B8%AA%E5%9B%BE%E5%83%8F%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E7%9A%84%E7%B3%BB%E7%BB%9F%E6%A8%A1%E5%9E%8B+SeekImg%E7%B3%BB%E7%BB%9F%E6%98%AF%E5%8D%8E%E4%B8%AD%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6%E5%9B%BE%E5%83%8F%E8%AF%86%E5%88%AB%E4%B8%8E%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E7%A0%94%E7%A9%B6%E6%89%80%E5%BC%80%E5%8F%91%E7%9A%84%EF%BC%8C%E4%B8%80%E4%B8%AAwww%E4%B8%8A%E7%9A%84%E5%9B%BE%E5%83%8F%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E7%9A%84%E5%8E%9F%E5%9E%8B%E7%B3%BB%E7%BB%9F%E3%80%82%5B4%5D.jpg "该系统采用Internet搜索技术、图像自动识别技术和基于内容的图像检索技术，基于C1ient／Server 架构和 Microsoft SQL Server／NT 平台研制开发。")
24
SeekImg由四部分组成：爬虫部分、图像处理、图像数据库和查询服务器。
查询界面 用户 数据库 数据库维护 图4 SeekImg的系统结构图 示例图像文字信息 结果 示例图像 索引向量 文字信息 图像
25
爬虫又称为“www图片自动搜寻和下载模块”，主要完成从www网站上寻找图片并下载到系统的服务器上；图像处理部分是SeekImg的核心模块，主要完成下载的图像的自动分析和特征信息的自动提取；数据库部分在服务器端完成SeekImg的图像信息组织，在客户端接受用户的例子图像，通过基于内容的图像检索算法，完成对服务器端图像信息的检索，并将结果输出给用户。[5]
![爬虫又称为 www图片自动搜寻和下载模块 ，主要完成从www网站上寻找图片并下载到系统的服务器上；图像处理部分是SeekImg的核心模块，主要完成下载的图像的自动分析和特征信息的自动提取；数据库部分在服务器端完成SeekImg的图像信息组织，在客户端接受用户的例子图像，通过基于内容的图像检索算法，完成对服务器端图像信息的检索，并将结果输出给用户。[5]](http://slidesplayer.com/slide/11571901/62/images/25/%E7%88%AC%E8%99%AB%E5%8F%88%E7%A7%B0%E4%B8%BA+www%E5%9B%BE%E7%89%87%E8%87%AA%E5%8A%A8%E6%90%9C%E5%AF%BB%E5%92%8C%E4%B8%8B%E8%BD%BD%E6%A8%A1%E5%9D%97+%EF%BC%8C%E4%B8%BB%E8%A6%81%E5%AE%8C%E6%88%90%E4%BB%8Ewww%E7%BD%91%E7%AB%99%E4%B8%8A%E5%AF%BB%E6%89%BE%E5%9B%BE%E7%89%87%E5%B9%B6%E4%B8%8B%E8%BD%BD%E5%88%B0%E7%B3%BB%E7%BB%9F%E7%9A%84%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%EF%BC%9B%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%E9%83%A8%E5%88%86%E6%98%AFSeekImg%E7%9A%84%E6%A0%B8%E5%BF%83%E6%A8%A1%E5%9D%97%EF%BC%8C%E4%B8%BB%E8%A6%81%E5%AE%8C%E6%88%90%E4%B8%8B%E8%BD%BD%E7%9A%84%E5%9B%BE%E5%83%8F%E7%9A%84%E8%87%AA%E5%8A%A8%E5%88%86%E6%9E%90%E5%92%8C%E7%89%B9%E5%BE%81%E4%BF%A1%E6%81%AF%E7%9A%84%E8%87%AA%E5%8A%A8%E6%8F%90%E5%8F%96%EF%BC%9B%E6%95%B0%E6%8D%AE%E5%BA%93%E9%83%A8%E5%88%86%E5%9C%A8%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%AB%AF%E5%AE%8C%E6%88%90SeekImg%E7%9A%84%E5%9B%BE%E5%83%8F%E4%BF%A1%E6%81%AF%E7%BB%84%E7%BB%87%EF%BC%8C%E5%9C%A8%E5%AE%A2%E6%88%B7%E7%AB%AF%E6%8E%A5%E5%8F%97%E7%94%A8%E6%88%B7%E7%9A%84%E4%BE%8B%E5%AD%90%E5%9B%BE%E5%83%8F%EF%BC%8C%E9%80%9A%E8%BF%87%E5%9F%BA%E4%BA%8E%E5%86%85%E5%AE%B9%E7%9A%84%E5%9B%BE%E5%83%8F%E6%A3%80%E7%B4%A2%E7%AE%97%E6%B3%95%EF%BC%8C%E5%AE%8C%E6%88%90%E5%AF%B9%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%AB%AF%E5%9B%BE%E5%83%8F%E4%BF%A1%E6%81%AF%E7%9A%84%E6%A3%80%E7%B4%A2%EF%BC%8C%E5%B9%B6%E5%B0%86%E7%BB%93%E6%9E%9C%E8%BE%93%E5%87%BA%E7%BB%99%E7%94%A8%E6%88%B7%E3%80%82%5B5%5D.jpg "爬虫又称为 www图片自动搜寻和下载模块 ，主要完成从www网站上寻找图片并下载到系统的服务器上；图像处理部分是SeekImg的核心模块，主要完成下载的图像的自动分析和特征信息的自动提取；数据库部分在服务器端完成SeekImg的图像信息组织，在客户端接受用户的例子图像，通过基于内容的图像检索算法，完成对服务器端图像信息的检索，并将结果输出给用户。[5]")
26
用户可采用的三种查询方式： ① 当用户采用传统的关键字检索方式时，利用图像数据库中的关键字字段进行检索。② 当用户提供了示例图像时，先对示例图像产生索引向量，采用某种距离度量算法，算出示例图像和图像数据库中图片的索引向量之间的距离，得到距离最近的若干幅图片。 ③ 用户也可以指定图像特征，例如，红色30％，黄色50％。服务器将构造出索引向量，然后找出距离最近的若干幅图片。
27
参考文献 [1]贺玲, 吴玲达, 蔡益朝． CBIR 中的索引技术综述[J].小型微型计算机系统.2006，vol.27：141-145
[2]刘忠伟，章毓晋．十种基于颜色特征的图像检索算法的比较和分析[J]．信号处理，2OOO，16(1)：79-84 [3]MA W Y，ZHANG H J．Benchmarking of Image Features for Content-based Retrieval[C]／／The 32nd Asilomar Conference on Signals，Systems＆ Computers．Pacific Grove，California，USA：IEEE CS Press，1998．
![参考文献 [1]贺玲, 吴玲达, 蔡益朝． CBIR 中的索引技术综述[J].小型微型计算机系统.2006，vol.27：](http://slidesplayer.com/slide/11571901/62/images/27/%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE+%5B1%5D%E8%B4%BA%E7%8E%B2%2C+%E5%90%B4%E7%8E%B2%E8%BE%BE%2C+%E8%94%A1%E7%9B%8A%E6%9C%9D%EF%BC%8E+CBIR+%E4%B8%AD%E7%9A%84%E7%B4%A2%E5%BC%95%E6%8A%80%E6%9C%AF%E7%BB%BC%E8%BF%B0%5BJ%5D.%E5%B0%8F%E5%9E%8B%E5%BE%AE%E5%9E%8B%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%B3%BB%E7%BB%9F.2006%EF%BC%8Cvol.27%EF%BC%9A.jpg "[2]刘忠伟，章毓晋．十种基于颜色特征的图像检索算法的比较和分析[J]．信号处理，2OOO，16(1)： [3]MA W Y，ZHANG H J．Benchmarking of Image Features for Content-based Retrieval[C]／／The 32nd Asilomar Conference on Signals，Systems＆ Computers．Pacific Grove，California，USA：IEEE CS Press，1998．")
28
[4]陈韶斌，丁明跃，周成平．WWW上的图像搜索引擎系统SeekImg[J]．计算机与数字工程，2OO2，30(2)：55-54
[5]陈迎，唐洁茹．一种www 图像搜索引擎的模型与实现[J]．武汉理工大学学报，2OO1，23(1)：26-29
![[4]陈韶斌，丁明跃，周成平．WWW上的图像搜索引擎系统SeekImg[J]．计算机与数字工程，2OO2，30(2)：55-54](http://slidesplayer.com/slide/11571901/62/images/28/%5B4%5D%E9%99%88%E9%9F%B6%E6%96%8C%EF%BC%8C%E4%B8%81%E6%98%8E%E8%B7%83%EF%BC%8C%E5%91%A8%E6%88%90%E5%B9%B3%EF%BC%8EWWW%E4%B8%8A%E7%9A%84%E5%9B%BE%E5%83%8F%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E7%B3%BB%E7%BB%9FSeekImg%5BJ%5D%EF%BC%8E%E8%AE%A1%E7%AE%97%E6%9C%BA%E4%B8%8E%E6%95%B0%E5%AD%97%E5%B7%A5%E7%A8%8B%EF%BC%8C2OO2%EF%BC%8C30%282%29%EF%BC%9A55-54.jpg "[5]陈迎，唐洁茹．一种www 图像搜索引擎的模型与实现[J]．武汉理工大学学报，2OO1，23(1)：")
Similar presentations
