毕业设计（论文）基于颜色的图像检索系统实现

基于颜色的图像检索系统实现摘要：近年来，随着互联网高速发展，网上的多媒体信息急剧增加，这些多媒体信息大都以图像为主。如何有效地组织、管理和检索大规模的图像数据已成为迫切需要解决的问题。于是基于内容的图像检索（CBIR）作为一个崭新的研究领域呈现在人们面前。本论文中首先采用符合人类视觉特征的HSV颜色空间来表示颜色特征，然后利用人对颜色的感知特性来对颜色分量进行非等间隔量化并形成了颜色特征矢量，最后用欧氏距离法、加权距离法和直方图相交法结合分块全局直方图进行图像的相似性的计算。本文基于上述方法建立了一个图像检索的原型系统，并应用图像检索系统中常用到的性能参数对算法的运行及其结果进行了评估，最后取得了令人满意的效果。关键词：基于内容的图像检索；颜色特征；颜色直方图；相似度中图分类号：TP331Realization of Color-based Image Retrieval System Abstract: In recent years, with the rapid development of the Internet, online multimedia information has increased dramatically and this information is mostly images. Effective recognizing, management and searching all these images has been an emergent problem. So content-based image retrieval, as a new field of study emerged. To show color characteristic of image,we use the method of the HSV color space,which is suitable to the visual characteristic of human.Taking advance of humans feeling to color ,it quantifies color sector with unequal interval,and get characteristic vector.Finally,it mathches the similarity of image with the algorithm of the histogram intersection and the Prtition-overall histogram.An image retrieval system based on these approaches is presented.The results of experiments show that the image retrieval algorithim based on Partition-overall histogram proposed in this paper is efficient and effective.Keywords: CBIR; color features; color histogram; similarity Classification: TP331目次摘要I目次III1. 绪论11.1引言11.2图像检索技术11.2.1图像检索技术的发展历程11.2.2 图像检索技术的分类及应用21.3基于内容的图像检索技术31.3.1基于内容的图像检索技术的国内外研究概况31.3.2基于内容的图像检索技术的应用31.4研究工作概要及章节安排42. 基于内容的图像检索技术52.1 基于内容的图像检索技术的系统结构52.2基于内容的图像检索系统的检索流程62.3 特征抽取技术82.3.1颜色特征82.3.2形状特征82.3.3纹理特征92.4语义特征102.5图像检索性能评价113. 基于颜色的图像检索系统实现133.1颜色空间选择及颜色矢量量化133.1.1颜色空间模型及其选择133.1.2颜色矢量量化173.2 颜色直方图及颜色特征提取213.2.1颜色直方图简介213.2.2颜色特征提取243.3 颜色直方图距离的度量方法243.3.1颜色直方图距离的度量方法243.3.2图像相似性的计算264. 基于颜色的图像检索系统程序设计及结果分析284.1系统运行环境284.2系统总体设计294.3系统详细设计304.3.1 界面设计304.3.2 特征提取模块334.3.3 特征检索模块334.3.4 数据库管理模块334.4实验结果和性能分析335. 结论与展望355.1结论355.2展望35参考文献37附录A38作者简历学位论文数据集中国计量学院本科毕业设计（论文）1. 绪论1.1引言基于内容的图像检索技术是一种综合的集成技术,它通过分析图像的内容,如颜色特征、形状特征、纹理特征等,建立索引,并存储在特征库中。用户在查询图像时,只要把自己对图像的大概印象描述出来,就可以在图像库中找到想要的图像。基于内容的图像检索技术由于能够根据图像的可视化内容进行查询,从而方便了用户,因此在很多领域具有广泛的应用前景。基于内容的图像检索技术分为基于颜色特征的图像检索、基于纹理特征的图像检索、基于形状特征的图像检索。基于内容的图像检索技术的研究和发展将对诸如数字图书馆、多媒体信息系统、医学图像等应用领域提供强有力的技术支持，它是当前图像数据库和多媒体信息检索领域中的研究热点。目前，基于内容的图像检索的技术水平难以满足实际应用的要求，这是是一个具有挑战性的研究课题，仍然期待技术上有新的的突破。1.2图像检索技术1.2.1图像检索技术的发展历程20世纪70年代末，基于文本图像检索的技术已出现了，其通过给图像进行文字注解，采纳基于文本的检索技术进行关键字的检索。文本的标注进行图像抽象概念描述时，具有简单、清晰的长处。但其用于图像检索有两个明显的缺点：一是文字注解的工作量很大，二是文本的注解的不精确性及主观性影响了检索结果的可靠性和有效性。90年代初，基于内容的图像检索技术成为图像检索的主流。该系统直接采用图像颜色、形状、纹理等视觉特征进行图像检索。该技术需要图像数据库，文本数据库和视觉特征数据库的支持。然而，对图像相似性的判断不仅利用图像的视觉特征，还依赖人们对图像内容的理解，这些理解无法从图像的视觉特征获取，而是取决于个人的经验。这就是对图像语义特征的理解。只有结合图像的各种信息，尤其是语义方面的信息，才能使图像检索系统的能力趋近于人的理解水平。基于语义的图像检索技术就是根据图像的抽象属性和逻辑特征进行检索的，其使计算机检索能力接近于人们的理解水平。不过，该项技术目前仍处于探索阶段。1.2.2 图像检索技术的分类及应用目前，图像检索技术主要分为基于文本的图像检索和基于内容的图像检索。在检索原理上，检索技术包括三方面：第一分析并转化用户的需求，形成能对索引数据库的检索提问；第二，对图像资源的收集及加工，提取其特征，进行分析及标引，建立图像索引的数据库；最后按照相似度的算法，计算用户需求和索引数据库中的相似度大小，并将满足阈值的记录作为结果，根据相似度从大到小输出。基于文本的图像检索技术沿用了传统的文本检索技术，从图像的名称，作者，年代，尺寸及压缩类型等方面标引图像，一般以关键词形式查询图像，亦或根据等级目录的形式浏览查找特定的图像。基于内容的图像检索技术是根据图像的内容语义进行查找，以图像的语义特征作为线索从数据库中检索出具有相似特性的图像。由于一般图像的规模要大于纯粹的文本信息，因此，基于内容的图像检索技术在检索的速度和效率上都有了很大的提高。依据基于文本的图像检索和基于内容的图像检索技术的实现原理可以发现，图像检索系统提供给用户的查询方法一般包括下列几种形式：关键词查找，浏览查找，特征输入查找，草图查找，示例查询等。归纳而言，图像的检索方法对应于图像特征的三个层次，也即是：简单的可视化特征层次，中间的对象层次和高层抽象的特征层次。随着信息化社会的发展以及信息高速公路计划的实施，我们接触到大量的图像，科技的高速发展和数字化图像设备和大容量存储器，如数码相机、扫描仪等的发展和普及，安全、医疗、卫星等部门每天都有大量的图像信息产生，图像数据呈现级数的增长趋势。如何有效地组织、快速地检索这些信息，成为一个亟待解决的问题。在浩瀚的数据库中，靠人工来查找某一幅图像或具有某些特征的图像集合，是很难完成的工作，但是类似需求在不少领域都会常遇到，例如：a 每天我们每天关注的天气预报需要的卫星云图；b 可视化的战场信息，需要进行图像信息的重构及分析；c 公安系统中常用的侦查破案，就出现了太多的犯罪图像信息；d 时下网上购物，多半给用户展示商品时采用的是图像的形式；e 医学射线系统的数据库中相关的射线照片，能为医生提供重要的参考；f 商标管理系统、邮票管理系统等含有庞大的图像数据库；g 数码科技的发展使得普通家庭也会产生成千上万的图像。此外，宇宙探测、交通检测、地球资源观察系统等领域，每天都有极其巨大的图像信息在不断地产生和应用。在以上各方面，图像检索技术正在并将一直发挥极其重要的作用。1.3基于内容的图像检索技术1.3.1基于内容的图像检索技术的国内外研究概况早在20世纪90年代，研究人员提出了基于内容的图像检索技术的概念，这在一定程度上弥补了基于文本的图像检索技术的缺陷。基于内容的图像检索技术是利用图像的颜色，形状，纹理及区域等物理特征表征一幅图像。用户在查询时使用用户创建的草图或者系统提供的事例图像进行检索，由计算机自动检索出图像库中雨查询图像最相似的图像返回给用户。而两幅图像之间的相似性完全由图像本身的视觉特征和系统采用的相似性度量方法决定，大大提高了系统的检索速度和精度。至此，图像检索技术由以关键字找图的模式发展到以图找图的模式，取得了很大的突破。目前，基于内容的图像检索技术主要有四个研究热点。第一个是物理特征提取技术和相似性度量的研究与创新；第二个是分割技术通过图像分割提取出图像的具体对象，进而研究对象之间的空间关系，反应给用户的是比图像颜色，形状，纹理等特征更高一些的语义信息。以上两点都是以机器为中心展开的，没有考虑到用户的实际需求。第三个恰好集中在以用户为中心的图像检索上。研究人员提出了相关反馈的概念，通过与用户及时进行交互调整检索时使用的物理特征，融合检索时多特征的权重和相似性度量方法。第四个则是基于语义的图像检索。由于基于内容的图像检索技术应用及其广泛，国内外众多研究机构纷纷投入其研究领域，当然也取得了不小的进展，研制成功了多个商业应用系统和实验系统，主要有：QBIC,Retrieval,Virage,Ware,MARS,Netra,Photobook等。这些系统大部分具有以下特点：（1）支持文本查询，草图查询和事例图像查询等多种查询方法（2）用户能对系统中的图像进行随机浏览（3）支持图像的分类导航。综上所述，目前国内外的研究主要集中在索引技术，视觉特征提取和用户接口这几个方面。在索引技术方面，主要研究的是降维方法，并试图引入新的索引机制来提高系统的检索性能。在特征提取技术上，主要是集中是颜色，形状，特征和纹理特征进行了研究。而在用户接口上，研究者主要集中在应用事例图像进行图像查询和基于相关反馈的人机交互界面。1.3.2基于内容的图像检索技术的应用基于内容的图像检索技术已成功应用于一些专门的领域，典型的如下：1、搜索引擎：伴随着种种电子商务网站的发展，图像搜索引擎也将成为其重要工具。2、数字图书馆：数字图书馆是一个数字信息资源库，包括图像库，文本库，声音库，字符数值库等。因而，如何高效，快速地从数字图书馆找出用户所需的信息成为了当代图书馆研究的关键技术和热点之一。3、家庭图像检索：随着数码科技的普及，各个家庭也会产生大量的图像，家庭用图像检索系统将是一个基本工具。4、商标检索系统：在收录的已经注册商标的数据库中查找与其类似的商标，防止侵害商标权。5、公安及法律：这是图像数据库技术的一个重要应用领域。例如：犯罪数据库，建筑物数据库，指纹数据库及面部数据库等。6、邮票资料库：查询及管理邮票资料，还能提供邮票鉴定等的服务。7、工业与商业：工业方面包括CAD/CAM，企业多媒体信息系统等，在商业上，则有股票，在线广告，电子商务，在线购物等。8、教育和培训：在教育和培训方面有着广阔的应用前景，比如远程的教学，自学教育，交互式的培训及雇员再教育等。国外在培训领域也投入了大量的人力物力，并开展了相关课题的研究工作。我国也开展了多媒体教学研究工作，另外，网上教学与辅导也在实践中。以上这些都为图像数据库用于教育培训方面提供的广阔的应用前景。9、保健及医疗：图像数据库在该领域也有广泛的应用。除了检索系统和图像管理外，也包括建立医疗信息管理系统，管理庞杂的医疗数据等。1.4研究工作概要及章节安排本文主要对给予颜色的图像检索系统实现进行研究，利用C+软件平台编程，使计算机能够自动进行图像分析，提取图像的颜色特征，并将其作为图像的内容，在没有用户参与的情况下，进行图像特征的查找和匹配，最后将与用户查询图像最相似的图像返回给用户。论文全文共分成四章，第一章是绪论，主要简单介绍了图像检索技术的发展历程，分类及其应用，并简要概括了基于内容的图像检索技术的国内外研究概况和应用。第二章详细阐述了基于内容的图像检索技术，主要是从以下几个方面展开论述的：系统结构，检索流程，特征抽取技术，语义特征和系统检索性能评价。第三章重点介绍基于颜色的图像检索系统实现，其中涉及到颜色空间的选择及颜色矢量量化，颜色直方图及颜色特征提取和颜色直方图距离的度量方法。第四章是基于颜色的图像检索系统的程序设计及结果分析，进而得出研究结论及展望。2. 基于内容的图像检索技术 2.1 基于内容的图像检索技术的系统结构目前对于基于内容的图像检索系统的构成和设计仍没有统一的标准。一般来说，基于内容的图像检索系统主要是设计一个支持内容查询的图像数据库系统。图像数据库系统分为五个层次，即用户视图层、语义特征视图层、图像特征视图层、特征表达层、特征组织及检索层。层次任务用户视图层空间推理语义特征视图层图像知识结构图像特征视图层图像理解特征表达层图像数据结构特征组织和检索层图像数据检索图2.1 图像数据库的五个层次任务一般而言，基于内容的图像检索系统分为以下两个部分：计算机视觉的技术和数据库管理技术，该系统可由下列五个子系统构成，即存储图像数据、提取图像的特征、图像相似度测量、索引图像的高维特征、索引并过滤高维特征、用户查询及浏览的接口。图2.1是基于内容的图像检索系统的基本框图。用户引擎领域知识特征索引颜色形状纹理空间关系图像源 图2.1 基于内容的图像检索系统的基本框图（1）用户子系统是用户用来查询请求及接受浏览查询结果的接口。用户提交的查询方式有多种：a 指定图样查询方式：该方式非常友好，不足之处是样图不能充分表达用户的查询意愿用户对样图的理解和实际系统对样图的理解有所不同，因而要添加附加属性。b 草图查询方式：该方式弥补了样图查询方式的不足，用户利用系统提供的绘图工具、形状工具、纹理工具等绘制查询草图。其缺点是兼容性比较差，这样给用户带来了额外的负担。c 在某些特殊情况下，直接指定图像的属性特征会比较方便和直观，比如使用文字检索图像，选择主色调的检索和使用查询语言的检索。 (2) 相似性度量子系统是检索引擎，使用图像的特征来度量图像之间的相似性，按相似性的大小对图像集合排序，然后返回给用户。由于图像数据库包含大量的图像，图像相似性度量十分耗时，因而需要采用索引过滤技术，以达到快速搜索的效果，使得用户在合理的时间内得到响应结果。 （3）索引子系统主要是对图像数据作索引。目前主要使用图像特征作为索引，然后用相似性度量得到相思结果结合，图像特征一般用高维矢量表示。由于图像数据库十分庞大，直接计算相似性速度慢，因此研究出了高维矢量索引技术组织数据结构，从而可以更快地进行图像的过滤和相似性计算，提高了检索效率。（4）特征提取子系统的功能是提取图像特征，表达图像内容。目前主要以用户的视觉特征为主，包括颜色、形状、纹理、物体空间特征等等。更高层次的概念特征和语义特征是正在努力和研究的目标。(5) 存储子系统是用来存储和管理原始图像数据，图像数据库中存储的信息由特征索引数据、图像数据和其他文本描述信息。存储技术包括图像压缩技术和预处理技术等。预处理技术是对图像入库之前的处理，包括对比度调整、滤出噪声、比例变换和几何矫正等。压缩技术是用来节约图像数据占用空间的，系统支持各种不同的压缩格式以及它们之间的相互转化。2.2基于内容的图像检索系统的检索流程基于内容的图像检索技术经历了特征调整和重新匹配的循环过程。在该系统中，查询实际上基本都是模糊实例查询。在许多情况下，用户不能给出一个完全的例子，只能给出一个想检索的图像例子，亦或一个概念性的描述，系统会依照给出的例子或概念查找出与其相似的图像，然后将相似结果集合返回给用户。用户可以从这些相思结果中决定是否或再次选择更接近用户查询的图像，进而进行下一步相似计算，从而达到模糊检索的目的。目前，大部分查询所用的实际上是这种模糊查询。基于内容的图像检索系统的检索流程图2.2所示。用户的查询说明示例（QBE）一般性描述相似性匹配返回一组候选结果满意？结束修改用户查询用户反馈从候选结果中选择一个示例图2.2 基于内容的图像检索系统的检索流程(1)用户初始查询。在用户的观点看来，有两种查询方式，即概念查询和可视化查询。当用户使用概念查询方式从图像库中查找所需的图像时，可通过关于图像的一般性的描述亦或查询语言进而得到一个特定的查询。用户不熟悉的媒体媒体类型及其信息机构或者检索要求表达得不清楚时，就可以采用可视化示例查询的方式。首先用户浏览示例图像，通过浏览，选择图像的例子来即是查询条件。基于内容的图像检索系统将借助于知识库帮助，提取出示例图像特征亦或把指定的擦寻映射为具体的特征向量。(2)相似性匹配。该部分是基于内容的图像检索系统的检索流程中的重要步骤，系统把抽取的特定查询特征与特征库中特征依照一定的匹配算法进行相似性匹配。（3）在相似匹配结束后，满足一定相似条件的候选结果左后按照相似度从大到小排序后返回给用户浏览。（4）特征调整。对基于内容的图像检索技术返回的查询结果，用户可进行图像浏览进而来挑选，直到得到满意的结果。用户还可以在候选结果中选择某个示例，对这一新的示例进行特征调整后，形成一个更加准确的心查询。（5）如此反复，逐渐缩小查询范围，直到用户得到满意的查询结果。2.3 特征抽取技术 大量的基于内容的图像检索技术研究主要集中在特征抽取上，以得到与人类观察最接近的图像特征。在该系统中比较有效的特征有颜色特征、纹理特征、形状特征等。2.3.1颜色特征人类在对物体和环境的感知中，颜色起着十分重要的作用。在很多情况下，颜色是对图像描述的最简单而有效的特征。与其他底层视觉特征比较，颜色对于图像遮挡、旋转、缩放及其他形变有着更强的鲁棒性。颜色特征的优点，使其成为基于内容的图像检索采用的最广泛的图像特征。基于颜色的图像检索技术是依据图像中组成对象目标的颜色信息进行检索，是基于内容的图像检索技术中最最基本的技术。表示颜色特征的方法中使用最广泛的是颜色直方图。该方法采用以下技术：选择颜色空间、测量颜色直方图的距离，颜色间的相似性和处理背景颜色的影响等关键问题。在概率方向看来，图像的颜色直方图是指在一个彩色的空间中，联合三中不同颜色的通道强度的概率。除去上述方法，表示颜色特征的方法还有颜色集，颜色矩，颜色的相关图，颜色的聚合矢量等等。2.3.2形状特征图像的形状特征是识别物体的主要信息，是一种重要的图像内容表达方法。基于形状的图像检索技术是依据图像中组成目标的形状进行检索，涉及到的形状特征主要有：狭长度，圆形度，二阶矩常量，惯性主轴方向，内角平均值，内角标准方差，多边形的顶点数及凹点数。这项技术涉及到形状识别，边缘检测，匹配算法及特征量的计算等。通常形状特征表示分为两类：基于区域的和基于边界的表示。边界特征包括：多边形逼近、线形形状、傅里叶描绘子及有限元模型等。从中能得到很多有用的特征，如：边界的面积、周长及区域的几何中心等；区域特征有矩不变量等。主要方法是求取区域与变换无关的各阶统计矩。在进行基于内容的检索时，可以由用户用户选择一种形状或者画出一幅草图，然后利用形状的特征来匹配检索。对基于形状的图像检索技术来说，亟待解决的一个问题是匹配及表示形状特征。在计算机视觉的传统算法中，先后用到Freeman链码，曲线，Fourier描述子，二次曲线和B样条曲线等等来进行平面曲线的描述。对于更通用的变形形状的匹配问题，需要与变形模型的研究结合。依据模型的不同特性，可以将常用的变形模型分为两类：参数变形模型和自由变形模型。对自由变形模型来说，模版无全局的结构约束，仅受局部的光滑性和连续性的约束。通过图像的显著特征如直线，边缘等建立能量函数建立一个势场，使模版变形而与这些特征匹配。形状特征的一个重要准则是要求对旋转，比例和位移的不变性。人类处于检索和识别的目的，总是忽略这种变化。但由于显著计算机视觉的限制，我们还暂时无法将目标从背景中准确地分割出来，从而也很难让计算机来理解和表达其形状特征。这个问题使得基于形状特征的检索技术成为了当前基于内容的图像检索系统的一大障碍。2.3.3纹理特征纹理使图像的另一个重要属性。一般来说，纹理是指反复出现的图像的局部模式及其排列规则，是图像像素颜色和灰度级的某种规律性变化，该变化是与空间统计相关的。纹理是一切的表面，包括头发，转头，树木和云彩等所具有的内在特性，同时包含表面的结构安排及与周围环境的关系。纹理特征是由基元的安排及纹理基元两个要素组成的。纹理基元由图象基元组合而来，有一定的大小和形状，而纹理是纹理基元排列而成的。排列基元的方向性，周期性的不同及其疏密程度能极大地对图像的外观改变产生影响。因此，纹理分析包括得到纹理基元及获取关于纹理基元排列分布方式的信息。如果在尚未检测出基元或者不知道纹理基元的情况下分析纹理，那就只能从最小的基元，也就是像素开始建立纹理的模型，该方式被称为纹理的模型分析。而纹理的结构分析就是在已知基元的情况下进行的分析。对应于以上两种分析方式，纹理分析的方法基本上可以分为统计和结构方法：a 统计分析方法是依据图像的颜色强度的空间分部信息进行统计的，该方法用于分析像草坪，沙地，木纹那样的纹理细密而又不规则的物体。b 结构分析是力图找出纹理基元，从基元的结构及组成方面探求纹理的规律。该方法适用于像砖花样或布料的印刷图案等一类纹理基元及排列比较规则的图像。其中统计方法主要分为空间域及频率域方法。在空间域方法中，最初使用的是直方图统计特征法，该方法由于只能反映一维的灰度值变化，早已不再使用。后来提出了共生矩阵法，共生矩阵就是从灰度为I的像素点开始远离某个固定位置的像素点的灰度为J的概率大小。从共生矩阵中可以分析图像的纹理特征。共生矩阵法的优点是算法简单，但其通常较大，而且含有不少的冗余信息。研究人员又从视觉心理学角度出发，得出了新的分析方法，并定义了规整性，方向和粗糙度等六个特征，这些特征都是互相独立的而且具有可视性。相对于共生矩阵，该方法几乎没有冗余信息，且频率是相当高的，因而在CBIR系统中应用很广泛，比如IBM的QBIC。基于频率域的方法主要有小波分析和傅里叶变换。图像一般在傅里叶变换后，在一定程度上其能量谱反应了图像的方向性和图像的粗糙。90年代后，小波分析在纹理分析方面发展很迅速，并出现了好多新的算法。2.4语义特征对图像深层的理解也就得到了图像深层的语义描述，尽管图像理解一般依赖于图像的强分割来实现，然而对于含有复杂景物的图像强分割一般是很难自动实现甚至是不可能实现的。图像本身是不能诠释图像的语义特征的。若是没有外部的帮助，就很难确定一种结构是否代表某个单一的物体，亦或只是代表一些没有任何意义的现实世界中的偶然性组合的区域。因而，针对图像本身含有的景物，对于得到图像相似性排列，特征的完全描述和强分割并不是完全必要的。在基于语义特征的图像检索中，抽象特征和目标特征直接存在很大的差距。所以如何从相对简单图像特征得到高层语义特征，以达到基于语义的相似性的要求是这个层次图像检索的研究难点和重点。目前，基于语义特征的图像检索技术主要集中在景物分析及分类技术，目标识别及检索技术。对于基于语义的图像检索技术来说，景物分析与分类技术是非常重要的。因为它不仅是搜索时重要的过滤器，还能帮助识别特殊物体。a Gorkani试图使用底层特征识别景物的高层特征，用来辨别野外风景和城市风景。b Szummer依据图像子块中和整幅图像的纹理与领域信息，颜色特征，将照片分为室外和室内两类，并且使用空间和位置特征以提高分类的准确度。c Vailaya 首先使用二值Bayesian分类以从底层特征中获得高层的语义特征，进而构造得到照片的层次类别，最终实现了基于类别的图像检索技术。目标识别与检索技术一般是使用数据库检索技术来分类和识别目标，其中包含自动目标识别与基于用户相关反馈的学习相关语义这两种技术。上述第一种技术是对于每种目标的用来识别的模板。首先识别得到包含目标的区域，进而建立由此来推断或确定目标是否真正存在的准则。其中，使用最广泛的是Forsyth曾提出的用来识别图像中任务没被遮挡的技术，由于该技术能够应用到更多的目标中去，马和树叶包含在其中；Newsam使用Edge Flow方法自动地分割图像，并提取目标，进而基于目标特征相似性实现了基于目标的查询。FourEyes系统是最早的利用用户反馈获得相关语义，从而支持基于语义的图像检索系统。该系统依据用户对图像的各区域加的注释，对特征相似的区域作出相似的语义特征标记，并且使用更深层次的用户反馈机制以提高系统的性能；还有一种是Chang曾提出来的人类视觉语义模型，其是用传统的方法和相关反馈技术来得到查询结果，用户满意后，再给当前的查询指令语义的标记，继而存储到图像查询数据库。这样一来，图像的查询数据库变成了一个视觉词典，它能够将一组最可能被检索到的相关元素的主要图像特征和每个语义特征联系起来。第三层语义特征的自动检索技术到目前为止还是非常少见的，Corridoni提出利用颜色特征的主观注释一检索能够激发人类特殊情感的图像。该方法最终能够得到怎样的成效目前还是难以断定的。因此，基于语义特征的图像检索技术将是不可缺少人的视觉感知、生理学、心理学、模式识别以及人工智能等领域的更深入的研究成果。2.5图像检索性能评价一般地，图像检索技术主要分为两种类型：图像的匹配与相似性的查询。假设图像库总有N幅图像。对于图像的匹配问题，正确的图像是检索结果中的第一个得到的是比较理想的情况。我们桐城市用下面的公式评价图像的匹配效果：匹配比率 (2.1)其中K是正确图像的名次图像检索性能的评价一般使用查准率（Precision）和查全率（Recall）的相似性检索评价准则。我们执行检索集合中的各个查询，就能计算相互图像查询的平均查准率与查询率，进而就能得到系统的检索性能评价。查准率与查全率的定义如下：（1）查准率 Precision 定义为在查询结果中和示例图像相关的图像所占的百分比例，其中Precision=100%表示的是查询出来的图像都是相关图像。 (2.2)其中。I表示检所得到的相关图像的数目，J表示检索得到的全部图像的数目。（2）查全率 Recall 定义为在查询结果中和示例图像相关的图像占全部的相关图像的百分比例。Recall=100%表示的是所有的相关图像都被检索出来了。 (2.3)其中，I表示检所得到的相关图像的数目，M表示全部相关的图像数目。3. 基于颜色的图像检索系统实现 颜色是大部分图像的主要特征，同时还是人类主要视觉感知之一，它反映的是人眼视觉系统对于物质世界的主观感受。颜色是彩色图像中最显著，最直观的特征，它相对于图像的几何特征来说，具有一定程度的稳定性，对旋转，平移，缩放具有相当强的鲁棒性。给予颜色的图像检索系统的实现方法很简单，视觉效果比较明显，是应用很广泛的方法。3.1颜色空间选择及颜色矢量量化3.1.1颜色空间模型及其选择光在频谱的分布中，其中不同的位置体现了物质世界的各种颜色，而颜色是人类对光谱中可见光区域的感知结果。不同的颜色感觉是不同的波长的光引起的，然而，同一种颜色却能够用不同的光谱成分来合成。目前，已经有了各种各样的颜色空间的模型，如：RGB颜色空间、HSV颜色空间、CMY颜色空间、照片YCC颜色空间、CIE颜色空间等等。某个三维空间中的某个可见光子集就是颜色空间，其包括了某个色彩域所有的色彩。其中，任何一个色彩域都是可见光子集。因此，一个颜色空间是不能包含所有的可见光的。视觉心理学和认知科学证明，人类不能和计算机显示器一样只是使用RGB三种成分感知颜色。其次，选择一个适合人类视觉特征的颜色空间能够很大程度地改善检索效果。进行基于内容的图像检索时，查询要求一般是按照用户的主观和视觉感受发出来的，因此进行图像之间各颜色差异的比较时，基于内容的图像检索系统往往用具有视觉一致性的颜色空间。另外，由于在颜色空间中能够表示的颜色非常多，用计算机进行处理时经常需要进行图像颜色的量化，也就是大量的颜色集中采用少量的参考颜色柄来表示。如果我们采用的颜色空间模型不具有视觉一致性的特性，量化之后得到的参考颜色柄中就可能包含比较多的冗余颜色以及视觉感知的空洞。因而，选择使用某个具有视觉一致性的颜色空间对于进行图像检索是具有非常重要的意义的。研究结果表明，在上述提到的颜色空间中，基于Munsell坐标系的HSV颜色空间不管是和传统的RGB颜色空间，还是和其他能够呈现视觉一致性的颜色空间相比，都具有更好的视觉一致性的效果。在基于内容的图像检索系统中，应用HSV颜色空间更适合于人类的肉眼判断，能够得到更为接近用户观察的检索结果。接下来介绍一下最最基本的RGB和本论文中使用的HSV颜色空间。a RGB颜色空间1931年，国际照明委员会规定了使用波长分别为700nm,546.1nm,435.8nm的单色光作为三原色红（R），绿（），蓝（）。依据三原色的原理，RGB是最常使用的颜色模型。目前 ，彩色显示器以及摄像系统等硬件显示设备大部分都采用了RGB颜色空间表示各种不同的颜色。因而，RGB颜色空间同时也是数字化图像最常用的彩色格式，并且和计算机上的图像显示是兼容的。图3.1 RGB颜色空间如图3.1所示，位于正方体的主对角线上的各原色的量是相等的，同时产生了由暗到亮的白色，也就是灰度。（0,0,0）代表黑色，（1,1,1）代表白色，而正方体的其他六个角分别为红色、黄色、绿色、青色、蓝色及品红色。b HSV颜色空间符合人类视觉感知特征最好的颜色模型是HSV颜色空间，它尤其适合于用户肉眼对颜色的识别，所以被广泛应用在计算机视觉领域。它把彩色的信号分解为三种属性：色调H(Hue)，饱和度S（Saturation）及亮度V（Value）。图3.2 HSV颜色空间如图3.2所示，圆柱坐标系中的圆锥形子集就对应于HSV颜色空间。其中HSV的色调H代表的是透过物体的光的波长或物体反射过来的光的波长，更一般来说，就是用颜色的名称来辨别色调H的，比如红色，橙色，黄色，绿色等，它的取值范围是-180180或者是0360来度量的。颜色的明暗程度是用亮度V来说明的，通常情况下是用百分比度量的，也就是从0%最暗的黑色到100%最亮的白色。颜色的深浅程度是用饱和度S表示的，也就是在某个纯色中含有的白色光的成分。以红色为例，也会由于颜色浓度的不同而被分为浅红色，粉红色和深红色等。饱和度S也是用百分比来度量的，从0%为浓度最小到100%为浓度最大。颜色空间HSV具有以下几个优点：（1） 符合人类肉眼对颜色的识别；（2） HSV颜色空间中的三个坐标是相互独立的，也就是人类可以独立的感知各个颜色分量的变化；（3） HSV颜色空间所构成的是一个非常均匀的颜色模型，采用的是线性的标尺，HSV颜色空间坐标上点的欧氏距离与颜色之间感觉上的距离是成正比的。c RGB颜色空间和HSV颜色空间之间的转换算法最可靠的从RGB颜色空间转换到HSV颜色空间的方法是先把RGB坐标转换成为1931CIE-XYZ系统中的（x,y,Y）坐标，然后依据（x,y,Y）查找对应的表，从而得到对应的（H，S，V）坐标。其逆向操作就可以讲颜色从HSV颜色空间转换到RGB颜色空间的坐标。xyY坐标和HSV颜色坐标的对应表已经通过色度学实验得到了。但由于该方法一直需要依赖对照表，因而比较笨重。为了方便计算机上的更易于实现，可以选择数学公式来实现从RGB颜色坐标转换得到HSV颜色坐标，具体的转换公式如下：假定，则 (3.1) (3.2) (3.3)反之，也可以利用公式实现从HSV颜色空间坐标到RGB颜色空间坐标的转换。首先，有/将为转换成。/即为被整除后取整，为被整除后的余数。另外，那么 (3.4)d 颜色空间的选择最常用的颜色空间虽然是RGB颜色空间，而人们通常利用欧氏距离来计算两种颜色之间的差异，而RGB颜色空间存在的一个严重问题就是所计算得到的两种颜色之间的距离是不能正确表征用户感知到的实际的这两种颜色之间的差异的。比如，（0,0,0）和（50,0,0）是距离为50的同一黑色，然而，距离同样为50的（200,200,0）与（150,200,0）就被认为是两种差异非常大的颜色了，实际上是分别代表黄色和绿色。本论文在处理图像的颜色特征时综合考虑各种因素最终采用了HSV颜色空间，该颜色模型能够较好适合于人类肉眼的感知特性。3.1.2颜色矢量量化 1 颜色的量化目前的图像大部分是真彩色图像，而这类图像的颜色一般非常多，因此提取颜色特征时的颜色直方图的颜色矢量的维数就会很多。例如：对于RGB颜色空间的图像，三个分量的取值范围都是0,255,那么直方图就需要256256256存储单元。伴随着颜色特征矢量维数的不断增加，存储空间的消耗也将呈现指数级的增长，检索系统的计算量也将随之增加。基于上述原因，目前的基于内容的图像检索系统在对颜色直方图进行计算之前，往往存在一个对图像的颜色空间进行量化的过程，一次来减少颜色矢量的维数进而简化图像颜色直方图的特征，从而可以节省颜色特征的存储空间，最终能够达到降低计算量的目的。到目前为止，研究人员已得到多种颜色量化方法，依据图像的颜色模板对图像库中的全部检索图像是可变的还是不变的，主要分为两种：固定颜色模板与可变颜色模板。（1） 固定颜色模板a 等间距量化对图像的颜色空间进行均匀分割的量化方法就是等间距量化。假设原始的颜色空间的任一分量都有N个颜色级别，然后对其进行量化并得到M个颜色 。那么量化后得到的颜色级出现的频数的定义如下公式所示： (3.5)其中，图像的大小是 ，是像素点在最原始的颜色空间中的颜色值。p与k之间满足下列关系： (3.6)图像的等间距量化方法的实现是非常简单易行的，并在实践中得到了广泛的应用。但是还存在一个问题，经过量化处理后得到的颜色空间，特征信息可能只是集中在少数的颜色之中，并且还有可能出现这样的情况，就是完全不同的信息包含在相同的颜色当中。上述不足很大的影响了我们进行颜色特征检索时的准确性和精度的提高。因而，等间距的量化方法一般只是应用于颜色直方图矢量的初步筛选。例如。将原始为256256256的颜色直方图量化成161616的颜色直方图。b 非等间距量化在基于内容的图像检索系统中使用的颜色空间一般都具有视觉一致性的优点，并且针对人类肉眼对颜色的分辨能力是有限的，因而，在进行颜色量化时，我们可以按照人对颜色的感知特性对图像的颜色空间进行非等间距量化。该方法是以人对图像的颜色空间的模型大量地进行分析的前提下进行的。比如对于常用的HSV颜色空间，依据人类视觉的感知能力，我们可以讲色调H的空间分成为8份，饱和度S与亮度V的空间都分成为3份，并依照颜色的不同来量化。量化后得到的色调，饱和度与亮度分别是进行量化时是公式如下： (3.7) (3.8) (3.9)研究发现，对图像非等间距量化得到的效果和量化时所选择的颜色空间有直接并且较大的关系。在世纪的应用中，人类对图像的颜色感知特性的理解与分析程度在很到程度上起了相当重要的作用。c 参考颜色表Methre等提出来的参考颜色表是固定颜色模板中最典型的方法，但是，其中的RCT方法还要依赖于存储图像的色彩分布的先验知识，伴随着图像数据库中图像数据的不断增删，参考颜色表也会变得越来越不准确。IBM在基于内容的图像检索系统中就使用了基于参考颜色表的方法，用来量化彩色图像，然后在量化图像的基础上构造图像的直方图。假设RCR包含K种颜色，而图像的直方图就是建立在这种参考颜色上的，反映了彩色图像对于RCT的量化颜色分布情况。每个彩色图像的直方图是含有维向量的。经过对图像数据库中所包含的图像进行统计聚类后确定的颜色直方图的颜色。该系统首先对RGB颜色空间三个分量进行等量量化成为16种颜色，这样一来能够得到40%颜色立方盒，计算得到的各个立方盒位于Munsell坐标系中的RGB颜色空间坐标轴，然后对其进行最小平方和的聚类，就得到了最优的K种颜色。其中的每个立方体用它的中心的颜色作代表色，它们构成了颜色空间中的某个划分。这样落在一个立方盒中的图像像素的总和经过图像总数的规化后就构成了颜色直方图。基于内容的图像检索系统为了提高其速度，并保存RGB颜色空间的40%个三元组并映射到直方图的序列号。这样，统计图像的直方图时就只需要查表了。不论图像输入的具体颜色分布是怎样的，都要用到RCT量化为K种特征颜色的表示。量化颜色是不随图像而改变的，所以RCT方法适合于固定的数据库，比如专用的艺术图像库、各种图像光盘等。但是可以看出来，参考颜色表的选择是至关重要的。若是没有对图像存储的先验知识，参考颜色是无从确定的。并且对于变化的图像数据库来说，其性能随着图像的改，删，增而变坏，因而颜色表示的精确度也就越来越差了。（2） 可变颜色模版由于固定颜色模板有不能很好地表示各个图像的颜色及其分布情况，研究人员又提出了新的可变颜色模板。图像数据库中的每幅图像都有自己的颜色模版，这种方法就能够很好地表示图像的颜色分布，以便实现图像之间的相似性匹配。但依据其量化方法的不同，由可分为多种不同的方法。a 频度序列算法实现频度算法需要两个步骤：首先选择颜色模板，也就是选择使用频率最高的256种颜色；然后将剩余的颜色按照最小距离准则映射到该颜色模板中。频度序列算法是依据数据库中不同的图像从而选择不同的模板，也就是可变颜色模板。这是一种非常简单的颜色量化的方法。该方法的优点是实现容易、算法复杂度低，却有颜色量化效果不够理想的缺点。b 中值裂分法中值裂分法的裂分标准是以RGB颜色空间中R,G,B中方差最大的那个分量的中值，按照这一准则不断地将颜色空间裂分成为越来越小的区域，直到最终得到256个集合为止，颜色模板的颜色也就得到了，也就是各几何中心点的颜色。因为这种算法是使用最大方差的准则来作为裂分标准的，所以得到的颜色模板技能保证图像中涉及较少的却极其特殊的颜色不被丢失，又能够最大程度的反映图像中各颜色的出现频率。由此可见，这是一种较好的颜色量化方法。如果再结合如梯度测试或空间活动性测度等与人类肉眼视觉特性有关的参数，就能够更大程度的完善该方法主观的视觉效果。c 中位切分算法中位切分算法用一种均衡色彩的集合表示图像的，也就是希望N种不同颜色代表像素的数量尽量的相同。也就是说，将颜色空间中立方体划分为N个含有相等颜色像素的数量的小长方体，这样就得到了调色板的最佳颜色的位置，该位置就是长方体中心的点。因为这种量化方法重点考虑了图像的具体颜色的使用频率，所以重建得到的图像的色彩层次感比较丰富，但是却模糊了局部的细节。d 聚类量化法以图像中各种颜色的相似距离为基础，我们采用模式识别当中聚类的方法的思想：类内的元素基于内容的图像检索的关键技术的研究具有相当大的相似性，不同类中的元素则具有比较小的相似性，这样通过迭代来实现类的划分。聚类方法主要分为两类：系统聚类法语动态聚类法。系统聚类法是这样实现的：首先选择若干个样本按某准则函数进行逐步聚合，类别是由多到少的，直到达到合适的分类为止；动态聚类法又分为几种方法，如K均值法、ISODATA算法、GLA算法等等。动态聚类算法中聚类中心与起始类别数目是不好确定的，一般的我们采用随机的方法在初始数据中选择聚类的中心。确定不同的初始聚类中心和起始聚类数目往往会影响我们的分类结果。 (3)颜色的矢量量化理论上讲，使用真彩色能够在抽取图像的颜色时产生最小的误差。但是，另一方面，特征的存储和特征匹配的计算量及特征抽取都将伴随着实际颜色数目的增多而非线性地膨胀。因而，在实际的检索过程中使用真彩色是不现实的问题。实验表明：随着颜色直方图维数的增加能够使检索的精度得到有效地提高，但是又一问题出现了，当维数大量增加时，检索的精度并没有预想的提高很多，反而会减小。因此我们需要保持在一定的精度的前提下，尽量减少图象颜色的维数，以减少颜色特征的存储空间。在该系统的实现中，我们依据HSV颜色空间独有的特征，在保留足够的颜色信息并且降低直方图的维数的前提下，对HSV颜色空间进行非均匀颜色量化，并得到77种代表颜色。首先我们要将一幅图像中的每个像素的值转换为值，然后依照下面的颜色量化与编码方法进行计算：对于的颜色认为是黑色，；对于的颜色认为是白色，；对于且，颜色按照亮度V被划分为三种灰度，分别是：与，；其他颜色认为是彩色，并将其划分为72种颜色，。 (3.10) (3.11) (3.12)依照上面的方法把图像的颜色空间划分成为77种颜色。该77种代表颜色的量化方法的进行能够有效地压缩图像的颜色特征并且这样较好地适合于人类肉眼对图像颜色的感知。3.2 颜色直方图及颜色特征提取3.2.1颜色直方图简介在基于颜色的图像检索技术中，最常用的颜色特征表示方法是颜色直方图。颜色直方图反映了图像中的各种颜色色的比例分布情况，基于图像的颜色直方图的图像检索技术的基本思想是把图像相似度经过其颜色直方图的距离衡量的。两幅图像的颜色直方图间的距离越小，说明图像间的各颜色及其分布越相同，这样的图像也就越相似，这样就将图像库中图像的检索转化成为其颜色直方图之间的距离的度量问题了。颜色直方图就是经过统计图像当中各颜色出现的频数来得到的。因而，两幅图像间的各对应颜色出现的频数的比较也就是其颜色直方图距离的度量的过程。1 颜色直方图的定义在确定了图像的颜色空间的基础之上，对于一幅数字图像来说，首先统计各颜色在图像中出现的其像素的点数，然后以各颜色值当做横坐标，其不同颜色出现的点数作为纵坐标，以此得到的直方图就是该图像的颜色直方图了。某图像的归一化的颜色直方图H是按如下公式定义的： (3.13)hc表示第种颜色在所示图像中出现的像素点的频数： (3.14)其中，是图像的宽与高1、 颜色直方图的性质a 颜色直方图反映了图像中的基本色调及其各颜色的统计分布，描述了在该图像中关于其中颜色的频数特征。例如，对于一幅蓝色海洋的图像，该图像中的主要颜色就是蓝色，从颜色直方图中我们可以看出蓝色像素在整个图像的颜色中占有很大的比例。b 颜色直方图的缺点是丢失了图像中的空间位置分部信息。颜色直方图依据统计学分布的原理，该图像的亮度值的概率函数更通俗地说，就是其颜色直方图了。颜色直方图包含了各图像中的亮度分布的统计信息，但是却没包含进各个亮度值的任何的空间位置信息。因此对于两幅不同的图像来说，只要其亮度值分布是相同的，不管用人类肉眼观察到的视觉内容差别有多大，它们都具有近似或者完全相同的颜色直方图。c 若将某图像按某一规则划分成为若干个子区域，那么所有的子区域的颜色直方图的和就是整幅图像的非归一化的颜色直方图。d 图像的颜色直方图具有缩放不变性，旋转不变性，平移不变性和视角的基本不变性等等。e 在一般的情况下，因为图像中的背景及其前景物体的颜色分布基本是明显不同的，从而会在图像的颜色直方图上就会出现双峰的特征，但是对于背景和其前景颜色比较接近的图像就不具备这种性质了。2 全局直方图图像特征提取中最简便的方法就是全局直方图。顾名思义，把图像作为一个整体进而求解其颜色直方图就是全局直方图的计算方法。计算得到的结果就是欧式空间的一个向量，这样就可以计算欧式空间中的图像间的相应的特征向量的距离来得到图像间的相似性。匹配方法与计算方法非常高效是全局直方图的特征的主要优势，并且其特征本身就具有平移与旋转的不变性。全局直方图除了具有以上提到的优点，还存在一些很明显的缺点。全局直方图是将图像作为一个整体在整幅图像上统计各颜色的空间分布信息的，因而丢失了图像中颜色的空间的分布信息。也就是说，两幅颜色相近但是空间颜色分布完全不同的图像，比如海洋与天空就可能会具有完全相同的颜色直方图，这当然会造成图像检索的误差。因此，为了提高图像检索的精度，还需要我吗加进颜色的空间分布信息。3 分块直方图分块颜色直方图是针对图像的全局直方图的改进得到的，这样一来就能够包含图像的空间分布信息了。该方法一般是通过某一分块策略将整幅图像分成为若干块，进而分别计算每个小分