第2章视觉感知与图像基本概念课件

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,第,2,章,视觉感知与图像的基本概念,第2章视觉感知与图像的基本概念,2,本章内容简介,视觉感知,数字图像的概念与描述,图像的数字化,数字图像的存储格式,灰度直方图,2本章内容简介视觉感知,3,2.1,视觉感知,图像处理的研究需要了解人类视觉机理：,人们能够区分的光强度差别有多大？,我们眼睛的空间清晰度是多少？对运动的感觉如何,?,我们估计和比较距离和面积的精度是多少？,人类特性视觉的光谱是怎样的,?,人的视觉中彩色起什么作用？,人类是如何获得视觉感知，如何认知周围事物的？,人们对于自己视觉机构的生物、生理、物理过程的了解，以及神经、精神方面的了解还处于低级阶段，认识还很不完善，还有很大的局限性。,32.1 视觉感知图像处理的研究需要了解人类视觉机理：,4,人眼构造,4人眼构造,5,视杆体与视锥体,视网膜上有杆状体和锥状体两类视觉接收器；,视杆体,(Rods),：细长而薄，数量上约,100 million,，它们提供暗视,(Scotopic Vision),即在低几个数量级亮度时的视觉响应，其光灵敏度高。,视锥体,(Cons),：结构上短而粗，数量少,约,6.5 million,，光灵敏度较低，它们提供明视,(Photopic Vision),，其响应光亮度范围比视杆体要高,5,6,个数量级。在中间亮度范围是两种视觉细胞同时起作用。视锥体集中分布在视网膜中心。,5视杆体与视锥体视网膜上有杆状体和锥状体两类视觉接收器；,6,视觉感知,视觉感知是视觉的内在表象。,视觉感知包括两个不同的感知层次：,视觉的低级感知层次,视觉的高级感知层次,6视觉感知视觉感知是视觉的内在表象。,7,视觉低级感知层次（一）,视觉系统从外界获取图像，就是在眼睛视网膜上获得周围世界的光学成象，然后由视觉接收器（杆状体和锥状体在视网膜上作为视觉接收器），将光图像信息转化为视网膜的神经活动电信息，最后通过视神经纤维，把这些图像信息传送入大脑,由大脑获得图像感知。,7视觉低级感知层次（一）视觉系统从外界获取图像，就是在眼睛视,8,视觉低级感知层次（二）,光图像激活视杆体或视锥体时，发生光电化学反应，同时产生视神经脉冲，视觉系统散布视神经中有,80,万神经纤维，视觉系统传播视神经脉冲。许许多多的视杆体和视锥体相互连接到神经纤维上。,视觉系统的可视波长范围为,=380nm,780nm;,视觉系统的可响应的亮度范围是,:1,10,个量级的幅度范围。,8视觉低级感知层次（二）光图像激活视杆体或视锥体时，发生光电,9,视觉高级感知层次,大脑对视神经纤维传送来的图像信息进行分析和理解，通过图像获得对周围世界感知的信息和知识。,人们对大脑的高级感知层次至今知之甚少,仍是生理学、神经科学、生物物理学、生物化学研究的重要课题。,9视觉高级感知层次大脑对视神经纤维传送来的图像信息进行分析和,10,视觉和视觉感知,“,视觉是一个信息处理过程。它能从外部世界的图像中得到一个即对观察者有用又不受无关信息干扰的描述。”,“视觉感知又是和过去留存于记忆中的同类活动有关，视觉储积起大量的视觉意象。记忆形象可用于对知觉对象的辨认，解释和补充。”,使计算机具有人类视觉能力，研究人类的视觉感知，模仿人类的视觉感知，是研究工作的重要途径。,10视觉和视觉感知“视觉是一个信息处理过程。它能从外部世界的,11,视觉错觉,11视觉错觉,12,视觉错觉,2,12视觉错觉2,13,视觉特性,视觉特性是视觉的外在表现；,图像是周围世界的一种映射,对于运动图像,空间座标,x,y,z,都是时间,t,的函数,若在连续的不同时间获取图像,可以获得序列图像,对于按不同波段获取图像,可获得彩色图像或不同波段的图像信号,(,如遥感图像,医学图像等,).,对于按不同视角,即不同的,x,y,z,间相互关系,可以得到不同视角的不同图像,.,因此,视觉现象包括有视觉对光强,对各种波长、彩色的光谱效应,对物体边缘等空间频率变化的响应,以及视觉对时间瞬时变化运动的响应,.,13视觉特性视觉特性是视觉的外在表现；,14,相对视敏函数,人眼对不同波长的光有不同的敏感度，不同波长而幅射功率相同的光不仅给人以不同的色彩感觉，而且亮度感觉也不同。,视敏函数：描述人眼视敏特性的物理量为视敏函数和相对视敏函数。在相同亮度感觉的条件下，不同波长光辐射功率 的倒数用来衡量人眼对各波长光明亮感觉的敏感程度。,对于人眼， 是钟形曲线。,14相对视敏函数人眼对不同波长的光有不同的敏感度，不同波长而,视杆体和视锥体的相对视敏曲线有所不同，对视锥体情况，在,=555nm,时绿光亮度最敏感，对视杆体暗视情况,则,=505nm,时最敏感。,图,2.4,相对视敏度曲线,视杆体和视锥体的相对视敏曲线有所不同，对视锥体情况，在,16,对比灵敏度和同时对比度,一、对比灵敏度,在均匀照度背景,I,上，有一照度为,I+I,的光斑，称眼睛刚好能分辨出的照度差,I,与,I,的比（,I/ I,）为对比灵敏度；,由于背景亮度,I,增大， ,I,也需要增大，因此在相当宽的强度范围内，对比灵敏度是一个常数，约等于,0.02,，这个比值称为韦伯比（,Weber,比）。亮度很强（弱）时不为常数。,16对比灵敏度和同时对比度一、对比灵敏度,17,二、同时对比度,在相同亮度的刺激下,由于背景亮度不同，人眼所感受到的主观亮度不同，这种效应称为同时对比度。,由于同时对比是由亮度差别引起的，故也称为亮度对比。相对应的还有色度对比。如：红色背景下的灰色物体显绿色；,17二、同时对比度,18,18,人类视觉感知能力的特点,人类视觉系统在对物体的识别上有特殊强大的功能；但在对灰度、距离和面积的绝对的估计上却有某些欠缺；,以传感器单元的数目比较：视网膜包含接近,130 millions,光接收器，这极大的大于,CCD,片上的传感器单元数；,和它每次执行运算的数目比较：和计算机的时钟频率相比，神经处理单元的开关时间将比之大约慢 倍；,不论这慢的定时和大量的接收器，人类的视觉系统是比计算机视觉系统要强大得多。它能实时分析复杂的景物以使我们能即时的反应。,人类视觉感知能力的特点,20,2.2,数字图像的概念与描述,所谓的数字图像的描述是指如何用一个数值方式来表示一个图像。,数字图像,是图像的数字表示，像素是其最小的单位。,可以用矩阵来描述数字图像。,描述数字图像的矩阵目前采用的是,整数阵,，即每个像素的亮暗，用一个整数来表示。,202.2 数字图像的概念与描述所谓的数字图像的描述是指如何,21,数字图像的概念与描述,图像的坐标系,矩阵是按照行列的顺序来定位数据的，但是图像是在平面上定位数据的，所以有一个坐标系定义上的特殊性。,为了实现方便起见，这里以矩阵坐标系来定义图像的坐标。,行（,i,）,列（,j,）,矩阵,A(,i,j,),矩阵坐标系,X,轴（,i,）,Y,轴（,j,）,图像,f(,i,j),直角坐标系,21数字图像的概念与描述,22,数字图像的概念与描述,黑白图像,黑白图像是指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为值图像。,2,值图像,的像素值为,0,、,1,。,22数字图像的概念与描述,23,数字图像的概念与描述,灰度图像,灰度图像,是指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。,23数字图像的概念与描述,24,数字图像的概念与描述,彩色图像,彩色图像,是指每个像素的信息由,RGB,三原色构成的图像，其中,RGB,是由不同的灰度级来描述的。,彩色图像不能用一个矩阵来描述了，一般是用三个矩阵同时来描述。,24数字图像的概念与描述,25,2,.,3,图像的数字化,我们日常生活中见到的图像一般是连续形式的模拟图像，可由一个二维连续函数,f,(,x,y,),来描述。,其中：,(,x,y,),是图像平面上任意一个二维坐标点，,f,(,x,y,),则是该点颜色的深浅。,图像处理的方法有模拟式和数字式两种。,数字图像处理的一个先决条件就是将连续图像经采样、量（离散）化，转换为数字图像。,252.3 图像的数字化我们日常生活中见到的图像一般是连续形,26,图像的数字化,数字化的过程也称为,A/D,转换：是将光电传感器产生的模拟量转换为数字量，以便计算机处理；,转换过程：采样、量化、编码；,转换精度：,ADC,位数；,转换速度：采样速率；,量化误差。,26图像的数字化数字化的过程也称为A/D转换：是将光电传感器,t,f,(,t,),采样间隔,量化单位,量化误差,tf(t)采样间隔量化单位量化误差,28,图像的数字化,经数字化的图像方可用计算机来处理。,图像,f,(,x,y,),必须在空间上和在颜色深浅的幅度上都进行数字化：,空间坐标,(,x,y,),的数字化被称为图像采样；,颜色深浅幅度的数字化被称为灰度级量化。,28图像的数字化 经数字化的图像方可用计算机来处理。,29,29,30,图像的数字化,采样间隔,采样时的注意点是：,采样间隔,的选取。,采样间隔太小，则增大数据量；,采样间隔太大， 则会发生信息的混叠，导致细节无法辨认。,30图像的数字化 采样间隔,31,图像的数字化,采样指标分辨率,分辨率,是指映射到图像平面上的单个像素的景物元素的尺寸。,单位：像素,/,英寸，像素,/,厘米,（如：扫描仪的指标,300dpi,）,分辨率,或者是指要精确测量和再现一定尺寸的图像所必需的像素个数。,单位：像素,像素,（如：数码相机指标,1210,万像素（,40003000,）,31图像的数字化 采样指标分,32,32,33,图像的数字化,量化概念,量化,是将各个像素所含的明暗信息离散化后，用数字来表示。一般的量化值为整数。,充分考虑到人眼的识别能力之后，目前非特殊用途的图像均为,8bit,量化，即采用,0 255,的整数来描述“从黑到白”。,在,3bit,以下的量化，会出现,伪轮廓现象,。,33图像的数字化 量,34,34,35,低,bit,量化的伪轮廓现象图例,35低bit量化的伪轮廓现象图例,36,图像的数字化,量化方法,量化可分为均匀量化和非均匀量化。,均匀量化,是简单地在灰度范围内等间隔量化。,非均匀量化,是对像素出现频度少的部分量化间隔取大，而对频度大的量化间隔取小。,一般情况,下，对灰度,变化比较平缓,的部分用,比较多的量化级,，在灰度,变化比较剧烈,的地方用,比较高的采样密度,。,36图像的数字化 量,37,均匀量化效果示意图,37均匀量化效果示意图,38,非均匀量化效果示意图,38非均匀量化效果示意图,39,图像质量的确定,数字化时，关键是要决定：,采样点数,M,N,（行和列）,量化级别,G,（灰度级数）,为了便于处理，采样点数,N,与量化级别,G,都为,2,的幂次方，即,M=,2,m,，,N,=2,n,，,G,=2,k,（,m,，,n,，,k,均为正整数）。记录一幅图像所需的字节（,byte,）,B,可由下式计算：,B,M,N,k,8,实际上：,M,、,N,一般取,64,、,128,、,256,、,640,、,1024,、,1240,等值；,k,一般取,1,、,4,、,8,、,16,、,24,、,32,等值。,一般地说，图像质量随,M,、,N,和,k,的增加而增高。,39图像质量的确定数字化时，关键是要决定：,40,采样传感器,采样传感器,CCD(Charge Couple Device),：电荷耦合器件；,CMOS(Complementary Metal Oxide Semiconductor),：互补性金属氧化物半导体。,40采样传感器采样传感器,41,CCD,CCD,是,20,世纪,70,年代初发展起来的半导体器件。,CCD,以电荷为信号，而不是以电压为信号。,CCD,利用感光二极管,(photodiode),进行光电转换，将图像转换为数字数据,.,CCD,的基本功能是电荷的产生、存储和转移。其基本原理是：通过光学系统将景物成像在,CCD,象敏面上，象敏面将照在每一个象敏单元上的光照强度转换为电荷存储在象敏单元中，然后再转移到,CCD,的移位寄存器中，在驱动脉冲的作用下顺序移出器件，形成强弱不同的电信号。,41CCDCCD是20世纪70年代初发展起来的半导体器件。,CCD,的三层结构,第一层“微型镜头”：在感光层前面加上一副眼镜，增加感光面积。,第二层“分色滤色片”：有两种分色方式，一是,RGB,原色分色法，另一个则是,CMYK,补色分色法,。,这两种方法各有优缺点。,第三层感光层：主要是负责将穿过滤色层的光源转换成电子信号，并将信号传送到影像处理芯片，将影像还原。,CCD的三层结构,线阵,CCD,：,单元数有：,256,，,1024,，,2048,，,4096,等；,面阵,CCD,：,线阵CCD ：,44,44,45,CMOS,CMOS,和,CCD,一样都是可用来感受光线变化的半导体。,CMOS,是利用硅和锗两种元素做成的半导体，通过,CMOS,上带负电和带正电的晶体管来实现基本功能的。产生的电流即可被处理芯片纪录和解读成影像。,CMOS,针对,CCD,最主要的优势是价格低廉、,制造工艺较简单且,非常省电,其耗电量只有普通,CCD,的,1/3,左右,。,CMOS,传感器可以在每个像素基础上进行信号放大，采用这种方法可以进行快速数据扫描；,CMOS,主要问题是在处理快速变化的影像时，由于电流变化过于频繁而过热。,但是现在,CMOS,绝非只局限于简单的应用，也在发展高清系列。,45CMOSCMOS和CCD一样都是可用来感受光线变化的半导,46,2.4,数字图像的存储格式,数字图像是由排成矩形点阵的像素组成的。,图像有不同的编码方式：无压缩、无损压缩、有损压缩。,图像文件通常与操作系统有关：,Windows,、,Linux,、,Mac,；,把一幅图像记录进文件时，必须同时记录下各像素在点阵中的位置及像素的灰度值。,实际上我们可以利用各像素在文件中的记录位置来表示其在图像点阵中的位置，这样就可以省去记录像素位置坐标的数据量，而各像素的数据只用来记录其灰度值。,462.4 数字图像的存储格式数字图像是由排成矩形点阵的像素,47,数字图像的存储格式（二）,文件中的数据只能以一维方式记录，而图像点阵是二维的。为了用一维形式记录二维图像，通常采用的办法是将各行像素的数据首尾相连。,例如，一幅,N,M,图像的数据文件中，它的,N,M,个像素数据是这样排列的：最初的,N,个数据分别对应图像第一行从左到右,N,个像素；第,N,1,到第,2,N,个数据分别对应图像第二行从左到右,N,个像素，等等。如此类推，最后的,N,个数据分别对应图像第,M,行从左到右,N,个像素。,47数字图像的存储格式（二）文件中的数据只能以一维方式记录，,48,数字图像的存储格式（三）,这样就必须在文件中某处注明该图像的尺寸，即长度与宽度，以便在读取数据时能够根据这个尺寸重新把一维数据流排列成原来的二维点阵。,图像的尺寸（长与宽，均以像素为单位）通常记录在文件头（,header,）中。,文件头是有关图像整体的信息数据块，除记录图像的尺寸外，还记录诸如像素的位长、图像的颜色表等有关信息。文件头之后才是图像的数据流。因此，图像数据文件是文件头加数据流。,48数字图像的存储格式（三）这样就必须在文件中某处注明该图像,49,数字图像的存储格式（四）,图像数据的文件格式随着图像的各种信息的内容取舍与记录次序的不同而异。其中，关于图像数据的记录方式基本相同，主要的差异在于,header,的内容。,应用较广，比较常见的静态图像文件格式有：,BMP/DIB,、,JPEG,、,Tiff,、,Gif,、,WMF,。,常见的动态图像文件格式有：,MPEG4,、,SWF,（,Shockwave Format,）、,AVI,、,n AVI,、,rm,、,rmvb,、,MOV,、,MKV,49数字图像的存储格式（四）图像数据的文件格式随着图像的各种,50,数字图像的存储,-,位图文件,Bmp,是,Microsoft Windows,设备无关位图（,Microsoft Device Independent Bitmap,）文件，又称为,DIB,。是,Windows,操作系统的标准文件格式。,Bmp,可以包含每个像素,1,位、,4,位、,8,位或,24,位的图像。其中,1,、,4,和,8,位图形有彩色映像（调色板），而,24,位元图像则是全彩（,TrueColor,）。,优点： 在,Microsoft Windows,下得到广泛使用。,缺点： 除了,Microsoft Windows,外，无法在其他环境下使用。,50数字图像的存储-位图文件Bmp是Microsoft,51,数字图像的存储位图文件,文件的总体结构,文件头,BITMAPFILEHEADER,信息头,BITMAPINFOHEADER,调色板,RGBQUAD,数据区,文件头,BITMAPFILEHEADER,信息头,BITMAPINFOHEADER,数据区,像素的,RGB,值,像素的调色板索引值,真彩色模式,索引色模式,51数字图像的存储位图文件 ,52,数字图像的存储位图文件,文件头信息,文件头,BITMAPFILEHEADER,bfType,文件类型标识“,BM”,bfSize,文件总字节数,(,包括文件头的,14,字节,),bfOffBits,从文件头到实际的位图数据的偏移字节数,52数字图像的存储位图文件 ,53,数字图像的存储位图文件,信息头信息,biSize,信息头结构体长度，为,40,biWidth,图像宽度，单位是像素,biHeight,图像高度，单位是像素,biPlanes,必须为,1,，暂无意义,biCompression,指定位图是否压缩,biSizeImage,实际位图数据所占字节数,biXperlsPerMeter,指定目标设备的水平分辨率,biYperlsPerMeter,指定目标设备的垂直分辨率,biClrImportant,图像中重要的颜色数,信息头,BITMAPINFOHEADER,53数字图像的存储位图文件 ,54,数字图像的存储位图文件,索引色模式的调色板,调色板,RGBQUAD,索引值,R,G,B,1,R,1,G,1,B,1,2,R,2,G,2,B,2,：,:,:,:,N,R,N,G,N,B,N,54数字图像的存储位图文件 索引色,55,数字图像的存储位图文件,索引色模式的数据区,索引值,R,G,B,1,R1,G1,B1,2,R2,G2,B2,：,:,:,:,N,RN,GN,BN,数据区,像素的调色板索引值,55数字图像的存储位图文件 索引,56,矢量图,矢量（,Vector,）图：亦称向量图，是用称之为矢量的直线、曲线、多边形和填充的色块来描绘图形的。可以无限放大图形中的细节，不用担心会造成失真和色块。矢量图文件比点阵图文件存储空间要小很多。一般地，矢量图是图形。,A,类型：,line,起点坐标,xx.xxx,yy.yyyy,终点坐标,xx.xxx,yy.yyyy,颜色、线型、线宽,类型：文字,起点坐标,xx.xxx,yy.yyyy,颜色、字体、字型、字号,56矢量图矢量（Vector）图：亦称向量图，是用称之为矢量,57,点阵图,(,位图,),与矢量图的区别,57点阵图(位图)与矢量图的区别,常见的静态图像文件格式（一）,JPEG,全称为,（,Joint Photographic Exptrs Group,，联合图像专家组），是,24,位的图像文件格式。,JPEG,文件格式是,JPEG,标准的产物，该标准由,ISO,与,CCITT,（国际电报电话咨询委员会）共同制定，是面向连续色调静止图像的一种压缩标准。,JPEG,是一种目前较常用的、高效率的有损压缩方案，常用来压缩存储批量图片（压缩比达,20,倍）。我们在相应程序中以“,jpg”,存储时，会进一步询问使用哪档图像品质来压缩，而在图形程序中打开时会自动解压。,尽管它是一种主流格式，但在需要输出高质量图像时不使用,JPG,而应选,EPS,格式或,TIF,格式，特别是在以,JPG,格式进行图形编辑时，不要经常进行保存操作。,58,常见的静态图像文件格式（一）JPEG全称为（Joint Ph,59,常见的静态图像文件格式（二）,TIF Tag Image File Format,，标签图像文件格式，是一种跨平台的位图格式，同时支持,PC,与苹果机，采用的,LZW,压缩算法是一种无损失的压缩方案，常用来存储大幅图片。,EPSAdobe,公司矢量绘图软件,Illustrator,本身的向量图格式，,EPS,格式常用于位图与矢量图之间交换文件。,59常见的静态图像文件格式（二）TIF Tag Ima,60,2.5,灰度直方图,在数字图像处理中，灰度直方图是最简单且最有用的工具,.,可以说，对图像的分析与观察，直到形成一个有效的处理方法，都离不开直方图。,602.5 灰度直方图 在数字图像处理中，灰度直方图是最简单,61,数字图像的灰度直方图,定义,灰度直方图是灰度级的函数，是对图像中灰度级分布的统计。有两种表示形式,1,）图形表示形式,横坐标表示灰度级，纵坐标表示该灰度值出现的次数（频率）。,2,） 数组表示形式,数组的下标表示相应的灰度级，数组的元素表示该灰度级下的像素个数。,61数字图像的灰度直方图,62,1,2,3,4,5,6,6,4,3,2,2,1,1,6,6,4,6,6,3,4,5,6,6,6,1,4,6,6,2,3,1,3,6,4,6,6,1,2,3,4,5,6,5,4,5,6,2,14,灰度直方图,62 12345664322116646634566614,对于一个有,256,个灰度级，长度和宽度都为几百个像素的常见的图像来说，当然也可以按上述方法作出它的灰度直方图来，但是通常我们不去作那些密密麻麻的直线段，而是用一条通过所有这些直线段（假定这些直线段存在）的顶端的折线来描述它。如下图：,对于一个有256个灰度级，长度和宽度都为几百个像素的常见的图,对于真彩色图像，可以作出三条（红、绿、兰）各有,256,个灰度级以及一条,256,级的亮度直方图来，也可以作出一条,256,级的混合直方图。如下图：,对于真彩色图像，可以作出三条（红、绿、兰）各有256个灰度级,直方图的性质,所有的空间信息全部丢失。,每一灰度级的像素个数可直接得到。,直方图的用途,数字化参数：直方图给出了一个简单可见的指示，用来判断一幅图像是否合理的利用了全部被允许的灰度级范围。一般一幅图应该利用全部或几乎,全部可能的灰度级,，否则等于,增加了量化间隔,。丢失的信息将不能恢复。,边界阈值选取：假设某图像的灰度直方图具有,二峰性,，则表明这个图像的较亮的区域和较暗的区域可以较好地分离，取这一点为阈值点，可以得到好的,值处理,的效果。,直方图的性质,66,具有二峰性的灰度直方图,66具有二峰性的灰度直方图,67,利用灰度直方图进行阈值分割,67利用灰度直方图进行阈值分割,68,作业,P,30,2,、,3,、,5,68作业P30 2、3、5,