《数字彩色图像基础》PPT课件.ppt

1,数字彩色图像基础,注：本部分内容参考了林福宗多媒体技术基础第四、五、六章,数字媒体技术基础第二讲,2,上一讲内容回顾,数字媒体导论 数字媒体的基本概念 数字媒体技术的原理 数字媒体标准简介 数字媒体的应用,3,本讲内容提要,视觉系统对颜色的感知 图像的颜色模型 图像的基本属性 图像的种类 数字图像的描述 图像文件格式 作业2 颜色的特性及度量 颜色空间及其转换,4,视觉系统对颜色的感知,人们获取的信息的70来自视觉系统 颜色是什么 从物理学角度，颜色是视觉系统对可见光的感知结果 感知到的颜色由光波的频率决定的 光波是一种具有一定频率范围的电磁辐射，其波长覆盖的范围很广 电磁辐射中只有一小部分能够引起眼睛的兴奋而被感觉，其波长在380780nm的范围里。 眼睛感知到的颜色和波长之间的对应关系如下图所示,5,视觉系统对颜色的感知,视觉系统对颜色感知的特性 眼睛本质上是一个照相机 人的视网膜（human retina）通过神经元感知外部世界的颜色，每个神经元是一个对颜色敏感的锥体（cone） 人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞 红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同 从理论上说，自然界中的任何一种颜色都可以由R，G，B这三种颜色值之和来确定，它们构成一个三维的RGB矢量空间（三原色） R，G，B的数值不同，混合得到的颜色就不同,6,7,图像的颜色模型,什么是颜色模型（color model） 定量的描述颜色的一套规则和定义 人们提出了各种颜色模型。目前常用的颜色模型按用途可分为 面向硬件显示设备的RGB颜色模型 面向彩色图像打印的CMY颜色模型 电视信号传输中的YUV颜色模型 面向彩色图像处理的HIS颜色模型 面向特定应用的自定义颜色模型 。 与颜色空间等价,8,显示彩色图像用RGB相加混色模型-1,一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定 CRT使用3个电子枪分别产生红(red)、绿(green)和蓝(blue)三种波长的光，如图所示，并以各种不同的相对强度组合产生不同的颜色 RGB相加混色模型 组合红、绿和蓝光波来产生特定颜色的方法叫做相加混色法(additive color mixture) ，即RGB相加混色模型 相加混色是计算机应用中定义颜色的基本方法,彩色显像产生颜色的原理,9,显示彩色图像用RGB相加混色模型-2,任何一种颜色都可用三种基本颜色按不同的比例混合得到 颜色R(红的百分比)G(绿的百分比)B(蓝的百分比) 三种颜色的光强越强，到达我们眼睛的光就越多，它们的比例不同，我们看到的颜色也就不同。没有光到达眼睛，就是一片漆黑 当三基色等量相加时，得到白色；等量的红绿相加而蓝为0时得到黄色；等量的红蓝相加而绿为0时得到品红色；等量的绿蓝相加而红为0时得到青色。这些三基色相加的结果如图所示,相加混色,三种色彩叠加可形成1670万种颜色，即真彩 色,10,打印彩色图像用CMY相减混色模型-1,一个不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定 用彩色墨水或颜料进行混合，绘制的图画是一种无源物体，用这种方法生成的颜色称为相减色 在白光照射下，青色颜料能吸收红色而反射青色，黄色颜料吸收蓝色而反射黄色，品红颜料吸收绿色而反射品红。也就是： 白色-红色=青色 白色-绿色=品红 白色-蓝色=黄色 另外，如果把青色和黄色两种颜料混合，在白光照射下，由于颜料吸收了红色和蓝色，而反射了绿色，对于颜料的混合我们表示如下： 颜料(黄色+青色)=白色-红色-蓝色=绿色 颜料(品红+青色)=白色-红色-绿色=蓝色 颜料(黄色+品红)=白色-绿色-蓝色=红色 以上的都是相减混色,相减混色就是以吸收三基色比例不同而形成不同的颜色的。所以又把青色、品红、黄色称为颜料三基色。颜料三基色的混色在绘画、印刷中得到广泛应用,11,打印彩色图像用CMY相减混色模型-2,CMY相减混色模型 用三种基本颜色即青色(cyan)、品红(magenta)和黄色(yellow)的颜料按一定比例混合得到颜色的方法，通常写成CMY，称为CMY模型 从理论上说，任何一种颜色都可以用青色(cyan)、品红(magenta)和黄色(yellow)混合得到 在相减混色中, 当三基色等量相减时得到黑色；。三基色相减结果如图所示 按每个像素每种颜色用1位表示，相减法产生的8种颜色如表所示,相减混色,相减色,12,图像属性-1,像素深度（depth） 图像中描述每个像素所需的二进制位数，以bit为单位 例如，用R，G，B三个分量表示的彩色图像，若每个分量用8位表示，那么一个像素共用24位表示，就说像素深度为24位 像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数 例如，像素深度为24位时，每个像素可以是224=16 777 216种颜色中的一种 像素深度越深，表达的颜色数目就越多，所占用的存储空间也越大。相反，如果像素深度太浅，则影响图像的质量，图像看起来让人觉得很粗糙和很不自然,13,图像属性-2,阿尔法()通道 在每个像素用32位表示的图像表示法中的高8位，其余24位是颜色通道，红色、绿色和蓝色分量各占一个8位的通道 通道是一个256级灰阶的图像，用于表示每个像素的透明度（可将图像分成不同的层） 例如，用两幅图像A和B混合成一幅新图像，新图像(New)的像素为：New pixel =(alpha A)(pixel A color) +(alpha B)(pixel B color) 在视频制作中，可把广告的图标、报道题花等图案作为标记或栏目标题叠加在画面上，使用通道可对不同部分产生不同的透明效果,14,图像属性-3,真彩色与伪彩色 真彩色(true color) 每个像素的颜色值用红(R)、绿(G)和蓝(B)表示的颜色 通常用24位表示，其颜色数22416 777 216种。也称24位颜色(24-bit color)或全彩色(full color) 伪彩色(pseudo color) 在RGB真彩色出现之前， 由于技术上的原因，计算机在处理时并没有达到每像素24位的真彩色水平，为此人们创造了索引颜色，即伪彩色 将像素值当作彩色查找表(color look-up table，CLUT)的表项入口地址，查找显示图像时要使用的R，G，B值，用查找出的R，G，B值产生的彩色。例如16种颜色的查找表，0号索引对应黑色，. ，15号索引对应白色 使用查找得到的R，G，B数值显示的彩色是真的，但不是图像本身真正的颜色，它没有完全反映原图的颜色,15,图像的种类-1,矢量图(vector graphics) 图形 一般是由点、线条、曲面等组成的画面，多数是由绘图软件绘制出来的 把图形看作一段段具有一定宽度、一定长度和方向性的线段组成，文件记录的是每个线段的起点和终点以及线段的色彩、宽度等信息，该文件可以看成是众多矢量表示的集合。 每一个矢量都是独立的图像对象，可以自由无限制的重新组合 优点 目标图像的移动、缩小或放大、旋转、拷贝、属性(如线条变宽变细、颜色)变更都很容易做到 存储空间小 局限性 很难用来描述真实世界的彩色照片,16,图像的种类-2,位图(bitmap)图像 把图片看成是m行n列的小方块组成，每个小方块被称为一个像素，记录每个像素的颜色值 对位图进行操作时，只能对图中的像素进行操作，而不能把位图中的物体作为独立实体进行操作。也称光栅图(raster graphics) 特性 位图的获取通常用扫描仪、数码相机、摄像机、录像机、视像光盘和相关的数字化设备 位图文件占据的存储空间比较大 影响位图文件大小的因素 图像分辨率：分辨率越高，表示组成一幅图的像素就越多，图像文件就越大 像素深度：像素深度越深，表达单个像素的颜色和亮度的位数越多，图像文件就越大,17,图像的种类-3,矢量图与位图的差别,18,图像的描述矩阵,黑白图像（二值图像） 每个像素只能是黑或者白，像素值为0/1 灰度图像 每个像素由一个量化的灰度级来表示，一般为8bits的灰度级（0-255,0为纯黑,255为纯白） 彩色图像 每个像素的信息由RGB三基色构成,18,19,图像文件格式,图像文件格式是存储图形或图像数据的数据结构 数字图像有多种存储格式，每种格式一般由不同的开发商支持。因此，要进行图像处理，必须了解图像文件的格式， 即图像文件的数据构成 每一种图像文件均有一个文件头， 在文件头之后才是图像数据,20,BMP文件格式-1,BMP文件格式 Bitmap的简写 微软公司开发的在Windows环境下的标准位图文件格式 BMP文件是一种像素文件，它保存了一幅图象中所有的像素 可保存单色位图、16色或256色索引模式像素图、24位真彩色图象 每种模式中单一像素的大小分别为1/8字节，1/2字节，1字节和3字节 目前最常见的是256色BMP和24位色BMP 这种文件格式还定义了像素保存的几种方法，包括不压缩、RLE压缩等。常见的BMP文件大多是不压缩的。,21,BMP文件格式-2,BMP文件组成 BMP文件由文件头、位图信息头、颜色信息(调色板)和图形数据四部分组成 BMP文件头 BMP文件头数据结构含有BMP文件的类型、文件大小和位图起始位置等信息。 其结构定义如下:typedefstructtagBITMAPFILEHEADERWORD bfType;/位图文件的类型标识，必须为0 x424D,即字符串”BM”DWORDbfSize;/位图文件的大小，以字节为单位WORD bfReserved1;/位图文件保留字，必须为0WORD bfReserved2;/位图文件保留字，必须为0DWORDbfOffBits;/位图数据的起始位置，以相对于位图 /文件头的偏移量表示，以字节为单位BITMAPFILEHEADER;,22,BMP文件格式-3,位图信息头 BMP位图信息头数据用于说明位图的尺寸等信息。typedefstructtagBITMAPINFOHEADERDWORD biSize;/本结构所占用字节数LONG biWidth;/位图的宽度，以像素为单位LONG biHeight;/位图的高度，以像素为单位WORDbiPlanes;/目标设备的级别，必须为1WORDbiBitCount/每个像素所需的位数，必须是1(双色), /4(16色)，8(256色)或24(真彩色)之一DWORDbiCompression;/位图压缩类型，必须是0(不压缩),/1(BI_RLE8压缩类型)或2(BI_RLE4压缩类型)之一DWORDbiSizeImage;/位图的大小，以字节为单位LONG biXPelsPerMeter;/位图水平分辨率，每米像素数LONG biYPelsPerMeter;/位图垂直分辨率，每米像素数DWORDbiClrUsed;/位图实际使用的颜色表中的颜色数DWORDbiClrImportant;/位图显示过程中重要的颜色数BITMAPINFOHEADER;,23,BMP文件格式-4,颜色表（调色板） 颜色表用于说明位图中的颜色，它有若干个表项，每一个表项是一个RGBQUAD类型的结构，定义一种颜色。 RGBQUAD结构的定义如下:typedefstructtagRGBQUADBYTErgbBlue;/蓝色的亮度(值范围为0-255)BYTErgbGreen;/绿色的亮度(值范围为0-255)BYTErgbRed;/红色的亮度(值范围为0-255)BYTErgbReserved;/保留，必须为0RGBQUAD; 颜色表中RGBQUAD结构数据的个数有biBitCount来确定:当biBitCount=1,4,8时，分别有2,16,256个表项; 当biBitCount=24时，没有颜色表项。 位图信息头和颜色表组成位图信息，BITMAPINFO结构定义如下:typedefstructtagBITMAPINFOBITMAPINFOHEADERbmiHeader;/位图信息头RGBQUADbmiColors1;/颜色表BITMAPINFO;,24,BMP文件格式-5,位图数据 位图数据记录了位图的每一个像素值，记录顺序是在扫描行内是从左到右,扫描行之间是从下到上。 位图的一个像素值所占的字节数: 当biBitCount=1时，8个像素占1个字节; 当biBitCount=4时，2个像素占1个字节; 当biBitCount=8时，1个像素占1个字节; 当biBitCount=24时, 1个像素占3个字节; Windows规定一个扫描行所占的字节数必须是4的倍数(即以long为单位), 不足的以0填充 一个扫描行所占的字节数计算方法:DataSizePerLine=(biWidth*biBitCount+31)/8; 一个扫描行所占的字节数DataSizePerLine=DataSizePerLine/4*4;/字节数必须是4的倍数 位图数据的大小(不压缩情况下):DataSize=DataSizePerLine*biHeight;,25,BMP文件格式-6,总结 Windows所使用的BMP文件，在开始处有一个文件头，大小为54字节。 文件头保存了包括文件格式标识、颜色数、图象大小、压缩方式等信息 对24位色不压缩的BMP，文件头中的信息基本不需要注意，只有“大小”这一项对有用。图象的宽度和高度都是一个32位整数，在文件中的地址分别为0 x0012和0 x0016。 54个字节以后，如果是16色或256色BMP，则还有一个颜色表，但24位色BMP没有这个，可不考虑。 接下来就是实际的像素数据了。24位色的BMP文件中，每三个字节表示一个像素的颜色。注意，通常使用RGB来表示颜色，但BMP文件则采用BGR，就是说，顺序被反过来了 每一行的字节数一行的字节数必须是4的整数倍，如果不是，则需要补齐 BMP文件的数据存放是从下到上，从左到右的。也就是说， 从文件中最先读到的是图像最下面一行的左边第一个像素， 然后是左边第二个像素， 接下来是倒数第二行左边第一个像素， 左边第二个像素。依次类推， 最后得到的是最上面一行的最右边的一个像素,26,作业2,用VC或者C/C+实现一个包含如下功能的程序 打开24位彩色bmp文件, 显示该图像 将图像内容顺时针旋转90度后显示出来 将图像分成等大小的4块，将第1和第3块像素互换后保存 将旋转后的图像转换成灰度图像显示，并保存 对灰度图像求Sobel边缘图，显示出来，并保存 对灰度图像进行Gaussian平滑，并保存（需要体会平滑的作用） 对灰度图像进行2值化（可尝试使用不同的阈值，如30，50，128，160） 要求 不可借助其它SDK，只能用C/C+来实现，可参考网上代码 作业提交：源程序+原始图像+各结果图像（可拷贝到word文件中）,27,描述颜色的几个术语,颜色是什么 颜色是人的视觉系统对可见光的感知结果，感知到的颜色由光波的波长决定 视觉系统能感觉的波长范围为380780 nm，感知到的颜色和波长之间的对应关系如图所示 纯颜色用光的波长定义，称为光谱色(spectral colors)。单色光 用不同波长的光进行组合时可产生相同的颜色感觉 国际照明委员会（CIE）定义了三个特性来区分不同的颜色 色调(hue) 饱和度(saturation) 明度(brightness),光谱色,28,颜色的三个特性-1,色调（Hue） 视觉系统对一个区域呈现的颜色的感觉，即对可见物体辐射或发射的光波波长的感觉 这种感觉就是与红、绿和蓝三种颜色中的哪一种颜色相似，或者与它们组合的颜色相似。 色调取决于可见光谱中的光波的频率，它是最容易把颜色区分开的一种属性 苹果是红色的，这“红色”便是一种色调，它与颜色明暗无关 黑、灰、白则为无色彩 色调有一个自然次序：红、橙、黄、绿、青、蓝、靛、紫(red，orange, yellow，green，cyan，blue，indigo，violet)。在这个次序中，当人们混合相邻颜色时，可以获得在这两种颜色之间连续变化的色调,29,颜色的三个特性-2,色调表示法,色调（Hue） 在颜色圆上用圆周表示，圆周上的颜色具有相同的饱和度和明度，但它们的色调不同,如图所示,30,颜色的三个特性-3,饱和度(Saturation) 指颜色的纯洁性 可用来区别颜色明暗的程度 当一种颜色掺入其他光成分越多时，就说该颜色越不饱和 一种颜色+其他光成分=颜色不饱和 完全饱和的颜色是指没有渗入白光所呈现的颜色 单一波长的光谱色是完全饱和的颜色 半径表示法 见图(a)，沿径向方向上的颜色具有相同的色调和明度，但它们的饱和度不同 图(b)所示的七种颜色具有相同的色调和明度，但具有不同的饱和度，左边的饱和度最浅，右边的饱和度最深,(a) 半径表示法,(b) 饱和度表示法,31,颜色的三个特性-4,明度(Brightness) 视觉系统对可见物体辐射光或发射光多少的感知属性 同一物体因受光不同会产生明度上的变化。 有色表面的明度取决于亮度和表面的反射率 感知的明度与反射率不成正比，认为是一种对数关系 明度的主观感觉值目前无法用物理设备测量 可用亮度(luminance)即辐射的能量来度量 一个极端是黑色(没有光)，另一个极端是白色，在这两个极端之间是灰色,32,颜色的三个特性-5,明度（Brightness） 明度常用垂直轴表示，见图(a) 在图(b)中，七种颜色具有 相同色调和饱和度 不同的明度 底部的明度最小 顶部的明度最大,(a) 垂直轴表示法 (b) 示例,33,饱和度和亮度的关系 同一色调越亮或越暗越不纯。 在饱和的彩色光中增加白光的成分，相当于增加了光能，因而变得更亮了，但是它的饱和度却降低了。 若增加黑色光的成分，相当于降低了光能，因而变得更暗，其饱和度也降低了。,34,颜色的三个特性-6,亮度（ luminance ） 由于明度很难度量，因此国际照明委员会定义了一个比较容易度量的物理量，称为亮度(luminance)。 亮度的值是可度量的，它用单位面积上反射或者发射的光的强度表示 光的强度用“intensity”表示，但在许多中文工具书和科技文献中把“intensity”和“luminance”都翻译成“亮度” 总结：色调与光波的波长有直接关系，亮度和饱和度与光波的幅度有关。,35,颜色空间-1,表示颜色的一种数学方法 对人，可以通过色调、饱和度和明度来定义颜色 对显示设备，用红、绿和蓝发光体的发光量来描述颜色 对打印或印刷设备，使用青色、品红色、黄色和黑色的反射和吸收来产生指定的颜色 通常用三维模型表示 颜色常用代表三个参数的三维坐标来指定，这些参数描述颜色在颜色空间中的位置,36,颜色空间-2,例：如图表示用色调、饱和度和明度构造的HSB (hue, saturation，and brightness) 颜色空间 色调用角度标定，红色标为0,青色标为180 饱和度的深浅用半径大小表示 明度用垂直轴表示 HIS（Intensity）,色调-饱和度-明度颜色空间,37,HIS/HSB,（A）HSI圆锥空间模型 （B）线条示意图：圆锥上亮度、色度和饱和度的关系。 （C）纵轴表示亮度：亮度值是沿着圆锥的轴线度量的，沿着圆锥轴线上的点表示完全不饱和的颜色，按照不同的灰度等级，最亮点为纯白色、最暗点为纯黑色。 （D）圆锥纵切面：描述了同一色调的不同亮度和饱和度关系。 （E）圆锥横切面：色调H为绕着圆锥截面度量的色环，圆周上的颜色为完全饱和的纯色，色饱和度为穿过中心的半径横轴。,38,颜色空间-3,39,肤色模型（Skin model）,肤色检测在人脸检测、手势识别、人体跟踪、敏感图像过滤等问题中得到广泛应用 它通常被作为预处理环节来降低问题求解的计算复杂度 由于种族、光照、背景等因素的影响，准确分割人体肤色区域仍是一个有挑战性的问题,40,肤色模型（Skin model）,肤色在不同颜色空间上的分布 计算机表示中最常用的RGB颜色空间 RGB is developed with CRT as an additive color space It has high correlation, non-uniformity and mixing of chrominance and luminance data. Therefore RGB is not suitable for color analysis and color based recognition,41,肤色模型（Skin model）,与人类颜色感知一致的HSV颜色空间 HSV(hue,saturation,value)表示色调、饱和度和亮度,H-V and H-S subspace plots,Distribution of the H (Hue) channel,HSV反映了人的视觉系统观察彩色的方式 V分量与图像的彩色信息无关； H和S分量与人感受颜色的方式是紧密相联的 HSV非常适合借助人的视觉系统来感知彩色特性的图像处理算法,42,肤色模型（Skin model）,YUV (YCbCr) 颜色空间 Y 分量决定颜色的明亮度 U 分量和V 分量决定了颜色本身（色度）,Distribution of Y, Cb and Cr,Bounding planes for Cb-Cr subspace,43,肤色模型（Skin model）,肤色在更多颜色空间上的分布,44,肤色模型（Skin model）,肤色建模方法 简单定义肤色模型 通过实验观察，通过定义一系列规则来定义颜色空间中的肤色区域 采用的规则包括有人工定义的简单的线性函数、复杂的非线性函数，或者通过机器学习自动找到规则 参数肤色模型 假定肤色分布符合某类具体的数学函数，并通过训练数据来确定出相应的参数，模型通常被假定为服从单高斯分布、多高斯分布、椭圆分布等 非参数肤色模型 通过训练集中的肤色出现频率直接估计每种颜色的肤色概率，常用方法有查表法、Bayes法、SOM等 这类模型中的各颜色点的肤色概率值独立，准确性高，但缺乏泛化能力,45,肤色模型（Skin model）,46,肤色模型（Skin model）,肤色检测结果,47,作业3,1.实现RGB颜色空间到HSV和YCbCr颜色空间的转换（关于转换公式由自己查阅资料获取） 2.（选做）采集些肤色样本，画出这些肤色在RGB，HSV和YCbCr颜色空间上的分布,