机器视觉3final

人类视觉 人眼所能看到的光谱范围 只是电磁辐射波范围的很小一部分 其波长范围从380纳米到780纳米 这段波长称为可见光谱 在可见光范围内 不同波长的光给人以不同的色彩感觉 不同强度的光及不同强度分布的光刺激人眼 在人脑中将产生不同的光强 颜色 形状等视觉信息 人的眼睛是一个前后直径大约23毫米的近似球状体 由眼球壁和眼球构成 如图 眼球壁的正前方 占整个眼球壁面积的1 6是一层弹性的透明组织 叫做角膜 角膜具有屈光功能 光线经角膜发生屈折进入眼内 眼球壁外层的其余5 6是白色的不透明膜 叫做巩膜 它主要起巩固 保护眼球的作用 眼球壁的中层包括虹膜 睫状体和脉络膜 脉络膜含有丰富的色素细胞 呈黑色 起着吸收外来散光的作用 消除光线在眼球内部的乱反射 虹膜在角膜的后面 位于晶体的前面 虹膜中央的圆孔叫做瞳孔 虹膜可以使瞳孔扩大和缩小 睫状体位于虹膜后面 其内部有睫状肌 起调节晶体的作用 眼球壁内层是视网膜 retina 和视神经乳头 视网膜是一种透明薄膜 是眼球的感光部分 视网膜由锥体细胞 conecell 和杆体细胞 rodcell 两种感光细胞组成 其中 锥体细胞约有650万个 杆体细胞约有1亿个 视网膜可分为以视轴为中心直径约6毫米的中央区和周边区 中央区有一直径约2毫米 折合6度视角 呈黄色区域 称为黄斑 黄斑中央有一小凹 叫做中央凹 fovea 面积约1平方毫米 人类视觉的中央凹没有杆体细胞 只有锥体细胞 其密度高达每平方毫米150 000 离开中央凹 锥体细胞急剧减少 而杆体细胞急剧增多 在离开中央凹20度的地方 杆体细胞最多 中央凹的锥体细胞密度很高 是产生最清晰视觉的地方 杆体细胞主要是在黑暗的条件下起作用 同时还负责察觉物体的运动 因此 常将锥体细胞称为明视觉细胞 将杆体细胞称为暗视觉细胞 眼球内包括晶体 房水及玻璃体 它们都是屈光介质 晶体为一扁球形的弹性透明体 位于玻璃体与虹膜之间 睫状体的收缩可改变晶体的屈光力 使外界的对象能在视网上形成清楚的影像 人眼的构造 基本视觉信息包括 亮度 形状 运动 颜色 深度知觉等亮度是最基本的视觉信息 因为没有亮度就谈不上什么形状 运动 颜色等视知觉 亮度是一种外界辐射的物理量在我们视觉中反映出来的心理物理量 视觉信息处理过程 物体的形状主要是由物体在视觉空间上的亮度分布 颜色分布或运动状态不同而显示出来的 雪地上一张白纸 荒野中潜伏的狼 都比较难以觉察 相反 雪地上一张彩纸 绿草地上等一朵红花 荒野中奔跑的狼 都比较容易发现 这是由于物体形状因亮度 颜色 运动等因素而突显出来 易于被人眼分辨出来 视觉系统对运动目标十分敏感 特别是低等动物更是如此 如蛙类的视网膜对运动特别敏锐 而对静止的目标却视而不见 颜色知觉是一种主观感觉 目前只在感受器细胞水平和心理物理的宏观水平上得到了较深入的研究 研究表明 猴和人的视网膜中 含有三种不同的锥体细胞 每一种锥体细胞对不同的光谱 其敏感性也是不同的 三种锥体细胞对光谱的敏感峰值分别在430纳米 540纳米和570纳米 这三个峰值段正对应着光谱中的红 绿 蓝区域 实验进一步表明 当三种颜色按一定比例同时刺激人眼时 会产生各种颜色感觉 其中有一种比例会使得颜色感觉完全消失 只有亮度感觉 这就是所谓的色觉三变量性 tri varianceofcolorvision 说明颜色只取决于三个基本的输入量 这也是色觉三基色原理的基础 人类的视觉不仅要识别物体的形状和颜色 而且要随时地作用于物体 例如 伸手拿一本书 躲开汽车或障碍物 把足球踢入球门等 这一切活动都需要判断我们与被作用物体的距离 立体知觉就是指这种判断物体距离或深度的感觉 正常的双眼视觉都可以提供高度的立体感 外界目标在视网膜上的象是二维的 而且同一物体在左右眼的视网膜上的成像有着微小的差异 比如 用你的手轮流遮挡你的左 右眼 会发现同一个物体在左右眼中的位置是不同的 实际上 这种不同为立体视觉提供了最基本的信息 视差 disparity Julesz1960 首次使用随机点立体图对作为刺激研究了立体视知觉 如图 这种刺激图形排除了所有单眼视觉引入的第二视觉线索 而只保留了视差信息 受试者在观察随机立体图对时 用左右眼分别观看其中一个图几秒钟 当两个图融合后 便会感受到有一个方形平面从背景中突显出来 除了双眼视差提供深度信息外 还有许多单眼的信息可以产生深度信息的估计 如物体的重叠 透视 近大远小 近清晰远模糊 近亮远暗 明暗 纹理及运动 当然这种深度估计在质量和感觉上仍无法与视差立体知觉的深度相比 机器视觉 颜色感知 图像的灰度值一般表示光强 光强是两个空间变量的函数 实际上 光是由不同波段的光谱组成的 一幅图像常常对应一个波段或多个波段光谱样本 因此 图像灰度值是两个空间变量和一个光谱变量的函数 我们称这样的图像为多光谱图像 multi spectralimage 其中的每一个波段称为一个通道 比如 气象卫星获取的云图 其波段是红外波段 扇形束 型超声诊断仪输出的图像 其波段是超声波段 场景或物体的颜色是由照射光源的光谱成分 光线在物体上反射和吸收的情况决定的 比如 一个蓝色物体在日光下观察呈现蓝色 是由于这个物体将日光中的蓝光反射出来 而吸收了光谱中的其它部分的光谱 而同样的蓝色物体 在红色的光源照射下 则呈现红紫色 对于机器视觉系统 彩色图像还与成象系统敏感器的光谱响应有关 可见光的波长分布在380到780之间 人的颜色感觉是不同波长的可见光刺激人的视觉器官的结果 在可见光的波段内 随着波长的增长 使人产生紫 蓝 青 绿 黄 橙 红等颜色的感觉 人的视网膜上有两类细胞 杆体细胞和锥体细胞 杆体细胞灵敏度高 能感受微弱的光 锥体细胞灵敏度低 但能很好地区分颜色 为了解释视觉对颜色的感知能力 美国物理学家T Young1801年提出三色假说 后来由Helmholtz加以发展 形成著名的Young Helmholtz三色学说 三色原理 假设有三种视觉 锥体 感受器 分别对红 绿 蓝三种颜色敏感 当光线同时作用在这三种感受器上时 三个感受器产生的兴奋程度不同 不同兴奋程度的组合将产生不同的颜色感觉 三种感受器处于等强度兴奋时 便产生白色的感觉 三色假说 根据 Wald1964 对人类色彩视觉的研究结果 三种锥体细胞的光谱吸收的峰值分别在430 540和570纳米左右 这三个区间分别对应红 绿和蓝波段 由于这个原因 这三种颜色被称为人类视觉的三基色 谱上的大多数颜色都可以用红 Red 绿 Green 蓝 Blue 三种单色加权混合产生 基于RGB三基色的颜色表示称为RGB颜色模型 RGB颜色模型 RGB和CMY颜色模型 根据RGB三基色原理 各种颜色的光都可以由红 绿和蓝三种基色加权混合而成 如图RGB直角坐标定义的单位立方体来说明 坐标原点 0 0 0 表示黑色 坐标点 1 1 1 表示白色 在坐标轴上的三个顶点表示RGB三个基色 因此 彩色空间是三维的线性空间 任意一种具有一定亮度的颜色光都可用空间中的一个点或一个向量表示 因此我们可以选择具有确定光通量的红 绿 蓝三基色作为这三维空间的基 这样组成的表色系统称为RGB表色系统 在RGB表色系统中 标准白光的RGB光通量按以下比例混合而成 通常把光通量为1流明的红光 4 5907流明的绿光 0 0601流明的蓝光作为三基色的 单位基色量 用 R G B 表示 因此 任何一种具有一定亮度的彩色光的光通量为 其中R G B为每种原基色的比例系数 例如 对某种蓝绿色 可以用下式表示 上式表示彩色光的明亮程度 显然 光的色度只取决于之间的比例关系 如果不考虑光的亮度 只对色度感兴趣 则只要知道的相对值即可 因此可以令 r g b称为色度坐标 由于r g b 因此只有两个色度坐标是独立的 这也说明色度空间是二维的 可以用如下色度图表示 标准白光位于 为了使用RGB三基色有效地描述或混合各种颜色 人们还根据RGB三基色模型提出了CMY颜色模型 XYZ颜色模型 YIQ颜色模型 HSV颜色模型 HLS颜色模型等 以适应不同应用的需求 颜色模型 从RGB颜色模型可知 在坐标轴上的三个顶点表示RGB三个基色 各种颜色的光都可以由红 绿和蓝三种基色加权混合而成 另外三个顶点 青 Cyan 品红 Magenta 黄 Yellow 和RGB一样 也可构成一组基色 称为CMY颜色模型 各种颜色的光都可以由CMY三种基色加权混合而成 在实际应用中 RGB颜色模型用于磷粉屏幕的颜色生成 是一个由黑到白的过程 称为增色处理 CMY颜色模型主要用来描述绘图和打印彩色输出的颜色 因为这类彩色的形成是在白纸或其它印刷介质上生成的 是一个由白到黑过程 称之为减色过程 使用CMY的打印处理通常需要四个墨点的集合来产生颜色点 CMY三基色各对应一个墨点 黑色对应第四个墨点 这是因为CMY三基色混合仅能生成深灰色 所以黑色应单独作为一个墨点 这在某种程度上与RGB监视器使用的三个磷粉点的集合是一样的 显然 RGB和CMY之间的关系如下 MCY单位立方体 CIE XYZ颜色模型 使用RGB模型生成颜色时 用于产生颜色的原基色比例系数出现负值 使用起来十分不便 同时 不同研究者所用的三基色和标准白色不同 使得研究结果很难比较 因此 1931年国际照明委员会CIE CommissionInternationaledelElairage theInternationalCommissiononIllumination 规定了一种新的颜色表示系统 定义为CIE XYZ颜色模型 XYZ颜色模型把彩色光表示为 其中 是XYZ颜色模型的基色量 为三色比例系数 XYZ表色系统须满足如下三个条件 三色比例系数皆大于零 Y的数值正好是彩色光的亮度 当时仍然表示标准白光 根据以上条件 可以得到RGB颜色模型与XYZ颜色模型的关系式 对XYZ颜色模型的三基色规范化 得到如下色度坐标 NTSC YIQ表色模型 RGB工业监视器要求一幅彩色图像由分开的RGB信号组成 而电视监视器需要混合信号输入 为此 美国国家电视系统委员会 NationalTelevisionSystemCommittee NTSC 采用YIQ彩色模型 其主要的优点是可以保证彩色电视和黑白电视的兼容 即可以用彩色收看黑白电视图像 YIQ是以CIE的XYZ颜色模型为基础 其参数Y与XYZ中的模型参数相同 是图像的亮度信息 在没有色度的情况下 Y也就对应于黑白图像 或者说 黑白电视只接收Y信号 由于人眼对颜色的相对视见度不同 所以选择三色的基色量为 因此亮度信号Y为规定如下色差信号 由此可见 在色度图上 参数I包含有橙 青颜色信息 参数Q包含有绿 品红颜色 I和Q混合可以提高颜色的色调和饱和度 将 10 9 和 10 10 结合起来得到YIQ与RGB间的转换关系为 这里的RGB是NTSC制式RGB Y 0 299R 0 587G 0 114BU 0 147R 0 289G 0 436BV 0 615R 0 515G 0 100BR Y 1 14VG Y 0 39U 0 58VB Y 2 03U YUV 颜色的视觉处理 从视觉的角度来讲 颜色可分为彩色和非彩色两大类 非彩色是指黑色 白色及其两者之间深浅不同的灰色 称为非彩色或无色系列 achromaticseries 彩色系列或有色系列 chromaticseries 是指除了白色系列以外的各种颜色 为了定量地描述颜色对人眼的视觉作用 可以选用亮度 brightness 色调 hue 色饱和度 saturation 这三个与视觉特征有关的量来计算描述 这三个量称为颜色的三个基本属性 色调是由物体反射光线中占优势的波长来决定的 不同的波长产生不同的颜色感觉 如红 橙 黄 绿 青 蓝 紫等 色调是彩色的最重要的属性 是决定颜色本质的基本特性 颜色的饱和度是指一个颜色的鲜明程度 饱和度越高 颜色越深 如深红 深绿 在物体反射光的组成中 白色光愈少 则其色饱和度愈大 在颜色中加上白色或灰色愈多 其饱和度就愈小 亮度是指刺激物的强度作用于感受器所发生的效应 其大小是由物体反射系数来决定 反射系数越大 物体的亮度愈大 反之愈小 人眼大概能识别128不同的色调和130种不同的色泽 色饱和度级 根据不同的色调 还可以识别若干种明暗 比如对于黄色 可以分辨出23种明暗级 对于蓝色 则可分辨出16种明暗级 因此 人眼可以识辨出大约种不同的颜色 对于机器视觉来说 128不同的色调和8种不同的色饱和度级 16种明暗级基本上满足应用需求 色度表示彩色分量是独立于光通量的 两种彩色 比如深绿和浅绿 可能看起来不同 但实际上具有相同的波段相对分布 如果光谱分布按一个比例常数增减 彩色会变深或变浅 但光谱分布的形状不变 色调 主波段 和色饱和度 主波段的相对量 也就不变 HSV颜色感知模型 我们来回顾一下图10 5 感觉意义显著的色度位于的舌形区域内 从白光点画一条线 经过某一彩色点 再到色度图边界位置 我们可以认为彩色的色度是由白光和纯光谱色调相加混合而成 其中S为长度与的比值 定义为色饱和度 控制白色和色调的相对比例 将色调 色饱和度和亮度编码成RGB彩色值 不利于在机器视觉算法中使用 比如 识别不同颜色物体的简单方法是使用物体的色调特征 但是 这些色调在RGB空间位于何处 对应于RGB空间不同区域的物体表面形状是什么 将色调阈值应用于图像RGB空间的公式是什么 这些问题在RGB空间中是很难回答的 但将RGB值转化为色调 色饱和度和亮度时 问题就变得十分简单了 按照色调 Hue 色饱和度 Saturation 和明度值 Value 建立的HSV彩色模型就是其中的一种方法 有的书不用明度值 而用光强 Intensity HSV也用HSI来代替 HSV彩色表示 HSV颜色三角形 一个图像的RGB成分可以转换为HSV彩色表示 假设RGB成分已经被归一化为r g b r g b的所有可能值形成的轨迹是RGB空间正象限的三角形 如上页图 设三角形上的点P表示rgb空间上的某一颜色的位置 p r g b 是到三角形上P点的向量 w是到表示白色的三角形中心的点的向量 pr是到全色饱和红色对应的三角形顶点的向量 色调H是向量pr w到向量p w的夹角 从三角形远离原点的一边按逆时针方向环绕三角形 这是右手法则 大拇指沿三角形法线指向远离原点的方向 色调的余弦值是到三角形中心的向量w的值为w 1 3 1 3 1 3 p w向量的幅值为 因为 因此 pr w的幅值是p w和pr w的点积是 从而可以得到从R G B值得到简化的计算色调方程 为了在0到360度的范围内得到色调值 有必要从360中减去H 当 虽然这个推导是从归一化RGB值开始 但是方程可用于任何尺度的RGB值 这是因为分子和分母中具有相同的尺度因子 可以在计算中消除 色饱和度是指空间三角形到白色的距离相对于白色到具有相同色度的全色饱和色的距离而言的 全色饱色位于三角形的边上 三角形中点经过彩色点与三角形边缘的交点为 则色饱和度是一个距离比值 色饱和度方程为 HLS颜色感知模型 彩色图像获取系统中的RGB图像转化为HSV表示 可以便于进一步的处理 当色饱和度值为零时 色调不需要定义 也就是指沿HSV立体图的轴心线上的任何彩色 当光强值V 0时 色饱和度值无需定义 使用RGB到HSV的变换来将彩色图像转化成适应于机器视觉的形式 灰度算法可以在HSV表示的V分量上来完成 分割可以在H分量上完成 以便用不同的色调区分不同物体 但是 当色饱和度值很低时 用色度来区分物体是不可靠的 所以必须修正分割算法以便将低色饱和度值的像素留下 等待进一步处理 区域生长算法可以利用色调阈值来形成核心区域 将低色饱和度值或是在阈值边界外的未定义的像素点留下 通过分配像素来进行区域增长的算法没有任何变化 更一般的算法是使用将色调 色饱和度和光强的阈值将HSV立体空间分成若干区域 这些阈值用HSV表示比成象系统提供的RGB表示更容易公式化和应用 彩色不变性 室外光线的彩色成分变化非常大 但人却能正确的感知场景中物体的颜色 并且在大部分情况下不依赖于环境照明的颜色 这种现象叫彩色不变性 colorconstancy 环境光的光谱分布描述了在每个波段上的能量 假定场景表面是不透明的 场景中的坐标值就能用图像平面中对应点的坐标来确定 在波段 上的光从表面点 x y 处反射的部分是S x y 到达图像上每一点的光是由照在场景表面的环境光的光谱分布和光在不同波段上的反射部分来确定 假设在每个图像位置 x y 上有p个传感器 每个传感器有不同的光谱响应函数 传感器k的光谱响应Rk 在 x y 处的每个传感器采样不同分布的光谱 对应于图像平面点的场景表面上一点的彩色 光谱反射 信息由该处p个传感器编码 得到p个编码值 彩色不变性是传感器响应恢复场景表面光谱反射S x y 的问题 而独立于环境照明的光谱分布 原则上 彩色不变性问题可以表示为有限维线性空间中的逆问题 并可通过矩阵方法求解 假定表面反射是基函数的线性组合 基函数的数量是表面反射自由度的数目 假定基函数已知 仅用三个基函数的线性模型足以表示典型的表面反射 m个自由度的线性模型表示环境照明如下 假定基本光源 basiclight 的光谱分布已知 则只需三个或四个基本光源就可以建立不同气候条件和不同时间的自然光模型 彩色确定问题可以用矩阵形式表示 m个值组成列向量 个值组成列向量 将这些列向量代入方程10 22 得到图像中每个像素的矩阵模型 照明矩阵是一个矩阵 第 i j 项的值是 如果环境照明已知 那么照明矩阵也已知 如果传感器数目等于表面反射的自由度数目 即 那么可以求取照明矩阵的逆 以便得到图像上每一点的表面光谱反射特性系数 该系数表征了场景相应点的色彩 如果环境照明未知 则需要传感器数目多于表面反射自由度数目才能求解此问题 由于假设环境照明对场景中所有点都一样 因此可以用多个场景点上的信息来计算环境照明 假定 从个不同的空间点上 可得到个不同的测量值 这里有个表面反射未知数和个环境光谱未知数 因此 必须在时取样才能得到比未知数更多的数据 这一分析意味着如果有个敏感器 就可以在不知道环境光线的情况下求解彩色不变性问题 矩阵将维的表面空间映射到维的敏感器空间 例如 当 时 子空间就是三维空间中的一个平面 这意味着下面的确定表面反射性的两步算法不依赖于环境照明 1 确定覆盖传感器空间数据点的平面 子空间 以恢复环境照明向量 2 从环境照明向量确定照明矩阵 再求的逆来得到表面反射向量