图像理解之立体视觉

,第,*,页,第,4,讲,第,5,章,立体视觉：双目,5.1,立体视觉,5.2,双目成象和视差,5.3,基于区域的双目立体匹配,5.4,基于特征的双目立体匹配,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体的距离（深度）信息,5.1.1,立体成象方式,5.1.2,立体视觉模块,5.1,立体视觉,章毓晋 (TH-EE-IE),5.1.2,立体视觉模块,六个模块,六项工作,1.,摄象机标定,2.,图象获取,3.,特征提取,立体视觉借助不同观察点对同一景物间的视差来帮助求取,3-D,信息（特别是深度信息）。所以需要判定同一景物在不同图象中的对应关系,选择合适的图象特征以进行多图象间的匹配,章毓晋 (TH-EE-IE),5.1.2,立体视觉模块,六个模块,六项工作,4.,立体匹配,根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图象中的象点之间的关系，并由此得到相应的视差图象,5.,3-D,信息恢复,根据,得到的视差图象，可以进一步计算深度图象，并恢复场景中的,3-D,信息,章毓晋 (TH-EE-IE),5.1.2,立体视觉模块,六个模块,六项工作,6.,后处理,3-D,信息常不完整或存在一定的误差,(1),深度插值,只能恢复出图象中特征点处的视差值,(2),误差校正（见后）,(3),精度改善,象素级视差到亚象素级的视差,章毓晋 (TH-EE-IE),获得同一场景的两幅视点不同的图象,5.2.1,双目横向模式,5.2.2,双目横向会聚模式,5.2.3,双目纵向模式,5.2,双目成象和视差,章毓晋 (TH-EE-IE),5.2.1,双目横向模式,摄象机坐标系统和世界坐标系统重合,象平面与世界坐标系统的,XY,平面也是平行,两个镜头中心间的连线称为系统的基线,B,章毓晋 (TH-EE-IE),1.,视差和深度,5.2.1,双目横向模式,章毓晋 (TH-EE-IE),1.,视差和深度,3-D,空间点在两个摄象机的公共视场,（视角不同，被摄物的形状，摄影环境）,测距精度,x,1,e,=,x,1,+,e,，,d,1,e,=,x,1,+,e,+,x,2,+,B,=,d,+,e,5.2.1,双目横向模式,章毓晋 (TH-EE-IE),2.,角度扫描成象,象素是按镜头的方位角和仰角均匀分布的,可借助镜头的方位角,来表示物象的空间距离,5.2.1,双目横向模式,章毓晋 (TH-EE-IE),两个单目系统绕各自中心相向旋转,5.2.2,双目横向会聚模式,章毓晋 (TH-EE-IE),两个摄象机是沿光轴线依次排列,基本排除由于遮挡造成的,3-D,空间点仅被一个摄象机看到的问题,公共视场的边界很容易确定,5.2.3,双目纵向模式,章毓晋 (TH-EE-IE),直接用单点灰度搜索会受到图象中许多点会有相同灰度、图象噪声等因素影响而不实用,5.3.1,模板匹配,5.2.2,双目立体匹配,5.3,基于区域的双目立体匹配,章毓晋 (TH-EE-IE),5.3.1,模板匹配,相关函数,对,f,(,x,y,),和,w,(,x,y,),幅度值的变化比较敏感,相关系数,章毓晋 (TH-EE-IE),5.3.2,双目立体匹配,1.,极线约束,C,和,C“,之间的连线,称光心线，光心线,与左右象平面的交,点,E,和,E”,分别称为,左右象平面的极点,光心线与物点,W,在同一个平面中，这个平面称为极平面，极平面与左右象平面的交线,L,和,L,分别称为物点,W,在左右象平面上投影点的极线,章毓晋 (TH-EE-IE),5.3.2,双目立体匹配,2.,匹配影响因素,(1),由于景物自身形状或景物互相遮挡的原因，用左图象确定的某些模板不一定能在右图象中找到完全匹配的位置。此时常需根据其他匹配位置的匹配结果来插值这些无法匹配点的数据,(2),不同模板图象应有不同模式。但在平滑区域得到的模板图象具有相同或相近的模式，使匹配有不确定性，并导致产生误匹配。此时可需要将一些随机的纹理投影到这些表面上以将平滑区域转化为纹理区域,章毓晋 (TH-EE-IE),5.3.2,双目立体匹配,3.,光学特性计算,利用灰度信息进一步计算物体表面的光学特性,N,为表面面元法线方向的单位向量,S,为点光源方向的单位向量,V,为观察者视线方向的单位向量,反射亮度,I,(,x,y,),为合成反射率,(,x,y,),和合成反射量,R,N,(,x,y,),的乘积,章毓晋 (TH-EE-IE),5.3.2,双目立体匹配,3.,光学特性计算,第一项散射效应，第二项镜面反射效应,H,为镜面反射角方向的单位向量,向量,H,反映出视线向量,V,的变化,章毓晋 (TH-EE-IE),5.4,基于特征的双目立体匹配,基于区域方法的缺点是依赖于图象灰度的统计特性，所以对景物表面结构以及光照反射等较为敏感,5.4.1,基本方法,5.4.2,动态规划匹配,章毓晋 (TH-EE-IE),5.4.1,基本方法,典型方法的主要步骤,(1),用边缘检测寻找物体的轮廓线，并在轮廓线上确定特征点,(2),利用立体匹配方法匹配各特征点,(3),对匹配点求视差，获取匹配点的深度,(4),利用获得的匹配点进行深度插值，以进一步得到其它各点的深度,章毓晋 (TH-EE-IE),5.4.1,基本方法,3-D,空间坐标中一个特征点,W,(,x,y, ,z,),通过正交投影后在左右图上分别为：,按先平移再旋转的,坐标变换对,u,计算,章毓晋 (TH-EE-IE),5.4.1,基本方法,平行于,XZ,平面的一个平面图,：,章毓晋 (TH-EE-IE),注意：仅由稀疏的匹配点并不能唯一地恢复物体外形,示例：,过这,4,个点的曲面可以有无穷多个,5.4.1,基本方法,章毓晋 (TH-EE-IE),顺序性约束：,物体可见表面上的特征点与它们在两幅成象图象上投影的顺序正好反过来,有遮挡时，图象上投影的顺序不满足顺序性约束,5.4.2,动态规划匹配,章毓晋 (TH-EE-IE),建立在两条极线上确定的多个特征点之间的对应关系,将匹配各特征点对的问题描述为一个在由特征点对应结点的图（,graph,）上搜索最优路径的问题,5.4.2,动态规划匹配,章毓晋 (TH-EE-IE),5.5,视差图误差检测与校正,视差图产生误差,周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严格性，等等,通用快速的视差图误差检测与校正算法,直接对视差图进行处理,与产生该视差图的具体立体匹配算法独立,计算量仅仅与误匹配象素点的数量成正比,章毓晋 (TH-EE-IE),1.,误差检测,顺序匹配约束,5.5,视差图误差检测与校正,对点,P,和,Q,的,Z,坐标的限制,章毓晋 (TH-EE-IE),1.,误差检测,检测匹配交叉（顺序匹配约束未满足）区域,令,P,R,=,f,R,(,i,j,),和,Q,R,=,f,R,(,k,j,),为,f,R,(,x,y,),中第,j,行中任意两象素，则其在,f,L,(,x,y,),中的匹配点可分别记为,P,L,=,f,L,(,i,+,d,(,i,j,),j,),和,Q,L,=,f,L,(,k,+,d,(,k,j,),j,),。定义,C,(,P,R,Q,R,),为,P,R,和,Q,R,间的交叉标号，如果顺序匹配约束满足记为,C,(,P,R,Q,R,) = 0,；否则记为,C,(,P,R,Q,R,) = 1,。,对应象素点,P,R,的交叉数（,cross number,）,N,c,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),2.,误差校正,假设,f,R,(,i,j,)|,i,p,q,是对应,P,R,的交叉区域，则该区域内所有象素点的总交叉数（,total cross number,）,N,tc,为：,校正交叉区域中误匹配点（零交叉校正算法,）,(1),找出具有最大交叉数的象素,f,R,(,l,j,),：,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),2.,误差校正,(2),确定对匹配点,f,R,(,k,j,),的新搜索范围,f,L,(,i,j,)|,i,s,t,(3),从该搜索范围中找到能够减小总交叉数,N,tc,的新匹配点,(4),用新匹配点来校正,d,(,k,j,),，消除对应当前最大交叉数象素的误匹配,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),2.,误差校正,例,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),2.,误差校正,交叉区域：,f,R,(154,j,),f,R,(162,j,),总交叉数：,N,tc,28,(1),具有最大交叉数的象素：,f,R,(160,j,),(2),新匹配点,f,R,(160,j,),的搜索范围为：,f,L,(,i,j,)|,i,181, 190,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),2.,误差校正,(3),对应,f,R,(160,j,),且能够减小,N,tc,的新匹配点,f,L,(187,j,),(4),将对应,f,R,(160,j,),的视差值,d,(160,j,),校正为,d,(160,j,) =,X,f,L,(187,j,),X,f,R,(160,j,) = 27,5.5,视差图误差检测与校正,章毓晋 (TH-EE-IE),通信地址：,北京清华大学电子工程系,邮政编码：,100084,办公地址：,清华大学东主楼，,9,区,307,室,办公电话,：,(010)62781430,传真号码,：,(010)62770317,电子邮件：,个人主页：, 系 信 息,章毓晋 (TH-EE-IE),