图像理解之立体视觉

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,*,第,1,页,第,4,讲,第,5,章,立体视觉,：,：双目,5.1,立体视觉,5.2,双目成象,和,和视差,5.3,基于区域,的,的双目立,体,体匹配,5.4,基于特征,的,的双目立,体,体匹配,5.5,视差图误,差,差检测与,校,校正,章毓晋(TH-EE-IE),立体视觉,主,主要研究,如,如何借助,（,（多图象,）,）成象技,术,术从（多,幅,幅）图象,里,里获取场,景,景中物体,的,的距离（,深,深度）信,息,息,5.1.1,立体成象,方,方式,5.1.,2,立体视觉,模,模块,5.1,立体视觉,章毓晋(TH-EE-IE),5.1.2,立体视觉,模,模块,六个模块,六项工作,1.,摄象机标,定,定,2.,图象获取,3.,特征提取,立体视觉,借,借助不同,观,观察点对,同,同一景物,间,间的视差,来,来帮助求,取,取,3-D,信息（特,别,别是深度,信,信息）。,所,所以需要,判,判定同一,景,景物在不,同,同图象中,的,的对应关,系,系,选择合适,的,的图象特,征,征以进行,多,多图象间,的,的匹配,章毓晋(TH-EE-IE),5.1.2,立体视觉,模,模块,六个模块,六项工作,4.,立体匹配,根据对所,选,选特征的,计,计算来建,立,立特征间,的,的对应关,系,系，从而,建,建立同一,个,个空间点,在,在不同图,象,象中的象,点,点之间的,关,关系，并,由,由此得到,相,相应的视,差,差图象,5.3-D,信息恢复,根据,得到的视,差,差图象，,可,可以进一,步,步计算深,度,度图象，,并,并恢复场,景,景中的,3-D,信息,章毓晋(TH-EE-IE),5.1.2,立体视觉,模,模块,六个模块,六项工作,6.,后处理,3-D,信息常不,完,完整或存,在,在一定的,误,误差,(1),深度插值,只能恢复,出,出图象中,特,特征点处,的,的视差值,(2),误差校正,（,（见后）,(3),精度改善,象素级视,差,差到亚象,素,素级的视,差,差,章毓晋(TH-EE-IE),获得同一,场,场景的两,幅,幅视点不,同,同的图象,5.2.1,双目横向,模,模式,5.2.2,双目横向,会,会聚模式,5.2.3,双目纵向,模,模式,5.2,双目成象,和,和视差,章毓晋(TH-EE-IE),5.2.1,双目横向,模,模式,摄象机坐,标,标系统和,世,世界坐标,系,系统重合,象平面与,世,世界坐标,系,系统的,XY,平面也是,平,平行,两个镜头,中,中心间的,连,连线称为,系,系统的基,线,线,B,章毓晋(TH-EE-IE),1.,视差和深,度,度,5.2.1,双,目,目,横,横,向,向,模,模,式,式,章,毓,毓,晋,晋(TH-EE-IE),1.,视,差,差,和,和,深,深,度,度,3-D,空,间,间,点,点,在,在,两,两,个,个,摄,摄,象,象,机,机,的,的,公,公,共,共,视,视,场,场,（,视,视,角,角,不,不,同,同,，,，,被,被,摄,摄,物,物,的,的,形,形,状,状,，,，,摄,摄,影,影,环,环,境,境,）,）,测,距,距,精,精,度,度,x,1,e,=,x,1,+,e,，,d,1,e,=,x,1,+,e,+,x,2,+,B,=,d,+,e,5.2.1,双,目,目,横,横,向,向,模,模,式,式,章,毓,毓,晋,晋(TH-EE-IE),2.,角,度,度,扫,扫,描,描,成,成,象,象,象,素,素,是,是,按,按,镜,镜,头,头,的,的,方,方,位,位,角,角,和,和,仰,仰,角,角,均,均,匀,匀,分,分,布,布,的,的,可,借,借,助,助,镜,镜,头,头,的,的,方,方,位,位,角,角,来,表,表,示,示,物,物,象,象,的,的,空,空,间,间,距,距,离,离,5.2.1,双,目,目,横,横,向,向,模,模,式,式,章,毓,毓,晋,晋(TH-EE-IE),两,个,个,单,单,目,目,系,系,统,统,绕,绕,各,各,自,自,中,中,心,心,相,相,向,向,旋,旋,转,转,5.2.2,双,目,目,横,横,向,向,会,会,聚,聚,模,模,式,式,章,毓,毓,晋,晋(TH-EE-IE),两,个,个,摄,摄,象,象,机,机,是,是,沿,沿,光,光,轴,轴,线,线,依,依,次,次,排,排,列,列,基,本,本,排,排,除,除,由,由,于,于,遮,遮,挡,挡,造,造,成,成,的,的,3-D,空,间,间,点,点,仅,仅,被,被,一,一,个,个,摄,摄,象,象,机,机,看,看,到,到,的,的,问,问,题,题,公,共,共,视,视,场,场,的,的,边,边,界,界,很,很,容,容,易,易,确,确,定,定,5.2.3,双,目,目,纵,纵,向,向,模,模,式,式,章,毓,毓,晋,晋(TH-EE-IE),直,接,接,用,用,单,单,点,点,灰,灰,度,度,搜,搜,索,索,会,会,受,受,到,到,图,图,象,象,中,中,许,许,多,多,点,点,会,会,有,有,相,相,同,同,灰,灰,度,度,、,、,图,图,象,象,噪,噪,声,声,等,等,因,因,素,素,影,影,响,响,而,而,不,不,实,实,用,用,5.3.1,模板匹配,5.2.2,双目立体匹,配,配,5.3,基于区域的,双,双目立体匹,配,配,章毓晋(TH-EE-IE),5.3.1,模板匹配,相关函数,对,f,(,x,y,),和,w,(,x,y,),幅度值的变,化,化比较敏感,相关系数,章毓晋(TH-EE-IE),5.3.2,双目立体匹,配,配,1.,极线约束,C,和,C“,之间的连线,称光心线，,光,光心线,与左右象平,面,面的交,点,E,和,E”,分别称为,左右象平面,的,的极点,光心线与物,点,点,W,在同一个平,面,面中，这个,平,平面称为极,平,平面，极平,面,面与左右象,平,平面的交线,L,和,L,分别称为物,点,点,W,在左右象平,面,面上投影点,的,的极线,章毓晋(TH-EE-IE),5.3.2,双目立体匹,配,配,2.,匹配影响因,素,素,(1),由于景物自,身,身形状或景,物,物互相遮挡,的,的原因，用,左,左图象确定,的,的某些模板,不,不一定能在,右,右图象中找,到,到完全匹配,的,的位置。此,时,时常需根据,其,其他匹配位,置,置的匹配结,果,果来插值这,些,些无法匹配,点,点的数据,(2),不同模板图,象,象应有不同,模,模式。但在,平,平滑区域得,到,到的模板图,象,象具有相同,或,或相近的模,式,式，使匹配,有,有不确定性,，,，并导致产,生,生误匹配。,此,此时可需要,将,将一些随机,的,的纹理投影,到,到这些表面,上,上以将平滑,区,区域转化为,纹,纹理区域,章毓晋(TH-EE-IE),5.3.2,双目立体匹,配,配,3.,光学特性计,算,算,利用灰度信,息,息进一步计,算,算物体表面,的,的光学特性,N,为表面面元,法,法线方向的,单,单位向量,S,为点光源方,向,向的单位向,量,量,V,为观察者视,线,线方向的单,位,位向量,反射亮度,I,(,x,y,),为合成反射,率,率,(,x,y,),和合成反射,量,量,R,N,(,x,y,),的乘积,章毓晋(TH-EE-IE),5.3.2,双目立体匹,配,配,3.,光学特性计,算,算,第一项散射,效,效应，第二,项,项镜面反射,效,效应,H,为镜面反射,角,角方向的单,位,位向量,向量,H,反映出视线,向,向量,V,的变化,章毓晋(TH-EE-IE),5.4,基于特征的,双,双目立体匹,配,配,基于区域方,法,法的缺点是,依,依赖于图象,灰,灰度的统计,特,特性，所以,对,对景物表面,结,结构以及光,照,照反射等较,为,为敏感,5.4.1,基本方法,5.4.2,动态规划匹,配,配,章毓晋(TH-EE-IE),5.4.1,基本方法,典型方法的,主,主要步骤,(1),用边缘检测,寻,寻找物体的,轮,轮廓线，并,在,在轮廓线,上,上确定特征,点,点,(2),利用立体匹,配,配方法匹配,各,各特征点,(3),对匹配点求,视,视差，获取,匹,匹配点的深,度,度,(4),利用获得的,匹,匹配点进行,深,深度插值，,以,以进一步,得,得到其它各,点,点的深度,章毓晋(TH-EE-IE),5.4.1,基本方法,3-D,空间坐标中,一,一个特征点,W,(,x,y,z,),通过正交投,影,影后在左右,图,图上分别为,：,：,按先平移再,旋,旋转的,坐标变换对,u,计算,章毓晋(TH-EE-IE),5.4.1,基本方法,平行于,XZ,平面的一个,平,平面图,：,章毓晋(TH-EE-IE),注意：仅由,稀,稀疏的匹配,点,点并不能唯,一,一地恢复,物,物体外形,示例：,过这,4,个点的曲面,可,可以有无穷,多,多个,5.4.1,基本方法,章毓晋(TH-EE-IE),顺序性约束,：,：,物体可见表,面,面上的特征,点,点与它们在,两,两幅成象图,象,象上投影的,顺,顺序正好反,过,过来,有遮挡时，,图,图象上投影,的,的顺序不满,足,足顺序性约,束,束,5.4.2,动态规划匹,配,配,章毓晋(TH-EE-IE),建立在两条,极,极线上确定,的,的多个特征,点,点之间的对,应,应关系,将匹配各特,征,征点对的问,题,题描述为一,个,个在由特征,点,点对应结点,的,的图（,graph,）上搜索最,优,优路径的问,题,题,5.4.2,动态规划匹,配,配,章毓晋(TH-EE-IE),5.5,视差图误差,检,检测与校正,视差图产生,误,误差,周期性模式,、,、光滑区域,的,的存在，以,及,及遮挡效应,、,、约束原则,的,的不严格性,，,，等等,通用快速的,视,视差图误差,检,检测与校正,算,算法,直接对视差,图,图进行处理,与产生该视,差,差图的具体,立,立体匹配算,法,法独立,计算量仅仅,与,与误匹配象,素,素点的数量,成,成正比,章毓晋(TH-EE-IE),1.,误差检测,顺序匹配约,束,束,5.5,视差图误差,检,检测与校正,对点,P,和,Q,的,Z,坐标的限制,章毓晋(TH-EE-IE),1.,误差检测,检测匹配交,叉,叉（顺序匹,配,配约束未满,足,足）区域,令,P,R,=,f,R,(,i,j,),和,Q,R,=,f,R,(,k,j,),为,f,R,(,x,y,),中第,j,行中任意两,象,象素，则其,在,在,f,L,(,x,y,),中的匹配点,可,可分别记为,P,L,=,f,L,(,i,+,d,(,i,j,),j,),和,Q,L,=,f,L,(,k,+,d,(,k,j,),j,),。定义,C,(,P,R,Q,R,),为,P,R,和,Q,R,间的交叉标,号,号，如果顺,序,序匹配约束,满,满足记为,C,(,P,R,Q,R,)=0,；否则记为,C,(,P,R,Q,R,)=1,。,对应象素点,P,R,的交叉数（,crossnumber,）,N,c,5.5,视差图误差,检,检测与校正,章毓晋(TH-EE-IE),2.,误差校正,假设,f,R,(,i,j,)|,i,p,q,是对应,P,R,的交,叉,叉区,域,域，,则,则该,区,区域,内,内所,有,有象,素,素点,的,的总,交,交叉,数,数（,totalcrossnumber,）,N,tc,为：,校正,交,交叉,区,区域,中,中误,匹,匹配,点,点（,零,零交,叉,叉校,正,正算,法,法）,(1),找出,具,具有,最,最大,交,交叉,数,数的,象,象素,f,R,(,l,j,),：,5.5,视差,图,图误,差,差检,测,测与,校,校正,章毓,晋,晋(TH-EE-IE),2.,误差,校,校正,(2),确定,对,对匹,配,配点,f,R,(,k,j,),的新,搜,搜索,范,范围,f,L,(,i,j,)|,i,s,t,(3),从该,搜,搜索,范,范围,中,中