摄像机标定课件

摄像机标定及三维重建1标题添加点击此处输入相关文本内容点击此处输入相关文本内容总体概述点击此处输入相关文本内容标题添加点击此处输入相关文本内容2引言几个问题什么是摄像机标定？为什么要对摄像机进行标定？为什么要研究不同的摄像机标定方法？什么是三维重建？为什么要进行三维重建？3引言三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向.(Marr 1982)所谓三维重建就是指从二幅和二幅以上图象恢复空间点三维坐标的过程。三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定4三维重建示意图5图象的形成过程和摄像机针孔模型6O Ou u摄像机坐标系摄像机坐标系y yx xv v图像坐标系图像坐标系世界坐标系世界坐标系1 1 1 1、世界坐标系：、世界坐标系：2 2 2 2、摄像机坐标系：、摄像机坐标系：3 3 3 3、图像坐标系、图像坐标系:说明：说明：为了校正成像畸变为了校正成像畸变用理想图像坐标系用理想图像坐标系 和真实图像坐标系和真实图像坐标系 分别描述畸变前后的坐标关系分别描述畸变前后的坐标关系 坐标系7摄像机光学成像过程的四个步骤 刚体变换刚体变换透视投影透视投影畸变校正畸变校正数字化图像数字化图像世界坐标系世界坐标系摄像机摄像机真实图像坐标系真实图像坐标系数字化图像坐标系数字化图像坐标系理想图像坐标系理想图像坐标系1 1 1 1、刚体变换公式、刚体变换公式齐次坐标形式齐次坐标形式8f=OB f=OB 为透镜的焦距为透镜的焦距m=OC m=OC 为像距为像距n=AO n=AO 为物距为物距 一般地由于一般地由于 于是于是 这时可这时可以将透镜成像模型近以将透镜成像模型近似地用小孔模型代替似地用小孔模型代替 2、透视投影透镜成像原理图物体物体图像图像9 o o o o写成齐次坐标形式为写成齐次坐标形式为 2、透视投影小孔成像模型10写成齐次坐标形式为写成齐次坐标形式为 2、中心透视投影模型o o o of f f f11Position with distortionPosition with distortionIdeal PositionIdeal Positiondr :radial distortiondr :radial distortiondt :tangential distortiondt :tangential distortion3、畸变校正径向和切向畸变径向畸变径向畸变离心畸变离心畸变薄透镜畸变薄透镜畸变径向失真径向失真切向失真切向失真 12 a :barrel distortionb :pincushion distortionab3 3、畸变校正、畸变校正其它畸变类型其它畸变类型桶形畸变桶形畸变a a和和枕形畸变枕形畸变b b 薄棱镜畸变薄棱镜畸变 Axis of min tangentialdistortionAxis of maxTangentialdistortion13 在在 中的坐标为中的坐标为 象素在轴上的物理尺寸象素在轴上的物理尺寸为 Affine Transformation:Affine Transformation:Affine Transformation:Affine Transformation:4、图像数字化U U U UC C C CV V V V齐次坐标形式齐次坐标形式:其中其中14摄像机的内参数矩阵 K15线性摄像机成像模型图像物理坐标系图像物理坐标系图像像素坐标系图像像素坐标系摄像机坐标系摄像机坐标系世界坐标系世界坐标系图像像素坐标系图像像素坐标系世界坐标系世界坐标系最终得到：最终得到：这是忽略畸变的线性成像模型这是忽略畸变的线性成像模型16传统的摄像机标定方法特点要求摄像机标定块，算法复杂，精度高17直接线性变换（DLT变换）DLT:Direct Linear Transformation18Abdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。DLTDLT变换19直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：其中 为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，为 的透视投影矩阵，为未知尺度因子。20消去 ，可以得到方程组:21当已知 个空间点和对应的图像上的点时，可以得到一个含有2*个方程的方程组：其中 为 的矩阵，为透视投影矩阵元素组成的向量 。22 像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束：为 的前11个元素组成的向量，为 前11列组成的矩阵，为 第12列组成的向量。23是否合理？约束 不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.证明：世界坐标系作刚性坐标变换则显然在一般的情况下24另一个约束 具有旋转和平移的不变性由向量 ,是两两垂直的单位向量25R.Tsai 的 RAC的定标算法 2680年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简 介27像机模型 径向一致约束 定标算法 主要内容 28世界坐标系和摄像机坐标系的关系像机模型29摄像机坐标系和图像坐标系的关系像机模型30理想图像坐标到实际图像坐标的变换（只考虑径向偏差）像机模型31从实际图像坐标到数字图像坐标的变换 像机模型32径向一致约束 径向一致约束:33定标算法 1.利用径向一致约束来求解 和 定标步骤:2.求解有效焦距 、方向上的平移和畸变参数 34定标算法步骤一1.求解外像机参数旋转矩阵 和 、方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 其中 35定标算法步骤一如果得到一系列数目大于7个的标志点和它们的对应投影图像点，就变成了一个过限制方程组，可以由最小二乘法解出以下的7个变量2.计算 由 36定标算法步骤一3.确定 由 ，4.计算旋转矩阵 和 ，并确定 的符号 先假定取正号，由以下的公式可以计算出旋转矩阵 和 37定标算法步骤一取世界坐标系中任一标志点 ,则可以计算出其在像机坐标系中的坐标同时取这个坐标点在图像上的投影点在实际像机系统中，应该 和同号，如果计算出两者异号，则 取为负号。最后求解38定标算法步骤二 对于一个标志点，可以得到以下的两个方程当不存在径向畸变时，。式变为 式39定标算法步骤二对于一系列的标志点，则形成了一个超定的方程组，可以 用线性最小二乘法求出 和 。当存在径向畸变时，仍应用式 求出 和 的初始值，然后将求出的 和 连同 作为条件，对式 进行非线性优化，估计出 、和 的真实值。40张正友的平面标定方法 41张正友的平面标定方法基本原理：在这里假定模板平面在世界坐标系 的平面上 其中，为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量42其中根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出张正友的平面标定方法43Q|A您的问题是？善于提问,勤于思考问答环节44结束语感谢参与本课程，也感激大家对我们工作的支持与积极的参与。课程后会发放课程满意度评估表，如果对我们课程或者工作有什么建议和意见，也请写在上边45感谢您的观看与聆听本课件下载后可根据实际情况进行调整46