三维重建过程课件

三维重建过程,三维重建过程,1,1,图像预处理,2,特征点检测与匹配,3,相机标定,4,计算基础矩阵与本质矩阵,5,稠密点云的网格化,目录,1图像预处理2特征点检测与匹配3相机标定4计算基础矩阵与本质,2,图像预处理,图像预处理的目的在于改善图像的视觉效果，提高图像的清晰度，有选择的突出某些感兴趣的信息，抑制无用的信息，以提高图像的使用价值。,图像预处理 图像预处理的目的在于改善图像的视,3,图像平滑处理：,形态学滤波、双边滤波,、,自适应均值滤波,、,自适应中值滤波,、,自适应加权滤波,等,。,椒盐噪声过滤算法：,GA-BP,神经网络噪声检测的自适应滤波算法。,遗传算法：,Genetic Algorithm GA,反向传播神经网络：,Back BP BP,图像平滑处理：,4,特征点检测与匹配,特征点问题主要包括特征点的提取和特征点的匹配。特征点的通常理解为：某些邻域变化比较大的点。如角点和噪声，因此特征点的本质问题可以归结为：在抵抗一定的图像畸变的情况下，保证特征点的正确提取和匹配。,特征点检测与匹配 特征点问题主要包括特征点的,5,特征点提取方法：,（,1,）,加权平均,Harris-Laplace,特征点提取算法,（,2,）基于,SIFT,算子的特征提取算法,尺度不变特征转换,SIFT(Scale-invariant feature transform),用来侦测与描述影像中的 局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不 变量。该算子具有对图像旋转、缩放、光照变化和仿射变换保持不变性的特点。,SIFT,方法的主要思想为：首先建立高斯差分金字塔表征，然后将每个像素点与它周围的八个点，以及上下相邻层的十八个邻域点，总共,26,个点作比较。如果该点是极值点，那么就认为该点为特征点，同时计算出该特征点的主方向。由此，就可以将特征点提取出来了。,特征点提取方法：（1）加权平均Harris-Laplace特,6,（,3,）基于,SURF,算子的特征提取算法,加速鲁棒特征（,Speeded-Up Robust Features,）借鉴,SIFT,简化思想，借助积分图和,harr,小波技术的使用，使模板对图像的卷积可以通过加减运算在线性时间内完成。经实验证明，,SURF,的检测效率要明显高于算法，且具备较优的综合性能。目前,SURF,算法在特征提取与匹配邻域比较流行。,（3）基于SURF算子的特征提取算法,7,特征点匹配方法：,（,1,）,NCC,特征匹配,归一化互相关（,normalizes cross correlation,）方法的优点是它可以抵抗全局的亮度变化和对比度变化，并且速度快。,缺点是：,(a),不抗图像缩放。,(b),不抗大的视角的变化。,(c),当初始匹配点的错误匹配率高于,40%,的时候以上两种方法失效。,（,2,）,SIFT,特征匹配,主要思想是用特征点的,1616,的邻域计算该邻域的每个点的梯度。然后将,1616,的区域划分为,44,的小区域，每个小区域的点向,8,个方向投影。这样总共可以得到,448=128,维的特征向量描述符。特征点的匹配首先需要将特征点旋转到它的主方向上，然后计算匹配点的,128,维特征描述符的欧式距离。距离最小的匹配点为正确匹配点。,特征点匹配方法：（1）NCC特征匹配,8,（,3,）,SURF,特征匹配,与,Sift,特征点匹配类似，,Surf,也是通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。不同的是,Surf,还加入了,Hessian,（黑塞矩阵）矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为,0,，页直接予以排除。,（3）SURF特征匹配,9,相机标定,相机标定就是求出相机的内部参数，最终得到内参数矩阵,K,。,相机标定 相机标定就是求出相机的内部参数，最终得到内参数矩阵,10,相机标定的方法：,（,1,）,Tsai,的两步标定方法,其主要思想是首先利用透视变换原理线性求解出一些相机参数，接着把求得的这些参数作为非线性优化算法的初始值，只考虑相机的径向畸变，通过优化算法求解其余参数，从而相对于线性标定方法提高了标定的精度。,（,2,）圆点模板标定方法,（,3,）张正友的平面标定方法,张正友结合传统摄影测量标定与计算机视觉自标定优势，提出使用简易的平面标定模板，通过多个角度获取的图像间单应关系，高精度高效的求解出相机的内参数与畸变参数。张正友标定方法因其有效性、可靠性和灵活性而得到广泛应用。,相机标定的方法：（1）Tsai的两步标定方法,11,（,4,）相机自标定方法,相机自标定方法因其不需要额外的已知信息而具有极大的灵活性，受到广泛的关注与研究。常见的方法有：直接求解,Kruppa,方程的自标定法、分层自标定法和基于绝对对偶二次曲面标定法。目前应用最广泛的为利用绝对对偶二次曲面的标定方法。,（4）相机自标定方法,12,计算基础矩阵与本质矩阵,基础矩阵是对同一场景的两幅图像间约束关系的数学描述，是在未标定图像序列中存在的几何结构约束信息，隐式的包含了相机的所有内外参数。,对图像进行归一化后，特殊的基本矩阵就可以表示成本质矩阵。即基本矩阵是本质矩阵的广义形式，之所以本质矩阵是基础矩阵的特殊形式，是因为本质矩阵多了一个假设条件。相比基础矩阵，本质矩阵缺少了自由度却多出了一些性质。,计算基础矩阵与本质矩阵 基础矩阵是对同一场景的,13,基础矩阵计算方法：,（,1,）归一化,8,点算法,通过对线性法的计算过程与结果进行分析，发现直接使用原始的匹配点图像坐标构成的系数矩阵会有比较大的条件数，影响计算结果。所以提出在应用点法前，对原始数据做各向同性变换的归一化处理的归一化,8,点算法。该方法可以降低噪声的干扰，减小系数矩阵条件数大小，从而提高解算精度。,（,2,）,RANSAC,算法,随机抽样一致性算法,RANSAC,（,Random Sample Consensus,）可以在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优模型的点，被定义为“外点”。,基础矩阵计算方法：（1）归一化8点算法,14,本质矩阵计算方法：,假设内参矩阵分别为,K1,和,K2,的两幅图像之间的基础矩阵为,F,，由此可以求得它们之间的本质矩阵：,E=k2,T,FK1,。接着对本质矩阵进行分解（,SVD,分解方法），得到旋转矩阵,R,和平移向量,t,。然后计算出两幅图像的投影矩阵,P1,和,p2,。利用投影矩阵获得空间三维点的坐标。,本质矩阵计算方法：假设内参矩阵分别为K1和,15,稠密点云的网格化,通过上面的步骤可以得到基于图像的三维点云，但要对空间物体的表面信息进行重构，需要对三维点云进行三角剖分。,稠密点云的网格化 通过上面的步骤可以得到基,16,三角剖分的方法：,（,1,）平面投影法方法,采用投影映射的方法，将三维点云投影到二维平面上，接着对投影后的二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分。,（,2,）直接剖分法方法,三角剖分所给点集,R,，保留原始点云的拓扑结构，实际上是对,R,的线性插值。根据上述可知，直接剖分法比较繁琐。,得到三维场景的大致模型之后，为了获得更加逼真的效果，还需要做一步纹理映射工作。纹理映射，简单来讲就是贴图，将摄像机拍摄出的图像中选择其中一幅最合适的，将该图上场景的纹理，映射到三维模型中。,三角剖分的方法：（1）平面投影法方法,17,演示完毕，感谢您的聆听,2016,年,8,月,演示完毕，感谢您的聆听2016年8月,18,