第11-章-深度图(Depth-Map)课件

第第 11 章章 深度图（Depth Map）1 1南京航空航天大学南京航空航天大学 自动化学院自动化学院第 11 章 深度图（Depth Map 获取场景中各点相对于摄象机的距离获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一场景是计算机视觉系统的重要任务之一场景中各点相对于摄象机的距离可以用深度图中各点相对于摄象机的距离可以用深度图(Depth Map)(Depth Map)来表示，即深度图中的每一个来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的像素值表示场景中某一点与摄像机之间的距离机器视觉系统获取场景深度图技术距离机器视觉系统获取场景深度图技术可分为可分为被动测距传感被动测距传感和和主动测距传感主动测距传感两大两大类类 2 2南京航空航天大学南京航空航天大学 自动化学院自动化学院 获取场景中各点相对于摄象机的距离是计算机视觉系统的重被动测距传感被动测距传感:视觉系统接收来自场景发射视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息上恢复场景的深度信息 主动测距传感主动测距传感:视觉系统首先向场景发射能视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量量，然后接收场景对所发射能量的反射能量主动测距传感系统也称为测距成象系统主动测距传感系统也称为测距成象系统（Rangefinder)Rangefinder)3 3南京航空航天大学南京航空航天大学 自动化学院自动化学院被动测距传感:视觉系统接收来自场景发射或反射的光能量，形成有 外极平面 外极线 共轭对 视差(disparity)1.1.立体成像立体成像图111双目立体视觉几何模型 4 4南京航空航天大学南京航空航天大学 自动化学院自动化学院 外极平面1.立体成像图111双目立体视觉几何模型 4南京假设坐标系原点与左透镜中假设坐标系原点与左透镜中心重合。心重合。F是焦距，是焦距，B是基线是基线距离。距离。5 5南京航空航天大学南京航空航天大学 自动化学院自动化学院假设坐标系原点与左透镜中心重合。F是焦距，B是基线距离。5提高精度的措施是提高精度的措施是增大基线距离增大基线距离。产生的问题：。产生的问题：随着基线距离的增加，两个摄象机的共同的可视随着基线距离的增加，两个摄象机的共同的可视范围减小；场景点对应的视差值增大，则搜索对范围减小；场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大；由应点的范围增大，出现多义性的机会就增大；由于透视投影引起的变形导致两个摄象机获取的两于透视投影引起的变形导致两个摄象机获取的两幅图像中不完全相同，这就给确定共轭对带来了幅图像中不完全相同，这就给确定共轭对带来了困难困难6 6南京航空航天大学南京航空航天大学 自动化学院自动化学院提高精度的措施是增大基线距离。产生的问题：随着基线距离的增加立体成象的最一般情况：一个运动摄像机连续获取场立体成象的最一般情况：一个运动摄像机连续获取场景图像，形成立体图像序列，景图像，形成立体图像序列，或间隔一定距离的两个或间隔一定距离的两个摄像机同时获取场景图像，形成立体图像对。摄像机同时获取场景图像，形成立体图像对。7 7南京航空航天大学南京航空航天大学 自动化学院自动化学院立体成象的最一般情况：一个运动摄像机连续获取场景图像，形成立2.立体匹配的基本方法立体匹配的基本方法 立体成象系统的一个不言而喻的假设是立体成象系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即能够找到立体图像对中的共轭对，即求解对求解对应问题应问题然而，对于实际的立体图像对，求然而，对于实际的立体图像对，求解对应问题极富有挑战性，可以说是立体视解对应问题极富有挑战性，可以说是立体视觉最困难的一步为了求解对应，人们已经觉最困难的一步为了求解对应，人们已经建立了许多约束来减少对应点搜索范围，并建立了许多约束来减少对应点搜索范围，并最终确定正确的对应最终确定正确的对应 8 8南京航空航天大学南京航空航天大学 自动化学院自动化学院2.立体匹配的基本方法 立体成象系统的一个不言而喻的（1）立体匹配的基本约束立体匹配的基本约束 外极线约束外极线约束图图11.4 空间某一距离区间内的一条直线段对应外极线上的一个有限区间空间某一距离区间内的一条直线段对应外极线上的一个有限区间 9 9南京航空航天大学南京航空航天大学 自动化学院自动化学院（1）立体匹配的基本约束 外极线约束图11.4 空间某一一致性约束一致性约束是参考摄像机的图象函数是参考摄像机的图象函数 立体视觉通常由两个或两个以上摄像机组成，各摄像机的立体视觉通常由两个或两个以上摄像机组成，各摄像机的特性一般是不同的这样，场景中对应点处的光强可能相差太特性一般是不同的这样，场景中对应点处的光强可能相差太大，直接进行相似性匹配，得到的匹配值变化太大因此，在大，直接进行相似性匹配，得到的匹配值变化太大因此，在进行匹配前，必须对图像进行进行匹配前，必须对图像进行规范化处理规范化处理(Normalization)(Normalization)相似估价函数相似估价函数：1010南京航空航天大学南京航空航天大学 自动化学院自动化学院一致性约束是参考摄像机的图象函数 立体视觉通常由两个或 唯一性约束：一般情况下，一幅图像(左或右)上的每一个特征点只能与另一幅图像上的唯一一个特征对应。连续性约束：物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的，它们的视差也是连续的比如，物体上非常接近的两点，其视差也十分接近，因为其深度值不会相差很大。1111南京航空航天大学南京航空航天大学 自动化学院自动化学院 唯一性约束：一般情况下，一幅图像(左或右)上的每一个特征点（2）基于边缘的立体匹配）基于边缘的立体匹配 在某一行上计算各边缘的位置在某一行上计算各边缘的位置 通过比较边缘的方向和强度粗略地进行边缘匹配通过比较边缘的方向和强度粗略地进行边缘匹配 通过在精细尺度上进行匹配，可以得到视差估计通过在精细尺度上进行匹配，可以得到视差估计水平边缘无法进行匹配！水平边缘无法进行匹配！1212南京航空航天大学南京航空航天大学 自动化学院自动化学院（2）基于边缘的立体匹配 在某一行上计算各边缘的位置水平边（3 3）基于区域相关性的立体匹配）基于区域相关性的立体匹配 在立体图像对中识别在立体图像对中识别兴趣点兴趣点(interesting point)(interesting point)，而后使，而后使用用区域相关法区域相关法来匹配两幅图像中相对应的点来匹配两幅图像中相对应的点 兴趣点计算公式如下：兴趣点计算公式如下：在以某一点为中心在以某一点为中心的窗函数中，计算的窗函数中，计算其在不同方向上的其在不同方向上的变化量是这些方向变化量是这些方向上点的差异性的最上点的差异性的最好测度。好测度。S S表示窗函表示窗函数中的所有像素数中的所有像素 。1313南京航空航天大学南京航空航天大学 自动化学院自动化学院（3）基于区域相关性的立体匹配 在立体图像对中识别兴趣点(i 特征点匹配特征点匹配 一旦在两幅图像中确定特征后，则可以使用许一旦在两幅图像中确定特征后，则可以使用许多不同方法进行特征匹配一种简单的方法是计算多不同方法进行特征匹配一种简单的方法是计算一幅图像以某一特征点为中心的一个小窗函数内的一幅图像以某一特征点为中心的一个小窗函数内的像素与另一幅图像中各个潜在对应特征点为中心的像素与另一幅图像中各个潜在对应特征点为中心的同样的小窗函数的像素之间的相关值具有最大相同样的小窗函数的像素之间的相关值具有最大相关值的特征就是匹配特征很明显，只有满足外极关值的特征就是匹配特征很明显，只有满足外极线约束的点才能是匹配点考虑到垂直视差的存在，线约束的点才能是匹配点考虑到垂直视差的存在，应将外极线邻近的特征点也包括在潜在的匹配特征应将外极线邻近的特征点也包括在潜在的匹配特征集中集中 1414南京航空航天大学南京航空航天大学 自动化学院自动化学院 特征点匹配 一旦在两幅图像中确定特征后，则考虑两幅图像考虑两幅图像 f1和和 f2设待匹配的候选特征点对的视差设待匹配的候选特征点对的视差为为 ，则以特征点为中心的区域之间相似性测度可，则以特征点为中心的区域之间相似性测度可由由相关系数相关系数 定义为：定义为：这里的这里的 和和 是被匹配的两个区域中的所有像素灰度是被匹配的两个区域中的所有像素灰度平均值，和式符号是在以特征点为中心的小窗函数中的平均值，和式符号是在以特征点为中心的小窗函数中的所有像素上进行的。所有像素上进行的。1515南京航空航天大学南京航空航天大学 自动化学院自动化学院考虑两幅图像 f1和 f2设待匹配的候选特征点对的视差为在每一个像素上使用阈值化处理后的具有正负符在每一个像素上使用阈值化处理后的具有正负符号的号的梯度幅值梯度幅值，而不是图像灰度值，可以改善相，而不是图像灰度值，可以改善相关性的计算精度关性的计算精度实现过程：实现过程：计算未平滑的两幅图像中的每个像素计算未平滑的两幅图像中的每个像素的梯度幅值，然后使用两个阈值，一个大于的梯度幅值，然后使用两个阈值，一个大于0 0，另，另一个小于一个小于0 0，将这些值映射到三个值这样图像就，将这些值映射到三个值这样图像就被转换为波浪起伏阵列，可以产生更灵敏的相关被转换为波浪起伏阵列，可以产生更灵敏的相关值值1616南京航空航天大学南京航空航天大学 自动化学院自动化学院在每一个像素上使用阈值化处理后的具有正负符号的梯度幅值，而不3.多基线立体成象多基线立体成象 一幅图像上的每一个特征点只能与另一幅一幅图像上的每一个特征点只能与另一幅图像上的唯一一个特征对应，通常将这一性质称为图像上的唯一一个特征对应，通常将这一性质称为特征的特征的唯一性约束唯一性约束在实际中，由于大多数特征点在实际中，由于大多数特征点不是十分明显，特别是重复纹理的出现，常常会产不是十分明显，特别是重复纹理的出现，常常会产生对应多义性生对应多义性(ambiguity)(ambiguity)，即一幅图像上的一个特，即一幅图像上的一个特征点对应另一幅图像的若干个对应点，其中的一个征点对应另一幅图像的若干个对应点，其中的一个点是真正的对应点，而其它点是假对应点消除对点是真正的对应点，而其它点是假对应点消除对应点多义性的一种有效方法是采用多基线立体成象应点多义性的一种有效方法是采用多基线立体成象Okutomi 1993 Okutomi 1993。1717南京航空航天大学南京航空航天大学 自动化学院自动化学院3.多基线立体成象 一幅图像上的每一个特征点1818南京航空航天大学南京航空航天大学 自动化学院自动化学院18南京航空航天大学 自动化学院图像强度函数图像强度函数 和和 在在Z点附近可以表示为点附近可以表示为：立体图像对方差和立体图像对方差和(sum of squared difference,SSD)，匹配，匹配评估函数评估函数：或期望值：期望值：1919南京航空航天大学南京航空航天大学 自动化学院自动化学院图像强度函数 和 在Z点附n n个摄像机形成个摄像机形成(n-1)(n-1)个个SSDSSD函数，将所有的函数，将所有的SSDSSD函数函数相加相加(sum of SSD(sum of SSD，SSSD)SSSD)形成了总的评估函数：形成了总的评估函数：2020南京航空航天大学南京航空航天大学 自动化学院自动化学院n个摄像机形成(n-1)个SSD函数，将所有的SSD函数相加2121南京航空航天大学南京航空航天大学 自动化学院自动化学院21南京航空航天大学 自动化学院定义：能够直接测量可视范围内每个点的距离，并将其记录为一个二维函数的系统称为测距成象系统，得到的图像称为距离图像或深度图。分类：结构光测距 测距雷达：声雷达、激光雷达、毫米波雷达 变焦测距4、测距成象系统、测距成象系统2222南京航空航天大学南京航空航天大学 自动化学院自动化学院定义：能够直接测量可视范围内每个点的距离，并将其记录为一个二结构光三角测距结构光三角测距一次只照明一个点然后使用上述方程计算该点的深度，一次只照明一个点然后使用上述方程计算该点的深度，由此得到二维距离图像。由此得到二维距离图像。2323南京航空航天大学南京航空航天大学 自动化学院自动化学院结构光三角测距一次只照明一个点然后使用上述方程计算该点的深图11.12 结构光测距原理示意图Jarvis 19832424南京航空航天大学南京航空航天大学 自动化学院自动化学院图11.12 结构光测距原理示意图Jarvis 198激光测距雷达 在生物界，蝙蝠和海豚是通过接收自己发出在生物界，蝙蝠和海豚是通过接收自己发出的超声波来确定其周围物体的存在根据生物的这种的超声波来确定其周围物体的存在根据生物的这种感知距离的能力，人类发明了各种测距系统，称之为感知距离的能力，人类发明了各种测距系统，称之为雷达，即向空间发射信号，然后接收反射信号并与发雷达，即向空间发射信号，然后接收反射信号并与发射信号进行比较，以确定目标的距离和方位激光测射信号进行比较，以确定目标的距离和方位激光测距（距（laser range finderlaser range finder）是在二十世纪）是在二十世纪6060年代发展年代发展起来的一种新型测距雷达，现在已经进入实用化阶段起来的一种新型测距雷达，现在已经进入实用化阶段激光雷达具有波束窄、波长短等独特优点，因而具激光雷达具有波束窄、波长短等独特优点，因而具有极高的角分辨能力、距离分辨能力和速度分辨能力。有极高的角分辨能力、距离分辨能力和速度分辨能力。激光雷达可以获取目标的多种信息，如反射特性、距激光雷达可以获取目标的多种信息，如反射特性、距离信息、速度信息等离信息、速度信息等 2525南京航空航天大学南京航空航天大学 自动化学院自动化学院激光测距雷达 在生物界，蝙蝠和海豚是通过接收自（1）脉冲飞行时间测距）脉冲飞行时间测距激光测距雷达在米的测量范围内，测距精度为激光测距雷达在米的测量范围内，测距精度为厘米厘米获取获取128128128128图像需要图像需要3 3分钟。分钟。激光脉冲测距雷达就属于这类测距系统激光脉冲测距激光脉冲测距雷达就属于这类测距系统激光脉冲测距雷达向空间发射激光脉冲信号，并接收由于碰到物体表面而雷达向空间发射激光脉冲信号，并接收由于碰到物体表面而反射回来的信号，然后测量发射和接收脉冲的时间差，就可反射回来的信号，然后测量发射和接收脉冲的时间差，就可以得到空间物体的距离。以得到空间物体的距离。2626南京航空航天大学南京航空航天大学 自动化学院自动化学院（1）脉冲飞行时间测距激光测距雷达在米的测量范围内，测（2）相位差测距）相位差测距深度信息可以通过检测调幅光波发射和接收的相位差来得到。2727南京航空航天大学南京航空航天大学 自动化学院自动化学院（2）相位差测距深度信息可以通过检测调幅光波发射和接收的相位已知调制频率已知调制频率 和相位差和相位差 ，则物体到传感器的距离为：，则物体到传感器的距离为：测距范围：2828南京航空航天大学南京航空航天大学 自动化学院自动化学院已知调制频率 和相位差 ，则物体到传感变焦测距根据理想薄透镜定理，透镜中心（光学原点）到图象平面的距根据理想薄透镜定理，透镜中心（光学原点）到图象平面的距离离 、透镜中心到场景点的距离、透镜中心到场景点的距离 z z 和透镜焦距长度和透镜焦距长度 f f 之间之间的关系为：的关系为：2929南京航空航天大学南京航空航天大学 自动化学院自动化学院变焦测距根据理想薄透镜定理，透镜中心（光学原点）到图象平面的当某一场景点不聚焦时，它会在图象平面上产生一个圆斑当某一场景点不聚焦时，它会在图象平面上产生一个圆斑图象，而不是一个点图像。如果圆斑的直径低于成象装置图象，而不是一个点图像。如果圆斑的直径低于成象装置的分辨率，那么图象散焦量不会特别的显著。假定圆斑的的分辨率，那么图象散焦量不会特别的显著。假定圆斑的直径为直径为b，透镜光圈直径为，透镜光圈直径为d，焦距长度为，焦距长度为f，图象平面的理，图象平面的理想位置为想位置为 。视野范围内远距离平面的距离表示式视野范围内远距离平面的距离表示式 ：3030南京航空航天大学南京航空航天大学 自动化学院自动化学院当某一场景点不聚焦时，它会在图象平面上产生一个圆斑图象，而不视野范围内近距离平面的距离表示式视野范围内近距离平面的距离表示式：对于一个特定的配置，焦距平面为对于一个特定的配置，焦距平面为z，光圈直径为，光圈直径为d，焦，焦距长为距长为f，最大可接受模糊直径为，最大可接受模糊直径为b，上述方程提供了近，上述方程提供了近距离和远距离平面位置。距离和远距离平面位置。3131南京航空航天大学南京航空航天大学 自动化学院自动化学院视野范围内近距离平面的距离表示式：对于一个特定的配置，焦距景深景深D是近距离和远距离平面之差：是近距离和远距离平面之差：3232南京航空航天大学南京航空航天大学 自动化学院自动化学院景深D是近距离和远距离平面之差：32南京航空航天大学 自动5、主动视觉大多数计算机视觉系统都依赖于由固定参数的系统大多数计算机视觉系统都依赖于由固定参数的系统来获取数据，包括所有的被动敏感系统来获取数据，包括所有的被动敏感系统(如视频摄象如视频摄象机机)和主动敏感系统和主动敏感系统(如激光测距仪如激光测距仪)与这些数据提与这些数据提取方法不同，在一个主动视觉系统中，传感器的状取方法不同，在一个主动视觉系统中，传感器的状态参数如焦距、光圈、聚散度以及照度都可以控制，态参数如焦距、光圈、聚散度以及照度都可以控制，以获取有利于场景解释的数据。以获取有利于场景解释的数据。3333南京航空航天大学南京航空航天大学 自动化学院自动化学院5、主动视觉大多数计算机视觉系统都依赖于由固定参数的系统来获