数字摄影测量学PPT课件

1影像匹配基础理论与算法影像匹配基础理论与算法 数字摄影测量学数字摄影测量学Digital PhotogrammetryDigital Photogrammetry21 1前述内容回顾前述内容回顾2 2基于灰度影像匹配的定义（重点）基于灰度影像匹配的定义（重点）3 3基于灰度影像匹配的相似性测度（难点）基于灰度影像匹配的相似性测度（难点）4 4基于灰度影像匹配的计算过程（重点）基于灰度影像匹配的计算过程（重点）5 5基于物方的影像匹配（基于物方的影像匹配（VLLVLL影像匹配）影像匹配）6 6基于灰度影像匹配的子像素精度内插基于灰度影像匹配的子像素精度内插7 7小结小结第第23讲讲 基于灰度的影像匹配基于灰度的影像匹配 Area-Based Image Matching31.为什么说影像匹配问题是摄影测量中最具挑战性的问题？影像匹配贯穿于数字摄影测量数据处理的影像匹配贯穿于数字摄影测量数据处理的整个过程整个过程(内定向、相对定向、绝对定向、内定向、相对定向、绝对定向、空三转点、空三转点、DEM自动生成、地物识别自动生成、地物识别)；另一个挑战性的问题是地物识别。另一个挑战性的问题是地物识别。1前述内容回顾前述内容回顾42.什么是共轭实体、匹配实体、相似性测度、匹配方法、匹配策略？1前述内容回顾前述内容回顾51.1.定义定义 以数字影像局部范围内（窗口）的灰度值及其分布作为匹配实体匹配实体，通过计算相似性测度确定共轭实体的影像匹配方法。共轭实体：共轭实体：可以是点、线和其它物体图像可以是点、线和其它物体图像 匹配实体：匹配实体：影像的局部灰度值及分布影像的局部灰度值及分布 相似性测度：相似性测度：基于局部灰度值的某种度量函数基于局部灰度值的某种度量函数2基于灰度影像匹配的定义基于灰度影像匹配的定义Area-Based Matching(ABM)6示意图示意图 互相互相关函关函数数相似程相似程度度同名点同名点目目标标区区搜搜索索区区2基于灰度影像匹配的定义基于灰度影像匹配的定义7影像匹配影像匹配-同名点寻找同名点寻找8n优点：优点：n窗口可以很快地提取，匹配的方法比较窗口可以很快地提取，匹配的方法比较直观；直观；n在纹理丰富的区域可以达到很高的精度。在纹理丰富的区域可以达到很高的精度。Advantages and Disadvantages of ABM 2基于灰度影像匹配的定义基于灰度影像匹配的定义9n缺点：缺点：n辐射量的改变对灰度值比较敏感；辐射量的改变对灰度值比较敏感；n搜索的空间比较大，可能会出现不同的局部极搜索的空间比较大，可能会出现不同的局部极值；值；n处理的数据量相对比较大；处理的数据量相对比较大；n在一些情况下，如遮挡区（建筑物）、缺乏纹在一些情况下，如遮挡区（建筑物）、缺乏纹理（高速公路）或局部纹理重复区（沙漠、草理（高速公路）或局部纹理重复区（沙漠、草地），可能会出现误匹配的情况。地），可能会出现误匹配的情况。Advantages and Disadvantages of ABM 2基于灰度影像匹配的定义基于灰度影像匹配的定义10相关系数匹配相关系数匹配最小二乘匹配最小二乘匹配基于物方的影像匹配（基于物方的影像匹配（VLLVLL）与特征提取相结合的灰度匹配与特征提取相结合的灰度匹配2.2.匹配方法匹配方法2基于灰度影像匹配的定义基于灰度影像匹配的定义11影像匹配模式主要有二维匹配和一维影像匹配模式主要有二维匹配和一维匹配两种。匹配两种。3.3.匹配模式匹配模式2基于灰度影像匹配的定义基于灰度影像匹配的定义12 x=1;y=0 x=0;y=0 x=0;y=0 x=1;y=0 x=2;y=0 x=3;y=0 x=4;y=0 x=5;y=0 x=6;y=0 x=7;y=0 x=8;y=0 x=9;y=0 x=10;y=0 x=11;y=0 x=0;y=1 x=1;y=1 x=2;y=1二维搜索2基于灰度影像匹配的定义基于灰度影像匹配的定义目标窗口目标窗口搜索窗口搜索窗口13一维搜索2基于灰度影像匹配的定义基于灰度影像匹配的定义目标窗口目标窗口搜索窗口搜索窗口核线方向核线方向核线重排列影像的一维匹配核线重排列影像的一维匹配14一维搜索2基于灰度影像匹配的定义基于灰度影像匹配的定义目标窗口目标窗口搜索窗口搜索窗口核线方向核线方向原始核线影像的一维匹配原始核线影像的一维匹配151.1.相关函数测度相关函数测度q离散情形，相关函数定义为：是两个窗口内对应灰度值乘积的代数和3基于灰度影像匹配的相似性测度定义：若若R R（c c0 0,r,r0 0）R R（c,rc,r）（）（c c c c0 0，r r r r0 0），则），则c c0 0,r,r0 0为搜索区影像相对于目标为搜索区影像相对于目标区影像的位移参数。区影像的位移参数。对于一维相关应有对于一维相关应有r 0。163基于灰度影像匹配的相似性测度2.2.协方差函数测度协方差函数测度q 离散情形，协方差函数定义为：定义：若若C C（c c0 0,r,r0 0）C C（c,rc,r）（）（c c c c0 0，r r r r0 0），），则则c c0 0,r,r0 0为搜索区影像相对于目标区影像的位为搜索区影像相对于目标区影像的位移行、列参数。移行、列参数。对于一维相关应有对于一维相关应有r 0。协方差函数是中心协方差函数是中心化的相关函数化的相关函数173基于灰度影像匹配的相似性测度3.3.相关系数测度相关系数测度定义：相关系数就是标准化标准化的协方差函数若若（c0,r0）（c,r）（）（c c0，r r0），），则则c0,r0为为搜搜索索区区影影像像相相对对于于目目标标区区影影像像的的位位移移参数。对于一维相关应有参数。对于一维相关应有r 0。协方差函数除以两信号协方差函数除以两信号的方差即得相关系数的方差即得相关系数184 4、差平方和测度、差平方和测度q离散情形，差平方和函数定义为：3基于灰度影像匹配的相似性测度 若若S2（c0,r0）S2（c,r），则），则c0,r0为搜为搜索区影像相对于目标区影像的位移行、列索区影像相对于目标区影像的位移行、列参数。对于一维相关应有参数。对于一维相关应有r 0。取极小取极小值值195.5.差绝对和测度差绝对和测度q离散情形，差绝对和函数定义为：3基于灰度影像匹配的相似性测度若若S（c0,r0）S（c,r）（c c0，r r0），则则c0,r0为为搜搜索索区区影影像像相相对对于于目目标标区区影影像像的的位位移移行行、列参数。对于一维相关应有列参数。对于一维相关应有r 0。取极小取极小值值20候选窗口灰度值形成的变动向量搜索区域搜索区域候选窗口候选窗口/搜索窗口搜索窗口1 1、直观说明（以点匹配为例）：、直观说明（以点匹配为例）：目标窗口灰度值形成的固定向量目标目标窗口窗口四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程21在目标影像上选取待匹配的点，称为在目标影像上选取待匹配的点，称为目标点目标点；以目标点为中心，选取一定大小的窗口，称为以目标点为中心，选取一定大小的窗口，称为目标窗口目标窗口；2 2、具体实现步骤：、具体实现步骤：四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程22按照一定的先验知识和约束条件确定该目标点按照一定的先验知识和约束条件确定该目标点的共轭点（同名点）在右影像上可能存在的范的共轭点（同名点）在右影像上可能存在的范围，称为围，称为搜索区域搜索区域；2 2、具体实现步骤：、具体实现步骤：四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程23以搜索区域内每一点为中心，开取同样大小以搜索区域内每一点为中心，开取同样大小的窗口，称为的窗口，称为搜索窗口搜索窗口；四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程2 2、具体实现步骤：、具体实现步骤：24计算目标窗口和每一个搜索窗口的计算目标窗口和每一个搜索窗口的相关系数相关系数，以相关系数大于一定阈值的搜索窗口的中心以相关系数大于一定阈值的搜索窗口的中心作为候选的匹配点作为候选的匹配点;四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程2 2、具体实现步骤：、具体实现步骤：25结合其它的条件或指标在候选点中确定最终结合其它的条件或指标在候选点中确定最终配准点。配准点。或者直接或者直接以相关系数最大以相关系数最大的窗口作为目标窗的窗口作为目标窗口的配准窗口，中心点作为配准点。口的配准窗口，中心点作为配准点。四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程2 2、具体实现步骤：、具体实现步骤：260 1 2 3 4 5 6 7 8 9463 3、匹配的例子、匹配的例子四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程273 3、匹配的例子、匹配的例子四四.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程28n影像相关是影像相关是左影像左影像为为目标区目标区与与右影像右影像上上搜索区搜索区内相对应的相同大小的一影像内相对应的相同大小的一影像相比较，求得相比较，求得相关系数相关系数，代表各窗口中，代表各窗口中心像素的中央点处的匹配测度心像素的中央点处的匹配测度 1.1.整像素相关精度整像素相关精度六六.基于灰度影像相关的精度基于灰度影像相关的精度291.1.整像素相关精度整像素相关精度-/2/2目标点匹配点 以一维相关为例，如果左核线上的目标点与右核线上找到的配准点是真正的同名点，但真正精确的配准位置未必在整像素格点上，但在以该格点为中心、以（像素大小）为长度的区间内。五五.基于灰度影像相关的精度基于灰度影像相关的精度30 真正精确的配准位置误差是-/2，/2上的均匀分布（因为是偶然误差），因此配准精度为：其中，p(x)五五.基于灰度影像相关的精度基于灰度影像相关的精度均匀分布均匀分布31五五.基于灰度影像相关的精度基于灰度影像相关的精度可得可得配准精度为322.2.用相关系数的抛物线拟合提高相关精度用相关系数的抛物线拟合提高相关精度 为了把同名点位求的精确一些，可以把i点左右若干点处所求得的相关系数拟合一条曲线，求其最大值。抛物线顶点抛物线顶点k处处的位置应为的位置应为 五五.基于灰度影像相关的精度基于灰度影像相关的精度33用相关系数的抛物线拟合提高相关精度用相关系数的抛物线拟合提高相关精度相关系数抛物线拟合五五.基于灰度影像相关的精度基于灰度影像相关的精度34将坐标原点移至i点，可得：取相邻像元取相邻像元3个相关系数进行抛物线拟合时个相关系数进行抛物线拟合时 五五.基于灰度影像相关的精度基于灰度影像相关的精度35五五.基于灰度影像相关的精度基于灰度影像相关的精度36由相关系数抛物线拟合可使相关精由相关系数抛物线拟合可使相关精度达到度达到0.150.2子像素精度子像素精度 37n 影影像像匹匹配配的的目目的的是是提提取取物物体体的的几几何何信信息息，确确定定其其空空间间位位置置。因因此此，能能够够直直接接确确定定物物体体表表面面点点空空间间三三维维坐坐标标的的影影像像匹匹配配方方法法得得到到了了研研究究，这些方法也被称为这些方法也被称为“地面元影像匹配地面元影像匹配”。n 直直接接确确定定地地面面点点空空间间三三维维坐坐标标(DEM)。待待定定点点的的平平面面坐坐标标(X,Y)已已知知，只只需需要要确确定定其其高高程程Z。六六.基于物方的影像匹配（基于物方的影像匹配（VLLVLL）38六六.基于物方的影像匹配（基于物方的影像匹配（VLLVLL）1.基本思想基本思想n 在在物物方方有有一一条条铅铅垂垂线线轨轨迹迹（VLLVertical Line Locus），它它在在影影像像上上的的投投影影是是一一直直线线。就就是是说说VLLVLL与与地地面面交交点点A A在在影影像像上上的的构构像像必必定定位位于于相相应应的的“投投影影差差”上。上。39VLLVLL法影像匹配示意图法影像匹配示意图A?在铅垂在铅垂线上线上地面地面An那一个点那一个点正确？正确？402.具体步骤具体步骤 给定地面点的平面坐标（给定地面点的平面坐标（X，Y）近）近似最低高程似最低高程Zmin。ZiZmini Z，高程搜索步距，高程搜索步距 Z可由所要求的高程精度确定可由所要求的高程精度确定六六.基于物方的影像匹配（基于物方的影像匹配（VLLVLL）41 由地面点平面坐标和可能的高程由地面点平面坐标和可能的高程ZiZi计计算左右像坐标（算左右像坐标（xi,yi）与（）与（xi”，yi”）：）：共线条件共线条件方程式方程式42 分别以（分别以（xi,yi）与（）与（xi”，yi”）为中心在）为中心在左右影像上取影像窗口，计算其匹配测左右影像上取影像窗口，计算其匹配测度，如相关系数度，如相关系数 i。将i的值增加1，重复（3）（4）两步，得到0，1，2，n取其最大者k：k max0，1，2，n43 还还可可以以利利用用 k及及其其相相邻邻的的几几个个相相关关系系数数拟拟合合一一抛抛物物线线，以以其其极极值值对对应应的的高高程程作作为为A点点的的高高程程，以以进进一一步步提提高高精精度度，或或以以更更小小的的高高程程步步距距在在一一小小范围内重复以上过程。范围内重复以上过程。六六.基于物方的影像匹配（基于物方的影像匹配（VLLVLL）441.1.基于灰度影像匹配的定义基于灰度影像匹配的定义2.2.基于灰度影像匹配的相似性测度基于灰度影像匹配的相似性测度3.3.相关系数测度的性质相关系数测度的性质4.4.基于灰度影像匹配的计算过程基于灰度影像匹配的计算过程5.5.基于灰度影像匹配的精度基于灰度影像匹配的精度6.6.基于物方的影像匹配（基于物方的影像匹配（VLLVLL影像匹配）影像匹配）七七.小结小结45n绘出相关系数计算程序框图，并编制相应子程序绘出相关系数计算程序框图，并编制相应子程序n什么是基于灰度的影像匹配？什么是基于灰度的影像匹配？n基于灰度影像匹配中的匹配实体是什么？基于灰度影像匹配中的匹配实体是什么？n叙述基于灰度影像匹配的计算过程叙述基于灰度影像匹配的计算过程n基于灰度影像匹配中主要有哪几种相似性测度，各基于灰度影像匹配中主要有哪几种相似性测度，各有哪些特点？有哪些特点？习题与思考题习题与思考题