数字影像特征提取课件

数字摄影测量第四章第四章 数字影像与特征提取数字影像与特征提取数字摄影测量第四章数字影像与特征提取1主要内容主要内容n4.1 数字影像采样和重采样数字影像采样和重采样 n4.2 点特征提取算法点特征提取算法n4.3 线特征提取算法线特征提取算法n4.4 定位算子定位算子主要内容4.1数字影像采样和重采样24.1数字影像采样和重采样数字影像采样和重采样n数字影像采样数字影像采样 n影像重采样理论影像重采样理论n核线的重排列（重采样）核线的重排列（重采样）主要内容主要内容4.1数字影像采样和重采样数字影像采样主要内容34.1 数字影像采样和重采样数字影像采样和重采样n数字摄影测量处理的原始资料是数字摄影测量处理的原始资料是 因此，因此，影像的采样与重采样影像的采样与重采样以及获取所以及获取所需要的需要的影像特征影像特征是数字摄影测量最基础是数字摄影测量最基础的工作。的工作。n数字影像中，最明显的就是影像的特征，数字影像中，最明显的就是影像的特征，是影像分析和影像匹配的基础。是影像分析和影像匹配的基础。数字影像数字影像特征提取特征提取4.1数字影像采样和重采样数字摄影测量处理的原始资料是4数字影像或数字化影像数字影像或数字化影像5数字影像或数字化影像数字影像或数字化影像n灰度值和灰度级灰度值和灰度级影像的灰度值范围：影像的灰度值范围：0.31.8mm，人，人眼的分辨率：眼的分辨率：0.2mm；为了便于分辨放大倍数，用为了便于分辨放大倍数，用0255级级别来表示；别来表示；n数字影像：为空间的灰度函数数字影像：为空间的灰度函数g（i，j），构成为矩阵形式的阵列。），构成为矩阵形式的阵列。数字影像或数字化影像灰度值和灰度级6数字影像表达形式频率域傅立叶变化数字影像表达形式频率域傅立叶变化7数字影像表达形式n数字影像一般表达为空间的灰度函数，数字影像一般表达为空间的灰度函数，g（i，j）构成的矩阵形式的阵列，此表构成的矩阵形式的阵列，此表达方式跟真实影像很相似；达方式跟真实影像很相似；n可通过变换把影像的表达由可通过变换把影像的表达由“空间域空间域”变换到变换到“频率域频率域”；n空间域表示不同位置的灰度值，频率空间域表示不同位置的灰度值，频率域表达不同频率中的振幅谱。域表达不同频率中的振幅谱。数字影像表达形式数字影像一般表达为空间的灰度函数，g（i，j8傅立叶变换傅立叶变换n灰度函数表达影像的空间域，傅立叶函数灰度函数表达影像的空间域，傅立叶函数表示影像的频率域；（灰度值，振幅谱）；表示影像的频率域；（灰度值，振幅谱）；n变化的原因：变化的原因：（1）压缩了数据，利于存储和传递（变换）压缩了数据，利于存储和传递（变换后矩阵数目不变，但数值很多为零值和很小后矩阵数目不变，但数值很多为零值和很小的数值）；的数值）；（2）影像的分析和处理，用频率域更利于）影像的分析和处理，用频率域更利于计算（空域卷积计算转化为频域乘积计算）。计算（空域卷积计算转化为频域乘积计算）。傅立叶变换灰度函数表达影像的空间域，傅立叶函数表示影像的频率9数字影像采样n采样的原因：采样的原因：数字影像或者数字化影像信息量巨大，但数字影像或者数字化影像信息量巨大，但不能对理论上每个点都获取其灰度值；只不能对理论上每个点都获取其灰度值；只能将实际能将实际灰度函数离散化灰度函数离散化，对相隔一定间，对相隔一定间隔的隔的“点点”量测其灰度值。量测其灰度值。数字影像采样采样的原因：10数字影像采样 n采样采样 对实际连续函数模型离散化的量测过程对实际连续函数模型离散化的量测过程 n样点样点 被量测的被量测的“点点”称为样点称为样点 小的区域小的区域-像素像素 n采样间隔采样间隔 样点之间的距离（矩形的长与宽通常称为样点之间的距离（矩形的长与宽通常称为像素的大小）像素的大小）数字影像采样采样11数字影像采样n影像采样通常是影像采样通常是等（等（）或不等）或不等（）间隔进行；间隔进行；n采样间隔如何确定？采样间隔如何确定？答：采样定理答：采样定理数字影像采样影像采样通常是等（）或不等（）间隔进行；答：12采样定理(一维影像）采样函数灰度函数的特征：灰度函数的特征：g g（x x）-G-G（f f）采样定理(一维影像）采样函数灰度函数的特征：g（x）-G13灰度函数和采样函数灰度函数和采样函数n当频率当频率f f超出区间超出区间-f-f1 1,f,f1 1 之外都等于零，变换对之外都等于零，变换对于任何有限的于任何有限的f1f1值有这种性质，称之为值有这种性质，称之为有限带宽有限带宽函数函数。nf：截止频率截止频率灰度函数和采样函数当频率f超出区间-f1,f1之外都等于14采样函数采样函数n采样：间隔为采样：间隔为X X 的脉冲串组成的采样函数乘以的脉冲串组成的采样函数乘以函数函数g g（x x）n采样函数的傅里叶变换为采样函数的傅里叶变换为f=1/X f=1/X 脉冲串的函脉冲串的函数数采样函数采样：间隔为X的脉冲串组成的采样函数乘以函数g（15采样 过程采样过程在空域表现为：灰度函数与采样的相乘：采样过程在空域表现为：灰度函数与采样的相乘：像元混淆采样过程采样过程在空域表现为：灰度函数与采样的相乘：像元混16n混淆现象：进行反傅立叶变换时，导致混淆现象：进行反傅立叶变换时，导致样本无法正确分离。截至频率固定不变，样本无法正确分离。截至频率固定不变，即波形大小不变。消除混淆只能改变采即波形大小不变。消除混淆只能改变采样间隔大小。样间隔大小。混淆现象：进行反傅立叶变换时，导致样本无法正确分离。截至频率17采样定理fl为截止频率当采样间隔能使在函数g(x)中存在的最高频率中每周期取有两个样本时，则根据采样数据可以完全恢复原函数g(x)采样定理fl为截止频率当采样间隔能使在函数g(x)中存在的18采样定理采样定理nShannon采样定理经验值：采样间隔采样定理经验值：采样间隔最好是使在原函数最好是使在原函数g（x）中存在的最）中存在的最高频率每周期至少取有三个样本。高频率每周期至少取有三个样本。采样定理Shannon采样定理经验值：采样间隔最好是使在原函19影像重采样理论影像重采样理论n为什么进行影像重采样？为什么进行影像重采样？对影像进行旋转，核线重排列与数字纠正对影像进行旋转，核线重排列与数字纠正时，需要的点可能并不是采样点，需要根时，需要的点可能并不是采样点，需要根据采样点内插出新的点。据采样点内插出新的点。n核线重排列的原因：同名像点均位于核线重排列的原因：同名像点均位于同名核线上，进行影像相关计算。同名核线上，进行影像相关计算。影像重采样理论为什么进行影像重采样？20影像重采样理论影像重采样理论当欲知不位于矩阵（采样）点上的原始函数g(x,y)的数值时就需进行内插，此时称为重采样（resampling）不在采样点影像重采样理论当欲知不位于矩阵（采样）点上的原始函数g(x21影像重采样方法影像重采样方法数字影像采样函数影像重采样方法数字影像采样函数22双线性插值法卷积核是一个三角形函数双线性插值法卷积核是一个三角形函数2311122122pYXy1y2aby1-yx1-xx2x1双线性插值法示意图11122122pYXy1y2aby1-yx1-24双线性插值法灰度卷积核双线性插值法灰度卷积核25双线性插值法加权平均值双线性插值法加权平均值26双三次卷积法卷积核可以利用三次样条函数双三次卷积法卷积核可以利用三次样条函数27双三次卷积法双三次卷积法n双线性内插法，计算时只取了临近四双线性内插法，计算时只取了临近四个像素，认为权的大小跟距离有线性个像素，认为权的大小跟距离有线性关系；关系；n双三次卷积法，取周围双三次卷积法，取周围16个像素，并个像素，并分别求其对重采样点分别求其对重采样点P的影响大小。的影响大小。双三次卷积法双线性内插法，计算时只取了临近四个像素，认为权的28p11121314213141222324323334424344Yx双三次卷积法示意图yxp1112131421314122232432333442429双三次卷积法双三次卷积法30双三次卷积法双三次卷积法31最邻近像元法直接取与P(x,y)点位置最近像元N的灰度值为P点的灰度作为采样值 1234最邻近像元法直接取与P(x,y)点位置最近像元N的灰度值为P32三种重采样方法比较最邻近像元法最简单，计算速度快且能不破坏原始影像的灰度信息。但其几何精度较差，。前两种方法几何精度较好，但计算时间较长，特别是双三次卷积法较费时，在一般值况下用双线性插值法较宜。三种重采样方法比较最邻近像元法最简单，计算速度快且能不破坏原33同名核线的确定与重采样同名核线的确定与重采样同名核线的确定与重采样34主要内容 n确定同名核线的两种方法基于影像几何纠正的核线解折关系基于共面条件的同名核线几何关系n核线的重排列（重采样）主要内容确定同名核线的两种方法35核线的概念核线的概念通过摄影基线与地面所作的平面称为核面核面与影像面交线称为核线同名像点必定在同名核线上。AS1S2l1a1a2l2同名核线核线的概念通过摄影基线与地面所作的平面称为核面AS1S2l136基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系倾斜影像水平影像（人为）基于影像几何纠正的核线解折关系倾斜影像水平影像（人为）37物面像面S物面像面S38数字影像特征提取课件39S1S2摄影基线p0水平相片uvP倾斜影像xy焦距f示意图S1S2摄影基线p0水平相片uvP倾斜影像xy焦距f示意图40v=某常数即表示某一核线 C=v在“水平”影像上获取核线影像u=k采样间隔uvv=某常数即表示某一核线C=v在“水平”影像上获取核线41核线的重排列（重采样）核线的重排列（重采样）是否是采样点？水平相片倾斜相片核线的重排列（重采样）是否是采样点？水平相片倾斜相片42同名核线的v坐标值相等同名核线的确定同名核线的v坐标值相等同名核线的确定43基于共面条件的同名核线几何关系基于共面条件的同名核线几何关系直接在倾斜影像上获取核线影像AS1S2l1a1a2l2基于共面条件的同名核线几何关系直接在倾斜影像上获取核线影像44s1s2PP示意图xyzuvws1s2PP示意图xyzuvw45左核线的确定左核线的直线方程左核线的确定左核线的直线方程46右核线的确定右核线的直线方程右核线的确定右核线的直线方程47参数的确定参数的确定48单独像对相对定向单独像对相对定向单独像对相对定向49线性内插示意图线性内插核线y1k线性内插示意图50线性内差最邻近法n1tgK 核线的重排列（重采样）核线的重排列（重采样）对每条核线而言K是常数 线性内差最邻近法n1tgK核线的重排51特征的提取与定位算法特征的提取与定位算法52主要内容 n特征的提取特征点的提取算法特征线的检测方法n特征的定位算法主要内容特征的提取53点特征提取算法点特征提取算法点特征主要指明显点提取点特征的算子称为兴趣算子或有利算子 点特征提取算法点特征主要指明显点54点特征的灰度特征点特征的灰度特征圆点圆点独立点独立点角点角点点特征的灰度特征圆点独立点角点55Moravec算子算子（最大最小法）（最大最小法）Moravec于1977年提出利用灰度方差提取点特征的算子rcMoravec算子（最大最小法）Moravec于197756（1）计算各像元的兴趣值 IV（1）计算各像元的兴趣值IV57（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。确定窗口大小Moravec算子步骤算子步骤（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。确定58综上所述，Moravec算子是在四个主要方向上，选择具有最大最小灰度方差的点作为特征点。（3）选取候选点中的极值点作为 特征点。Moravec算子算子综上所述，Moravec算子是在四个主要方向上，选择具有最大59Forstner算子算子计算各像素的Roberts梯度和像素（c，r）为中心的一个窗口的灰度协方差矩阵，在影像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。Forstner算子计算各像素的Roberts梯度和像素60（l）计算各像素的Roberts梯度 Forstner算子步骤算子步骤（l）计算各像素的Roberts梯度Forstner算子61（2）计算ll（如55或更大）窗口中灰度的协方差矩阵（2）计算ll（如55或更大）窗口中灰度的协方差矩阵62（3）计算兴趣值q与wDetN代表矩阵N之行列式trN代表矩阵N之迹（3）计算兴趣值q与wDetN代表矩阵N之行列式trN代表63(4）确定待选点 当同时，该像元为待选点（5）选取极值点即在一个适当窗口中选择最大的待选点(4）确定待选点当同时64线特征提取算子线特征提取算子 线特征是指影像的“边缘”与“线”“边缘”可定义为影像局部区域特征不相同的那些区域间的分界线，而“线”则可以认为是具有很小宽度的其中间区域具有相同的影像特征的边缘对常用方法有差分算子、拉普拉斯算子、LOG算子等线特征提取算子线特征是指影像的“边缘”与“线”“边缘”可65房屋的提取房屋的提取66道路的提取道路的提取67线的灰度线的灰度 特征线的灰度特征68一、微分算子一、微分算子1梯度算子一、微分算子1梯度算子69差分算子对于一给定的阈值T，当时，则认为像素（i，j）是边缘上的点。近似-11-11差分算子对于一给定的阈值T，当时，则认为像素（i，j）是边70Roberts梯度算子-11-11Roberts梯度算子-11-1171方向差分算子直线与边缘的方向方向差分算子直线与边缘的方向72Sobel算子考察它上下、左右邻点灰度的加权差。与之接近的邻点的权大：i,jSobel算子考察它上下、左右邻点灰度的加权差。与之接近73-101-101-101-1-1-1000111Prewitt算子与算子与Sobel算子算子-101-202-101-1-21-101-121加大模扳抑制噪声Prewitt算子算子Sobel算子-101-101-101-1-1-1000111Prewit74二阶差分算子二阶差分算子1方向二阶差分算子i,ji,j二阶差分算子1方向二阶差分算子i,ji,j75方向二阶差分算子i,j方向二阶差分算子i,j76拉普拉斯算子（Laplace）i,j拉普拉斯算子（Laplace）i,j77拉普拉斯算子（Laplace）卷积核掩膜取其符号变化的点，即通过零的点为边缘点，因此通常也称其为零交叉（zero-Crossing）点拉普拉斯算子（Laplace）卷积核掩膜取其符号变化的78高斯一拉普拉斯算子（LOG）首先用高斯函数先进行低通滤波，然后利用拉普拉斯算子进行高通滤波并提取零交叉点，高斯函数低通滤波边缘提取高斯一拉普拉斯算子（LOG）首先用高斯函数先进行低通滤波，79高斯一拉普拉斯算子（LOG）LOG算子以为卷积核，对原灰度函数进行卷积运算后提取零交叉点为边缘高斯一拉普拉斯算子（LOG）LOG算子以为卷积核，对原灰度80SobelSobel边缘检测算子比较结果边缘检测算子比较结果Sobel边缘检测算子比较结果81RobertsRobertsPrewittPrewittRobertsPrewitt82CannyCannyLaplacianofGaussianLaplacianofGaussianCannyLaplacianofGaussian83SobelSobelRobertsRobertsPrewittPrewittCannyCannyLaplacianofGaussianLaplacianofGaussian原始图像原始图像SobelRobertsPrewittCannyLaplac84Hough变换变换用于检测图像中直线、圆、抛物线、椭圆等图像空间Hough变换用于检测图像中直线、圆、抛物线、椭圆等图像85对于影像空间直线上任一点(x，y）变换将其映射到参数空间(，)的一条正弦曲线上 对于影像空间直线上任一点(x，y）变换将其映射到参数空间(86图像空间参数空间正弦曲线共线映射正弦曲线图像空间参数空间正弦曲线共线映射正弦曲线87Hough变换步骤 n对影像进行预处理提取特征并计算其梯度对影像进行预处理提取特征并计算其梯度方向方向.n将将(，)参数平面量化，设置二维累计参数平面量化，设置二维累计矩阵矩阵H(i，j).n边缘细化，即在边缘点的梯度方向上保留边缘细化，即在边缘点的梯度方向上保留极值点而剔除那些非极值点极值点而剔除那些非极值点.n对每一边缘点，以其梯度方向对每一边缘点，以其梯度方向 为中心，为中心，设置一小区间设置一小区间-o，+o.Hough变换步骤对影像进行预处理提取特征并计算其梯度方向88（，）取累计矩阵中备选点中的极大值点为所需的峰值点，即所检测直线的参数。Hough变换变换对累计矩阵进行阈值检测，将大于阈值的点作为备选点.（，）取累计矩阵中备选点中的极大值点为所需的峰值点，即所89定位算子定位算子数字影像上明显目标主要是指地面上明显地物在影像上的反映，或者是数字影像自身的明显标志，例如道路、河流的交叉口、田角、房角、建筑物上的明显标志、影像四角上的框标、地面人工标志点等等 定位算子数字影像上明显目标主要是指地面上明显地物在影像上的90Wong-Trinder园点定位算子 n利用二值图像重心对圆点进行定位利用二值图像重心对圆点进行定位.n利用阈值利用阈值T（最小灰度值十平均灰（最小灰度值十平均灰度值）度值）/2将窗口中的影像二值化将窗口中的影像二值化.n计算目标重心坐标（计算目标重心坐标（x，y）与园度）与园度 r.Wong-Trinder园点定位算子利用二值图像重心对圆点91内定向内定向内定向92pq阶原点矩与中心矩Wong-Trinder园点定位算子园点定位算子当r小于阈值时，目标不是园；否则园心为（x，y）pq阶原点矩与中心矩Wong-Trinder园点定位算子93Trinder改进算子算子受二值化影响，误差可达0.5像素。定位精度可达0.01像素，这种算法只对圆点定位原始灰度Trinder改进算子算子受二值化影响，误差可达0.5像素94Forstner定位算子定位算子Forstner定位算子是摄影测量界著名的定位算子最佳窗口由Forstner特征提取算子确定以原点到窗口内边缘直线的距离为观测值，梯度模之平方为权，在点(x,y)处可列误差方程：Forstner定位算子Forstner定位算子是摄影测量95Forstner定位算子定位算子最佳窗口选择最佳窗口内加权重心化窗口内像元的加权重心Forstner定位算子最佳窗口选择最佳窗口内加权重心化96高精度角点与直线定位算子高精度角点与直线定位算子梯度算子的误差随机误差Roberts梯度梯度方向代替直线方向存在不容忽视的模型误差，Hough变换等使用梯度方向的方法不可能达到很高的精度。高精度角点与直线定位算子梯度算子的误差随机误差Rob97数学模型高精度角点与直线定位算子高精度角点与直线定位算子一维边缘的成像为刀刃曲线线扩散函数影像的梯度线性化误差方程数学模型高精度角点与直线定位算子一维边缘的成像为刀刃98其中该平差模型不采用梯度的方向，而是采用梯度的模为观测值高精度角点与直线定位算子高精度角点与直线定位算子a0,k0,0与0为参数的近似值其中该平差模型不采用梯度的方向，而是采用梯度的模为观测值99Roberts梯度高精度角点与直线定位算子高精度角点与直线定位算子误差单位权中误差为噪声误差Roberts梯度高精度角点与直线定位算子误差单位权中100初值Hough变换确定直线参数初值0，0。(x0,y0)为直线附近任一点的坐标是梯度的最大值高精度角点与直线定位算子高精度角点与直线定位算子初值Hough变换确定直线参数初值0，0。(x0,y101高精度角点与直线定位算子高精度角点与直线定位算子粗差的剔除采用选权迭代法，使粗差在平差的过程中自动地被逐渐剔除高精度角点与直线定位算子粗差的剔除采用选权迭代法，使粗差102窗口精确定位窗口在粗定位矩形窗口中确定。角点定位高精度角点与直线定位算子高精度角点与直线定位算子窗口精确定位窗口在粗定位矩形窗口中确定。角点定位103理论定位精度为0.02像素 理论精度单位权中误差直线参数，的协因素阵两直线参数的协方差阵理论定位精度为0.02像素理论精度单位权中误差直线参104