图像拼接和图像融合课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/5/1,#,案例,9,图像融合和拼接,1,案例9 图像融合和拼接1,对来自多个传感器的多源信息进行多级别、多方面和多层次的处理和综合，从而获得更丰富、更准确、更可靠的有用信息。,信息融合是一种多层次、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合，以达到精确的状态估计和身份估计记忆完整、及时的态势估计和威胁估计。,J.Llinas and W.Edward,信息融合（,Information Fusion,）,2,对来自多个传感器的多源信息进行多级别、多方面和多层次的处理和,图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程。,图像融合是是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的,空间分辨率,和,光谱分辨率,。,图像融合（,Image Fusion,）,3,图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的,图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合为一幅图像，在一幅融合图像中能反应多重原始图像的信息，已达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。,它综合了传感器、信号处理、图像处理和人工智能等技术的新兴学科。,4,图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的,多源图像,多传感器图像：,成像机理不同的独立传感器获得的图像（不包括遥感图像）,如前视红外图像和可见光图像,CT,图像和,MRI,图像,前视红外线图像和毫米波雷达图像,融合图像源分类,5,多源图像融合图像源分类5,多源图像,遥感多光源图像：,成像机理不同的传感器或同种传感器不同工作模式获得的遥感图像,如,:SPOT,卫星的多光谱图像和全色图像,Quick Bird,卫星的多光谱图像和全色图像,6,多源图像6,多源图像,多聚焦图像：,光学传感器的不同成像方式（指不同聚焦点）获得的图像,7,多源图像7,多源图像,时间序列（动态）图像：,同种图像传感器以相同成像方式在离散时刻拍摄的图像,8,多源图像8,图像配准、图像融合、特征提取、识别与决策,图像融合分三个层次：,像素级,严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源图像中目标和背景信息的直接融合。,最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细节信息。处理的信息量较大。,特征级,与处理和特征提取后获得的景物信息如边缘，形状，纹理和区域等信息进行综合与处理。,中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压缩，有利于实时处理,决策级,根据一定的准则以及每个决策的可信度做出最优决策。,最高层次的信息融合，实时性好，并且具有一定的容错能力。,基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、识别。,图像融合的处理过程,9,图像配准、图像融合、特征提取、识别与决策图像融合的处理过程9,1.,图像增强,空间域增强,点运算：线性变换，非线性变换，直方图均衡化，归一化。,邻域运算：图像平滑，锐化,频域增强,塔式分解增强，,Fourier,变换增强，滤波,彩色增强,伪彩色增强，假彩色增强，彩色变换,图像代数运算,插值法，比值法，混合运算法，分辨率融合,多光谱图像增强,主成分分析，,K-T,变换,图像融合预处理,10,1. 图像增强图像融合预处理10,2.,图像矫正和配准,基于灰度信息的图像配准,基于灰度的一些统计信息来度量图像的相似度。,优点简单易行，缺点计算量大，对噪声敏感。,三种方法,互相关法,序贯相似度检测匹配,交互信息法,基于变换域图像配准方法,图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一定的鲁棒性,11,2. 图像矫正和配准11,2.,图像矫正和配准,基于特征的图像配准方法,基于灰度和变换域有如下不足：,受光照影响大，对灰度变换敏感,搜索空间会出现很多局部极值点，涉及到阈值的设定,处理信息量大，计算复杂度高,对旋转，尺度变换以及遮掩等敏感,基于特征的方法,图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应能力,比如指纹中的特征点匹配，纹线匹配,步骤：,1,）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓，闭合区域，特征结构以及统计特征，矩不变量，重心等,2,）特征匹配,3,）图像转换,完成图像整理变换,12,2. 图像矫正和配准12,互相关法：,它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的成都，互相关最大时的搜索窗口决定了末班图像在待匹配图像中的位置。,对图像,I,和一个尺寸小于,I,的模板,T,，归一化二维交叉相关函数定义如下：,C(u,v),表示了模板在图像上位移,(u,v),位置的相似成都,简单介绍几种图像匹配算法,13,互相关法：简单介绍几种图像匹配算法13,基于变换域的图像配准,14,基于变换域的图像配准14,15,15,1.,平移检测,clear;,I = imread(cameraman.tif);,%,参数,25,30,可以修改，修改后平移距离对应改变,得到图像平移后图像,TI,se = translate(strel(1), 35 25);,TI = imdilate(I,se);,imshow(TI);,%Fourier,变换,FI = fft2(I);,FTI = fft2(TI);,%,相关量,hgl = FI.*conj(FTI)./(abs(FI.*conj(FTI);,%,逆,Fourier,变换得到,deta,函数,deta = abs(ifft2(hgl);,%,显示突变点,x = 1:size(I,1);,y = 1:size(I,2);,mesh(x,y,deta);,%,求出平移变换点,x0,y0 = find(deta = max(max(deta);,Matlab,程序（变换域的配准）,16,1. 平移检测Matlab程序（变换域的配准）16,2.,旋转变化,子函数：极坐标转化,function PI = Car2PIm(I),%I = imread(standard_lena.bmp);,MI,NI = size(I);,M2 = MI/2;,N2 = NI/2;,PMax = round(sqrt(M22+N22)+1;,PMin = sqrt(2);,PI = zeros(PMax,361);,for i = 1:M2,for j = 1:N2,p = sqrt(i2+j2);,theta= atan(j/i);,p = round(p)+1; %360* /PMax,theta = round(theta*180/pi)+1;,PI(p,theta) = I(i+M2,N2-j+1);,PI(p,180-theta) = I(M2-i+1,N2-j+1);,PI(p,180+theta) = I(M2-i+1,j+N2);,PI(p,360-theta) = I(i+M2,j+N2);,end,end,%imshow(PI,);,%imwrite(PI,Lena_cui.tif);,17,2. 旋转变化17,clear;,I = imread(cameraman.tif);,%TI = imrotate(I,-30,crop);,%imwrite(TI,RT.tif);,TI = imread(RT.tif);,TI = TI(:,:,1);,% MFI = abs(fft2(I);,% MFTI = abs(fft2(TI);,PMFI = Car2PIm(I);,PMFTI = Car2PIm(TI);,hgl = fft2(PMFI).*conj(fft2(PMFTI)./(abs(fft2(PMFI).*conj(fft2(PMFTI);,deta = abs(ifft2(hgl);,x = 1:size(PMFI,1);,y = 1:size(PMFI,2);,%mesh(x,y,deta);,x0,y0 = find(deta = max(max(deta);,有问题,18,clear;有问题18,拼接图像边缘的融合,艺术照片的效果,照片做旧,老照片翻新,纹理映射,电脑设计搞怪,多光谱图像融合,问题,图像尺寸,融合位置确定,时域和频域的处理选择,图像融合,19,拼接图像边缘的融合图像融合19,实际需要，大长照片拍摄和制作,问题,拼接位置定位算法,识别边界,是否有平移旋转，要去掉这些带来的影响,对于变形的处理，视点不同带来的影响，能否从图像中获取,拼接后的边界融合,选择合适的滤波器进行,模糊,化处理,进而,锐化,处理，突出边缘，,采用图像局部增强方法,拼接图像大小处理,是否涉及到图像的缩放,图像拼接,20,实际需要，大长照片拍摄和制作图像拼接20,预处理,待融合图像局部大小统一，确定融合位置,小波分解获得各个频段的信息,对各个频段进行融合处理,将处理后的频段，进行小波逆变换，重构图像,完成图像融合,关键是融合函数的设计,基于小波的图像融合,21,预处理基于小波的图像融合21,小波系数， 高频,逼近系数， 低频,融合决策改进，比如把点改为区域的，把单小波改为多小波。,融合策略,22,小波系数， 高频融合策略22,工具箱实现,image fusion,Demo,演示,Matlab,实现,23,工具箱实现image fusionMatlab实现23,load mask; X1 = X;,load bust; X2 = X;,XFUS,TXFUS,TX1,TX2 = wfusimg(X1,X2,db2,5,max,max,plot);,subplot(1,3,1),imshow(X1,);,subplot(1,3,2);,imshow(X2,);,subplot(1,3,3),imshow(XFUS,);,Matlab,代码实现,24,load mask; X1 = X;Matlab代码实现24,25,25,低通如何融合,高通如何融合,设计融合函数,找寻有趣图像进行融合,尝试各种融合策略,26,低通如何融合尝试各种融合策略26,例,1.,图像拼接,-,周安琪（,10,级）,27,例1. 图像拼接-周安琪（10级）27,%,读入彩色图片,im=imread(,照片,007.jpg);,im1=imread(,照片,008.jpg);,%,变灰度图片,imm=rgb2gray(im);,imm1=rgb2gray(im1);,%,格式转换,f=double(imm);,g=double(imm1);,%,第二幅图的第一列,g1=g(:,1);,%,第一幅图的每一列与第二幅图的第一列求距离，此处用的是列各点差的和,for i=1:size(g,2),d(i)=sum(abs(f(:,i)-g1);,end,%,求出最小距离者，即为对应最为相似的列,m=min(d);,%,找出最相似列标,a=find(d=m);,%,取出拼接相叠加的部分图像,x=imm(:,a:size(imm,2);,y=imm1(:,1:(size(imm,2)-a+1);,figure,imshow(x);,figure,imshow(y);,主程序,28,%读入彩色图片主程序28,%,模极大值找边缘，分别对两个待拼接图像的重叠部分进行求边缘运算。,ed,tang=waveedge(x,0.1);,ed1,tang1=waveedge(y,0.1);,h=tang-tang1;,theat=hist(h);,%,求拼接部分角度差的众数,%z=mode(mode(theat);,%,进行旋转,z=7;,rotate= imrotate(imm1,z);,%,重新规划图像大小,r=imresize(rotate,1/4);,%z,由角度变弧度,z=z/360*(2*pi);,m,n=size(g);,%,图像矫正,旋转,for i=1:m,for j=1:n,A(i,j)=round(abs(i*cos(z)-j*sin(z);,B(i,j)=round(abs(i*cos(z)-j*sin(z);,end,end,%,旋转后的拼接过程,29,%模极大值找边缘，分别对两个待拼接图像的重叠部分进行求边缘运,for i=1:m,for j=1:n,if A(i,j)=0,x=1;,else if A(i,j)=m,x=m;,else,x=A(i,j);,end,end,if B(i,j)=n,y=n;,else if B(i,j)=0,y=1;,else y=B(i,j);,end,end,F(i,j)=g(x,y);,end,end,F=uint8(F);,F=imresize(F,1/4);,figure;imshow(F),rotate=;,for i=1:size(g,1),for j=1:size(g,2),rotate(i,j)=cos(z) -sin(z);sin(z),cos(z)*(g(i,j);,end,end,imshow(uint8(rotate);,30,for i=1:m30,%,小波变换检测法，输入变量,I,为原始图像，,T,为阈值,%,返回值：,ed,为边缘，,tang,为边缘点的角度记录。,function ed,tang=waveedge(I,T),X=double(I);,s1=size(X,1);,s2=size(X,2);,%,多尺度,m=1.0;,dt=2m;,%,构造高斯函数的一阶导数,N=20; %,高斯滤波器长度，支集范围,A=-1/sqrt(2*pi); %,幅度,for i=1:N;,for j=1:N;,x=i-(N+1)/2;,y=j-(N+1)/2;,fx(i,j)=A*(x/dt2).*exp(-(x.*x+y.*y)/(2*dt2);,fy(i,j)=A*(y/dt2).*exp(-(x.*x+y.*y)/(2*dt2);,end,end;,%,能量归一化,fx=fx/norm(fx);,fy=fy/norm(fy);,%,对图象做小波变换,Gx=conv2(X,fx,same);,Gy=conv2(X,fy,same);,G=sqrt(Gx.*Gx)+(Gy.*Gy);%,求梯度,%,确定梯度方向,ang=zeros(s1,s2); %,角度,子函数：小波变换边缘检测,31,%小波变换检测法，输入变量I为原始图像，T为阈值子函数：小,for i=1:s1;,for j=1:s2,if (abs(Gx(i,j)eps*100) % x,的绝对值足够大,p=atan(Gy(i,j)/Gx(i,j)*180/pi; %,反正切求角度值,(1,4,象限,),if (p0) %,负的幅角（,2,、,4,象限）,p=p+360;,end;,if (Gx(i,j)180) %2,象限的特殊处理,p=p-180;,elseif (Gx(i,j)0 & p0),p=90;,else,p=270;,end,end,ang(i,j)=p; %,幅角,end,end;,ed=zeros(s1,s2);,32,for i=1:s1;32,%,寻找各个方向极值点,for i=2:s1-1,for j=2:s2-1,if (ang(i,j)=(-22.5) & ang(i,j)=(180-22.5) & ang(i,j)G(i+1,j) & G(i,j)G(i-1,j),ed(i,j)=G(i,j);,end,elseif (ang(i,j)=(90-22.5) & ang(i,j)=(270-22.5) & ang(i,j)G(i,j+1) & G(i,j)G(i,j-1),ed(i,j)=G(i,j);,end,elseif (ang(i,j)=(45-22.5) & ang(i,j)=(225-22.5) & ang(i,j)G(i+1,j+1) & G(i,j)G(i-1,j-1),ed(i,j)=G(i,j);,end,else % 135/215,if (G(i,j)G(i+1,j-1) & G(i,j)G(i-1,j+1),ed(i,j)=G(i,j);,end,end,end,end,ME=max(max(ed).);%,最大幅值,ed=ed/ME;,%,确定边缘,for m=1:s1,for n=1:s2,if (ed(m,n)T),ed(m,n)=1;,else,ed(m,n)=0;,end,end,end,33,%寻找各个方向极值点33,%,绘制图像,figure,subplot(1,2,1),imshow(I),title(,原图像,),subplot(1,2,2),imshow(ed),title(,小波边缘,),%,求特征点的角度,l=size(ed,1);,w=size(ed,2);,tang=zeros(l,w); %,角度,for i=1:l;,for j=1:w,if ed(i,j)=1,if (abs(Gx(i,j)eps*100) % x,的绝对值足够大,p=atan(Gy(i,j)/Gx(i,j)*180/pi; %,反正切求角度值,(1,4,象限,),if (p0) %,负的幅角（,2,、,4,象限）,p=p+360;,end;,if (Gx(i,j)180) %2,象限的特殊处理,p=p-180;,elseif (Gx(i,j)0 & p0),p=90;,else,p=270;,end,end,tang(i,j)=p; %,幅角,end,end,end;,34,%绘制图像34,不旋转直接小波分解拼接,35,不旋转直接小波分解拼接35,小波边缘提取,36,小波边缘提取36,37,37,旋转匹配过程,38,旋转匹配过程38,水平平移过程,39,水平平移过程39,1.,图片矫正过程中大小的变化过程如何纠正？,简单补零操作。,2.,步骤如下：,图像配准,40,1.图片矫正过程中大小的变化过程如何纠正？图像配准40,融合方案,小波分解融合,41,融合方案小波分解融合41,在得到融合图像之后，对图像进行直方图均匀化及裁剪，使图像更加美观。,后处理,42,在得到融合图像之后，对图像进行直方图均匀化及裁剪，使图像更加,拼接结果,43,拼接结果43,例,2.,艺术图片制作,预处理,44,例2.艺术图片制作预处理44,图像分析，对于彩色图像进行分通道显示，并通过直方图进行灰度值分析。,RGB,通道，,HSI,通道或者,YUV,通道等。实现图像类型转换函数见,RGb2hsi.m,函数。,观察直方图和各通道图像，选取适用于背景分离的图像通道，即待分离图像和背景图像的灰度值区分度大的图像通道。,如何提取前景感兴趣区域,45,图像分析，对于彩色图像进行分通道显示，并通过直方图进行灰度值,46,46,确定阈值,T,，一般可选择图像均值作为阈值，也可以参考图像方差，对阈值进行修正。这里也可以加一些直观的限制，以达到更好获得感兴趣的区域。,Matlab,均值函数和方差函数分别为,mean2,和,var2,。具体方式为：,Y=mean2(X),，,X,为输入矩阵，,Y,为矩阵,X,的均值,Theta =std2(X),，,X,为输入矩阵，,Y,为矩阵,X,的均方差。,对所选通道图像进行阈值化处理，化为二值图像，,1,为前景图像白色，,0,为背景图像黑色。,47,确定阈值T，一般可选择图像均值作为阈值，也可以参考图像方差，,48,48,对获得的前景图像进行修复，包括形态学的开闭运算，填补漏洞处理等。,Matlab,形态学运算可通过,bwmorph,实现，图像填补漏洞函数,imfill,。具体方式为：,bwmorph,是对二值图像的形态学算子。形态学方法在图像处理领域有着重要应用。,BW2 = bwmorph (BW1,OPERATION),表示对二值图像,BW1,作用上某一个形态学运算。,BW2 = BWMORPH(BW1,OPERATION,N),表示对二值图像,BW1,作用上某一个形态学运算,N,次。若,N,为,inf,，表示重复该运算直到图像不再变化为止。,OPERATION,表示形态学算子，它可以取很多种运算，用字符串调用。,我们这里取,close,是二值图像的闭运算，,open,是二值图像的开运算其他操作可参见,help bwmorph,。,BW2 =imfill(BW1,LOCATIONS),表示对二值图像,BW1,的填充运算，填充的起始点由,LOCATIONS,决定。,我们这里取,holes,，表示填充输入图像中的洞。也可以采用另一种形式,BW2 =IMFILL(BW1,LOCATIONS,CONN),，或者,BW2 = IMFILL(BW1,CONN,holes),，,CONN,可以取一些数值，表示的是填充时候连通区域的范围。 二维情况下额可以为,4,或者,8,连通区域，,3,三维情况可以为,6,18,26,连通区域。,49,对获得的前景图像进行修复，包括形态学的开闭运算，填补漏洞处理,对修复后的二值图像，找寻最大连通分支，获得前景感兴趣区域。寻找连通分支的,Matlab,命令为,bwconncomp,，在获得的连通分支后，找寻最大连通分支，并提取出来。具体为：,CC = bwconncomp(X),表示获得输入二值图像,X,的连通分支，,CC,为结构体，有四个分量，分别为：,Connectivity,： 连通分支的连通性，一般是,4,或者,8,连通。,ImageSize,：图像,X,的大小,NumObjects,：图像,X,连通分支的大小,PixelIdxList,：,NumObjects,个数组，每个数组存放一个连通分支，按照线性形式存放了每个分支中的像素位置。,numPixels = cellfun(numel,CC.PixelIdxList),为单元函数，它可以获取,CC.PixelIdxList,中所有分支的数量,biggest,idx = max(numPixels),可以获得最大分支及它的序号。,CC.PixelIdxListidx,就是最大连通分支对应的序列。,与原始图像简单相乘，可获得彩色感兴趣区域。,50,对修复后的二值图像，找寻最大连通分支，获得前景感兴趣区域。寻,51,51,照,片,着,色,52,照片着色52,色彩如何通过灰度图像恢复？,各种艺术效果的图片可以尝试。,新问题,53,色彩如何通过灰度图像恢复？新问题53,参考文献,【1】,敬忠良，肖刚，李振华著，图像融合,-,理论与应用，高等教育出版社，,2010,。,【2】,那彦，焦李成主编，基于多分辨分析理论的图像融合方法，西安电子科技大学出版社，,2007,54,参考文献54,