计算机视觉课件

期末作业通知期末作业通知作业形式:项目报告(PPT,15分钟),2-3人一组,自由组队.作业内容:项目名称,项目意义,相关工作,提出的算法,实验结果,分析与结论.作业题目:计算机视觉范围内任意课题,建议与个人导师商议后决定.如有需要,可向任课老师申请题目.关键的时间点:下周四之前,将项目名称,团队成员名单发至任课老师信箱.第15周课堂时间答辩.1Shape(Structure)From X解决的是从2D图像到2.5D表面形状(场景深度)的问题Shape from motion-第七章,第八章Shape from stereo-第九章Shape from monocular cues(shading,vanishing point,defocus,texture,.)-第十章2第七章第七章 基于运动视觉的场景复原基于运动视觉的场景复原 3三维运动估计三维运动估计 三维运动估计是指从二维图象序列来估计物体三维三维运动估计是指从二维图象序列来估计物体三维运动参数以及三维结构。运动参数以及三维结构。SFM(Shape From Motion)SFM(Shape From Motion)4Singular value decomposition(SVD)5Every matrix represents a transformationhttp:/www.uwlax.edu/faculty/will/svd/index.html6Singular value decomposition7Singular value decomposition8Pseudo-inverse9三维刚体运动三维刚体运动10小角度旋转矩阵小角度旋转矩阵小角度旋转小角度旋转111.1.基于正交投影的三维运动估计基于正交投影的三维运动估计小角度旋转矩阵小角度旋转矩阵6 6个未知数，个未知数，3 3对点对点12基于正交投影的三维运动估计基于正交投影的三维运动估计 Aizawa,1989Aizawa,1989 1.1.根据对应点和深度估计值，计算运动参数根据对应点和深度估计值，计算运动参数2.2.根据运动参数和对应点，重新估计深度根据运动参数和对应点，重新估计深度交替直到稳定交替直到稳定13基于正交投影的三维运动估计基于正交投影的三维运动估计 Bozdagi,1994Bozdagi,1994 利用深度估计值的随机扰动，跳出局部最优利用深度估计值的随机扰动，跳出局部最优 1.1.根据对应点和深度估计值，计算运动参数根据对应点和深度估计值，计算运动参数 2.2.根据运动参数和深度估计值，估计对应根据运动参数和深度估计值，估计对应点坐标点坐标 3.3.计算估计误差计算估计误差14基于正交投影的三维运动估计基于正交投影的三维运动估计4.4.随机扰动深度估计值随机扰动深度估计值5.5.重复以上步骤重复以上步骤实验证明，这种改进的迭代算法在初始深度值有实验证明，这种改进的迭代算法在初始深度值有50%50%的误差的情况下，也能很好地收敛到正确的运的误差的情况下，也能很好地收敛到正确的运动参数值。动参数值。152 2 基于透视投影模型的三维运动估计基于透视投影模型的三维运动估计规范化焦距规范化焦距F=1,F=1,分子分母同除以分子分母同除以Z Zk k163 3 基于外极线的三维运动估计基于外极线的三维运动估计外极线方程几何意义外极线方程几何意义17基于外极线的三维运动估计基于外极线的三维运动估计 外极线方程外极线方程三维刚体运动三维刚体运动引进一个反对称矩阵：引进一个反对称矩阵：18基于外极线的三维运动估计基于外极线的三维运动估计 基本矩阵（基本矩阵（essential matrixessential matrix）平移矢量乘以不为零的系数，不影响外极线方程平移矢量乘以不为零的系数，不影响外极线方程成立成立所恢复的运动参数是关于比例系数的解所恢复的运动参数是关于比例系数的解19本质矩阵的应用本质矩阵的应用可被用于可被用于 简化匹配问题简化匹配问题检测错误的匹配检测错误的匹配20基于外极线的三维运动估计基于外极线的三维运动估计 外极线方程外极线方程21基于外极线的三维运动估计基于外极线的三维运动估计基本矩阵的性质基本矩阵的性质 外极线方程的待求参数外极线方程的待求参数 5 5个未知的独立的参数，这也和运动参数的自由个未知的独立的参数，这也和运动参数的自由度数量相一致，即三个旋转自由度，二个平移自由度数量相一致，即三个旋转自由度，二个平移自由度（或三个关于一个比例系数的平移自由度）度（或三个关于一个比例系数的平移自由度）.22(1)(1)根据基本矩阵估计运动根据基本矩阵估计运动1.1.计算基本矩阵计算基本矩阵8 8对以上对应点求稳定解对以上对应点求稳定解(实际经常使用实际经常使用RANSACRANSAC算法算法)23(1)(1)根据基本矩阵估计运动根据基本矩阵估计运动1.1.计算基本矩阵计算基本矩阵In reality,instead of solving ,we seek E to minimize ,least eigenvector of .248-point algorithmTo enforce that F is of rank 2,F is replaced by F that minimizes subject to .It is achieved by SVD.Let ,where ,let then is the solution.258-point algorithm%Build the constraint matrix A=x2(1,:).*x1(1,:)x2(1,:).*x1(2,:)x2(1,:).x2(2,:).*x1(1,:)x2(2,:).*x1(2,:)x2(2,:).x1(1,:)x1(2,:)ones(npts,1);U,D,V=svd(A);%Extract fundamental matrix from the column of V%corresponding to the smallest singular value.E=reshape(V(:,9),3,3);%Enforce rank2 constraint U,D,V=svd(E);E=U*diag(D(1,1)D(2,2)0)*V;268-point algorithmPros:it is linear,easy to implement and fastCons:susceptible to noise27Problem with 8-point algorithm10000 1000010000100001001001100 100!Orders of magnitude differencebetween column of data matrix least-squares yields poor results28Normalized 8-point algorithm1.Transform input by ,2.Call 8-point on to obtain3.29Normalized 8-point algorithm(0,0)(700,500)(700,0)(0,500)(1,-1)(0,0)(1,1)(-1,1)(-1,-1)normalized least squares yields good resultsTransform image to-1,1x-1,130Normalized 8-point algorithm A=x2(1,:).*x1(1,:)x2(1,:).*x1(2,:)x2(1,:).x2(2,:).*x1(1,:)x2(2,:).*x1(2,:)x2(2,:).x1(1,:)x1(2,:)ones(npts,1);U,D,V=svd(A);E=reshape(V(:,9),3,3);U,D,V=svd(E);E=U*diag(D(1,1)D(2,2)0)*V;%Denormalise E=T2*E*T1;x1,T1=normalise2dpts(x1);x2,T2=normalise2dpts(x2);31Normalizationfunction newpts,T=normalise2dpts(pts)c=mean(pts(1:2,:);%Centroid newp(1,:)=pts(1,:)-c(1);%Shift origin to centroid.newp(2,:)=pts(2,:)-c(2);meandist=mean(sqrt(newp(1,:).2+newp(2,:).2);scale=sqrt(2)/meandist;T=scale 0 -scale*c(1)0 scale -scale*c(2)0 0 1 ;newpts=T*pts;32RANSACrepeatselect minimal sample(8 matches)compute solution(s)for Fdetermine inliersuntil(#inliers,#samples)95%|too many times compute E based on all inliers33根据基本矩阵估计运动根据基本矩阵估计运动2.2.估计运动参数估计运动参数T:T:根根据基本矩阵的性质据基本矩阵的性质R:R:根根据据34(2)(2)直接根据外极线方程估计运动直接根据外极线方程估计运动理想情况下：理想情况下：由于误差，改求：由于误差，改求：35Structure from motion36Structure from motionstructure for motion:automatic recovery of camera motion and scene structure from two or more images.It is a self calibration technique and called automatic camera tracking or matchmoving.UnknownUnknowncameracameraviewpointsviewpoints37Structure from motion2D featuretracking3D estimationoptimization(bundle adjust)geometry fittingSFM pipeline38Structure from motionStep 1:Track FeaturesDetect good features,Shi&Tomasi,SIFTFind correspondences between frameswindow-based correlationSIFT matching39KLT trackinghttp:/www.ces.clemson.edu/stb/klt/40SIFT tracking(matching actually)Frame 0Frame 1041SIFT trackingFrame 0Frame 20042Structure from MotionStep 2:Estimate Motion and StructureSimplified projection model,e.g.,Tomasi 922 or 3 views at a time Hartley 0043Structure from MotionStep 3:Refine estimates“Bundle adjustment”in photogrammetryOther iterative methods44Structure from MotionStep 4:Recover surfaces(image-based triangulation,silhouettes,stereo)Good mesh45ApplicationsFor computer vision,multiple-view shape reconstruction,novel view synthesis and autonomous vehicle navigation.For film production,seamless insertion of CGI into live-action backgrounds46