图像处理之逆透视变换

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,图像处理之逆透视变换,智能车背景理论知识,系列专题讲座之一,1,目录,第零章 前言,第一章,基础知识,第二章,基本线性变换,第三章,智能车摄像头透视变换阵,第四章 不,可逆与信息丢失,第五章 逆透视变换阵的求解与应用,第六章,用逆透视变换阵处理图形,附 线性变换阵在空间定位中的应用,2,第零章 前言,本文以智能车摄像头图像处理为背景,解决了根据图像信息逆透视变换得到赛道信息的问题,以线性变换阵作为理论基础给出了矩阵变换公式,3,第一章 基础知识,点的表示,向量的表示,线性变换,线性变换的表示,4,点的表示,三维空间中的点用14的矩阵表示：,(x, y, z, 1),一般的：,(x, y, z, w) 与 (x/w, y/w, z/w, 1),表示同一点,其中 w=1 为标准型,5,向量的表示,三维空间中的向量用14的矩阵表示：,(x, y, z, 0),最后一位不得非零，否则表示点,6,点与向量之间的运算,向量向量=向量,点向量=点,点点点=点,7,线性变换,变换即映射，记为：,满足如下两个条件的变换为线性变换,或简记为：,8,四维向量空间,三维点由14的矩阵表示,三维向量由14的矩阵表示,14的矩阵构成四维向量空间,9,四维向量空间中线性变换的表示,对于三维空间中的点和向量，都由四维向量表示,四维向量空间中线性变换可由四阶方阵表示,10,四维向量空间中线性变换的表示,若将四维向量看成行向量，则线性变换可表示成对四维向量右乘变换阵的形式：,A是线性变换阵，前者表示三维点，后者表示三维向量,乘法按照矩阵相乘的计算法则计算,11,线性变换的表示,也可将四维向量看成列向量，此时线性变换可表示为左乘线性变换阵,相应的变换阵转置,12,第二章基本线性变换,恒等,变换,变换阵分区,平移变换,缩放变换,旋转变换,切变变换,投影变换,平行投影变换,透视投影变换,组合变换,逆变换,13,恒等变换,任意三维点与向量乘以单位阵后不变,14,变换阵分区,平移变换区,透视变换区,旋转缩放与切变变换区,15,平移变换,平移变换只对点有效，对向量无效,16,缩放变换,主对角线前三维能分别缩放某个维度,第四维整体缩放所有维度,17,旋转变换,二维旋转变换：,已知点,求该点绕原点逆时针旋转,后的坐标,18,二维旋转变换,19,推广到三维旋转变换,沿Z轴正方向旋转的旋转变换阵,（旋转方向用右手法则确定）,20,各个方向的旋转变换阵,21,切变变换,在第x列y行（第一列第二行）放一个系数k,点的y、z坐标不变，x坐标增加,y越大，x增加得越多,正方形被拉伸为梯形,22,投影变换,平行投影变换（Z方向）,23,投影变换,透视投影变换,空间中任意一点与(-d,0,0)点的连线与Y,Z平面的交点,24,投影变换,(-d,0,0)为投影点，Y,Z平面为投影面,同理，以(0,-d,0)为投影点，X,Z平面为投影面的变换阵，以(0,0,-d)为投影点，X,Y平面为投影平面的透视变换阵分变为：,25,组合变换,将两个或以上基本变换阵相乘，得到组合变换阵,相乘的顺序表示基本变换执行的顺序,26,逆变换,变换阵的逆矩阵表示其对应变换的逆变换,27,第三章 智能车摄像头透视变换阵,坐标系,坐标变换,坐标变换阵,透视变换阵,28,坐标系,世界坐标系（W）,在地面选取两个垂直的方向为X,Y轴,竖直向上为Z轴,智能车坐标系（C）,正右方为X轴,前进方向为Y轴,竖直向上为Z轴,摄像头坐标系（G）,视线方向为Z轴负方向,正右方为X轴,正上方为Y轴,29,坐标变换,将摄像头坐标与智能车坐标重合（摄像头质心置于智能车质心处并向下看）,将摄像头向上平移一个高度h,摄像头沿X轴旋转一个仰角,摄像头沿着Z轴方向透视,如此可由智能车坐标得摄像头坐标,30,坐标变换,将摄像头固定，上述过程可等价为：,智能车以及赛道向下平移一个高度h,智能车以及赛道沿X负方向旋转一个仰角,智能车以及赛道沿着摄像头Z轴方向透视,31,坐标变换阵,向下平移（h为平移高度）,32,坐标变换阵,沿X轴负方向旋转,33,坐标变换阵,沿Z轴方向透视变换,34,透视变换阵,将上述三者相乘即可得到透视变换阵,35,第四章 不可逆与信息丢失,透视变换阵不可逆,不可逆的意义,36,透视变换阵不可逆,上一章得到的透视变换阵第三列为零,则其可表示为其他三列的线性组合,故该矩阵的不满秩,故该矩阵不可逆,37,透视变换阵不可逆,该矩阵在计算时的一个因子已经是奇异的了,这个奇异性导致相乘后的矩阵也是奇异的,归根结底在于投影变换将三维空间的点映射到二维空间，信息丢失。,不同的点可能映射到相同的点，故无法求出其逆变换,38,不可逆的意义,从映射关系上看，不可逆是因为不是一一映射，不同的值映射到相同的象,从信息的角度看，变换时有部分信息丢失，所以无法还原,从空间的角度看，三维空间变为二维空间，丢失了一个维度,从矩阵的角度看，矩阵奇异，第三列的代数余子式为零，不存在逆矩阵。,39,第五章 逆透视变换阵的求解与应用,补充信息使透视变换阵可逆,求逆矩阵,补充信息的几何意义,逆透视变换阵的应用,40,补充信息使透视变换阵可逆,只要将透视变换阵的主对角线全部补充为1即可,41,求逆矩阵,将修改的透视变换阵求逆,42,求逆矩阵,如此我们便得到了逆透视变换阵,（以下将三角函数简记为首字母）,43,补充信息的几何意义,假设被变换点为P，则：,44,补充信息的几何意义,为求得小车坐标系下点的坐标，需知道摄像头坐标下的Z坐标（深度）。,由此可见，透视变换阵新加入的信息是摄像头看到的每个像素点的深度信息。,根据上述公式，只要知道点在图像上的位置以及深度信息，即可求得小车坐标系下对应的坐标。,而根据摄像头图像只能知道点在图像上的位置。如何得到深度信息呢？,45,逆透视变换阵的应用,上一节中发现，为完成逆透视变换，需先知道摄像头的深度信息，而实际上摄像头本身无法测得该信息。,回忆透视变换的过程发现，透视变换阵将三维空间映射到二维空间，补充信息后的透视变换将三维空间映射到三维空间。,即如果知道摄像头的深度信息，可以还原出小车坐标系下完整的三维信息,而赛道本身是二维的，我们不需要逆透视变换出三维空间，故现在的思路是，利用赛道是二维的这一点解出摄像头深度信息。,46,逆透视变换阵的应用,已知智能车坐标系下赛道的Z坐标为0，故,47,逆透视变换阵的应用,代入原公式可得,48,第六章 用逆透视变换阵处理图形,图像与图形的区别,赛道的图形表示方法,对图形逆透视变换,49,图像与图形的区别,图像与图形就是通常所说的位图与矢量图,图像由像素矩阵构成，每个像素记录通道的强度,图形由描述图形的点、曲线方程、方程的参数组成。,摄像头捕获的是图像，即像素矩阵,对摄像头拍摄的赛道进行提取的本质就是将图像提取为图形的过程。,50,赛道的图形表示方法,最常见的赛道的图形表示方法是离散点列,即用离散点列的连线作为赛道的近似描述,其中点的Y坐标为该点在图像上对应的行号,点的X坐标为该点在所在行上的左右偏移量,这种方法可以表示赛道的边线，也可以表示中心线,51,对图形逆透视变换,如果对图像进行逆透视变换，则要对每个像素点所处位置进行变换，计算量过大，而且还要在像素之间插值，这样做不现实,对图形逆透视变换，只需对离散点列变换，计算量是完全可以接受的。,52,对图形逆透视变换,首先分析图像，得到每一行上赛道边线或中线的坐标，如此得到一列离散点列,每一个点有一个横纵坐标，单位为像素，根据感光阵列的大小（若干毫米）将坐标变换到实际摄像头上，单位变为米,根据每个点的X、Y坐标计算出Z（深度）,将每个点的坐标代入逆透视变换公式中得到智能车坐标系下的坐标,53,附 线性变换阵在空间定位中的应用,54,