图像测量系统PPT课件

123第三章第三章 图像测量系统图像测量系统4 照明照明图像采集图像采集图像处理图像处理结果输出结果输出图像存储 图像表示焦距，焦距，光圈，光圈，放大率，放大率，姿态等姿态等输入参数输入参数控制控制A/DA/D变换变换强度强度, ,构造等构造等图图 像像 处处 理理照明控制照明控制5u 采样孔：使数字化器能够单独观测特定的图采样孔：使数字化器能够单独观测特定的图像元素而不受图像其它部分的影响。像元素而不受图像其它部分的影响。u 图像扫描机构：使采样孔按照选定的方式在图像扫描机构：使采样孔按照选定的方式在图像上移动，从而按照一定的顺序对图像的图像上移动，从而按照一定的顺序对图像的像素进行观测。像素进行观测。u 光传感器：将被观测像素处的光强转换为电光传感器：将被观测像素处的光强转换为电压或电流信号，完成光电转换功能。压或电流信号，完成光电转换功能。u 量化器：将传感器输出的连续电量转化为整量化器：将传感器输出的连续电量转化为整数值。数值。u 图像帧存储器：将量化器产生的灰度值按照图像帧存储器：将量化器产生的灰度值按照一定的格式存储起来，以用于后续的处理。一定的格式存储起来，以用于后续的处理。6n 像素大小像素大小n 图像大小图像大小n 被测的局部特征被测的局部特征n 线性度线性度n 噪声噪声 像素的物理尺寸像素的物理尺寸 相邻像素的间距相邻像素的间距 允许输入的范围允许输入的范围 输出的像素数输出的像素数 物理参数物理参数 反射率反射率 透射率透射率 图像灰度和辐射照度图像灰度和辐射照度 读出噪声读出噪声 光子噪声光子噪声7n 并入串出并入串出n 并入并出并入并出n 串入串出串入串出n 串入并出串入并出8n 光源光源白炽灯白炽灯激光器激光器荧光物质荧光物质发光二极管发光二极管9n 光传感器光传感器光传感器的工作基础是光电效应光传感器的工作基础是光电效应光电效应光电效应 一些金属、金属氧化物、半导体一些金属、金属氧化物、半导体材料在光的照射下释放电子的现象。材料在光的照射下释放电子的现象。外光电效应外光电效应（光电发射效应）：物体在光的作用（光电发射效应）：物体在光的作用下，其中的电子从物体表面逸出的现象。下，其中的电子从物体表面逸出的现象。内光电效应内光电效应：当物体在光的作用下所释放的电子当物体在光的作用下所释放的电子不逸出物体表面，而只是在物体的内部运动并使不逸出物体表面，而只是在物体的内部运动并使其电特性发生变化的现象。其电特性发生变化的现象。 光电导效应光电导效应 光生伏特效应光生伏特效应10n 光传感器光传感器光电导效应：光电导效应：当半导体材料受到光照时，当半导体材料受到光照时，如果入射光子的能量大于其禁止带宽，如果入射光子的能量大于其禁止带宽，则半导体内载流子数目增多，这将导致则半导体内载流子数目增多，这将导致半导体电导率的改变，从而使半导体的半导体电导率的改变，从而使半导体的电阻减小。电阻减小。光生伏特效应：光生伏特效应：当半导体的当半导体的PNPN结受到光结受到光照时，如果入射光子的能量大于其禁止照时，如果入射光子的能量大于其禁止带宽，则在带宽，则在PNPN结两侧会产生光生电动势结两侧会产生光生电动势。11n 光传感器光传感器光电管光电管光电倍增管光电倍增管当入射光照射到阴极上时，阴当入射光照射到阴极上时，阴极会发射出电子，由于阳极的极会发射出电子，由于阳极的电位比阴极高，阳极便会收集电位比阴极高，阳极便会收集阴极发射出来的电子，并在光阴极发射出来的电子，并在光电管回路中形成电流，该电流电管回路中形成电流，该电流在负载电阻上产生输出电压。在负载电阻上产生输出电压。在入射的频谱成分和光电管电在入射的频谱成分和光电管电压不变的条件下，输出电压与压不变的条件下，输出电压与入射光通量成正比。入射光通量成正比。当电子或光子以足够大的速度轰击金当电子或光子以足够大的速度轰击金属表面时，会使金属表面的电子逸出属表面时，会使金属表面的电子逸出金属表面。这种逸出金属表面的电子金属表面。这种逸出金属表面的电子叫做次生电子。叫做次生电子。光电倍增管的光电转换过程：当入射光电倍增管的光电转换过程：当入射光的光子打在光电阴极上时，光电阴光的光子打在光电阴极上时，光电阴极发射出电子，该电子流又会打在比极发射出电子，该电子流又会打在比光电阴极电位高的第一倍增极上，产光电阴极电位高的第一倍增极上，产生新的次生电子生新的次生电子上述过程不断进上述过程不断进行，直到最后一级的倍增极产生的次行，直到最后一级的倍增极产生的次生电子被具有更高电位的阳极收集，生电子被具有更高电位的阳极收集，并在外部回路中形成电流为止。并在外部回路中形成电流为止。外部回路中流过的电流与光电阴极外部回路中流过的电流与光电阴极上入射的光通量成正比。上入射的光通量成正比。次生电子倍增极次生电子倍增极光敏二极管光敏二极管无光照射时，反向饱和漏电流小；无光照射时，反向饱和漏电流小；有光照射时，反向饱和漏电流大有光照射时，反向饱和漏电流大大增加，形成光电流。该光电流大增加，形成光电流。该光电流随入射光强度的变化而相应变化随入射光强度的变化而相应变化。硅传感器硅传感器12光光P P型硅衬底型硅衬底金属电极金属电极二氧化硅二氧化硅沟阻沟阻势阱势阱信号电荷信号电荷n 光传感器：硅传感器光传感器：硅传感器13n 扫描机制：机械扫描扫描机制：机械扫描14n 扫描机制：电子束扫描扫描机制：电子束扫描15n 电视摄像机电视摄像机 电视摄像机是一种被广泛使用的图像输入电视摄像机是一种被广泛使用的图像输入设备。它能将景物的光学图像转换成全电视信设备。它能将景物的光学图像转换成全电视信号。根据所使用的光谱波段的不同可有不同种号。根据所使用的光谱波段的不同可有不同种类的摄像机。类的摄像机。在可见光范围内，主要有在可见光范围内，主要有: :l 黑白摄像机黑白摄像机l 彩色摄像机彩色摄像机16n 电视摄像机电视摄像机 电视摄像机的关键部件是电视摄像管。所电视摄像机的关键部件是电视摄像管。所谓的电视摄像管是一种能将景物的光学图像转换谓的电视摄像管是一种能将景物的光学图像转换成电视图像信号的器件。该器件对整个摄像机系成电视图像信号的器件。该器件对整个摄像机系统的性能起着确定性的作用。它能将器件成像面统的性能起着确定性的作用。它能将器件成像面上的空间景物的二维图像转变成时间轴上的一维上的空间景物的二维图像转变成时间轴上的一维图像信号。图像信号。l 光电转换功能光电转换功能l 空时转换功能空时转换功能17n 黑白电视摄像机黑白电视摄像机光电像管光电像管析像管析像管超光电管超光电管超正析像管超正析像管光电导管光电导管硅靶管硅靶管 硫化锑摄像管（硫化锑摄像管（VidiconVidicon）氧化铅摄像管（氧化铅摄像管（PlumbiconPlumbicon）硒靶管（硒靶管（SaticonSaticon）硒化镉摄像管（硒化镉摄像管（ChanniconChannicon）新视像管（新视像管（NewviconNewvicon）黑白电视摄像管黑白电视摄像管18n 光电导摄像管光电导摄像管工作原理工作原理 靶聚焦线圈偏转线圈校正线圈镜头网电极阴极控制极加速极A1聚焦极A2聚焦极A3RL来自被摄景物的光线经摄像机的来自被摄景物的光线经摄像机的光学系统在光电靶表面成像。靶光学系统在光电靶表面成像。靶面不同位置处的点，由于所受到面不同位置处的点，由于所受到的照度不同将激励出数目不等的的照度不同将激励出数目不等的光电子，从而产生数值不等的光光电子，从而产生数值不等的光电导效应，引起高低不同的电位电导效应，引起高低不同的电位起伏，最终形成与输入光学图像起伏，最终形成与输入光学图像相对应的电位图像。相对应的电位图像。 19n 光电导摄像管光电导摄像管工作原理工作原理 靶聚焦线圈偏转线圈校正线圈镜头网电极阴极控制极加速极A1聚焦极A2聚焦极A3RL为了将电位图像转变成相应的时间信号，通常采用电子扫描的方法。为了将电位图像转变成相应的时间信号，通常采用电子扫描的方法。如图所示，电子枪的作用是产生一条极细的电子束。由阴极所发出的如图所示，电子枪的作用是产生一条极细的电子束。由阴极所发出的电子束在加速电极电子束在加速电极A1A1和聚焦电极和聚焦电极A2A2、A3A3的作用下，将的作用下，将以均匀的速度准以均匀的速度准确地落到靶面上确地落到靶面上。图中的校正线圈的作用是把出射的电子束的方向校。图中的校正线圈的作用是把出射的电子束的方向校正到和管轴的方向保持准确一致以正到和管轴的方向保持准确一致以提高管子的空间分辨率提高管子的空间分辨率，而偏转线，而偏转线圈则被用来控制电子束在空间的运动以圈则被用来控制电子束在空间的运动以实现电子束对靶面的扫描。实现电子束对靶面的扫描。20n 光电导摄像管的等效电路光电导摄像管的等效电路a2an+ERL信号输出Ka3a1R根据设计要求，整个根据设计要求，整个扫描将按从左到右、扫描将按从左到右、自上而下的顺序进行自上而下的顺序进行以完成相应的空时转以完成相应的空时转换功能。换功能。电子束的作用如同一电子束的作用如同一个电子开关。随着电个电子开关。随着电子束连续地扫过整个子束连续地扫过整个靶面，在每一个瞬时，靶面，在每一个瞬时，光电导层上被电子束光电导层上被电子束所 击 中 的 微 小 单 元所 击 中 的 微 小 单 元（即像素单元）将和（即像素单元）将和负载电阻一起组成一负载电阻一起组成一个电子回路。个电子回路。 21n 光电导摄像管光电导摄像管结论：结论：来自被摄景物的光线落到靶面上，来自被摄景物的光线落到靶面上，照度越高，光电导材料激励出的光电子越照度越高，光电导材料激励出的光电子越多，导电率越高，多，导电率越高，R R值越小，流过负载的电值越小，流过负载的电流越大；而照度越低，则光电导材料激励流越大；而照度越低，则光电导材料激励出的光电子越少，导电率越低，出的光电子越少，导电率越低，R R值越大，值越大，流过负载的电流越小。因此，通过记录扫流过负载的电流越小。因此，通过记录扫描过程中加在负载电阻上的电位（或者等描过程中加在负载电阻上的电位（或者等价地，流过负载电阻的电流）就可以得到价地，流过负载电阻的电流）就可以得到关于输入光学图像的明暗变化的信息。关于输入光学图像的明暗变化的信息。 22n 电视扫描方式电视扫描方式l逐行扫描（逐行扫描（Progressive ScanningProgressive Scanning）对一幅完整图像的扫描在每一个规定的时间间隔对一幅完整图像的扫描在每一个规定的时间间隔内一次完成。这样得到的一幅完整图像称为帧内一次完成。这样得到的一幅完整图像称为帧（FrameFrame）。）。 l隔行扫描（隔行扫描（Interlaced ScanningInterlaced Scanning）对一幅完整图像（即一帧）的扫描则被分成两次对一幅完整图像（即一帧）的扫描则被分成两次进行。其中的一次扫描只针对图像中的奇数行进进行。其中的一次扫描只针对图像中的奇数行进行，而另一次扫描则只针对图像中的偶数行进行。行，而另一次扫描则只针对图像中的偶数行进行。由一幅图像中所有的奇数行和偶数行所形成的子由一幅图像中所有的奇数行和偶数行所形成的子图像分别被称为该图像的奇数场和偶数场。图像分别被称为该图像的奇数场和偶数场。23n 电视信号简介电视信号简介扫描规程简介扫描规程简介 EIA RS170EIA RS170扫描规程（黑白电视时序标准，美国）扫描规程（黑白电视时序标准，美国）其它扫描规程（彩色电视时序标准）：其它扫描规程（彩色电视时序标准）：（1 1）PAL(Phase Alternation Line)PAL(Phase Alternation Line) 隔行扫描，隔行扫描，2525帧帧/ /每秒，每秒， 625625行行/ /每帧。每帧。 （2 2）NTSCNTSC（National Television Systems Committee)National Television Systems Committee) RS170 A RS170 A 隔行扫描，隔行扫描，3030帧帧/ /每秒，每秒， 525525行行/ /每帧。每帧。24n 全电视信号全电视信号A AB BC CD D水平扫描水平扫描从左到右的扫描从左到右的扫描垂直扫描垂直扫描自上而下的扫描自上而下的扫描扫描线扫描线用实线表示用实线表示回扫线回扫线用虚线表示用虚线表示奇数行奇数行水平扫描中对应奇数水平扫描中对应奇数场的扫描线，蓝绿色实线表示场的扫描线，蓝绿色实线表示偶数行偶数行水平扫描中对应偶数水平扫描中对应偶数场的扫描线，黄色实线表示。场的扫描线，黄色实线表示。水平消隐线水平消隐线用细虚线表示。用细虚线表示。垂直消隐线垂直消隐线用粗虚线表示。用粗虚线表示。25n 全电视信号全电视信号偶 数 场奇 数 场625234562462362212324前 均 衡 脉 冲场 消 隐 脉 冲(a)场 同 步 脉 冲后 均 衡 脉 冲奇 数 场偶 数 场后 均 衡 脉 冲310312311314315316317318336场 消 隐 脉 冲前 均 衡 脉 冲场 同 步 脉 冲313(b)(b) (b) 偶数场信号偶数场信号 图像传感器图像传感器(a) (a) 奇数场信号奇数场信号26n 彩色电视摄像机彩色电视摄像机色彩的三色理论（色彩的三色理论（tri-stimulus theorytri-stimulus theory） 几乎所有的色彩都可以用三种基色：几乎所有的色彩都可以用三种基色：红（红（RedRed）、绿（）、绿（GreenGreen）和蓝（）和蓝（BlueBlue）进行混合来再现。进行混合来再现。27n 彩色电视摄像机彩色电视摄像机三管式彩色电视摄像机工作原理三管式彩色电视摄像机工作原理三管式彩色电视摄像机采用分色棱镜将入三管式彩色电视摄像机采用分色棱镜将入射光分解成红、绿、蓝三基色光，并使之分别射光分解成红、绿、蓝三基色光，并使之分别在摄像管在摄像管R R、G G、B B的靶面上成像。然后，经光电的靶面上成像。然后，经光电转换将在各自的靶面上形成的光学图像转换成转换将在各自的靶面上形成的光学图像转换成与之对应的电荷图像。这些电荷图像在聚焦和与之对应的电荷图像。这些电荷图像在聚焦和偏转系统的作用下被转换成按照一定的电视扫偏转系统的作用下被转换成按照一定的电视扫描标准的随时间变化的三基色图像信号。描标准的随时间变化的三基色图像信号。 28（1）（2）RGBFgFrFb(A)(B)(C)入射光去摄像管R 去摄像管B 去摄像管G n 彩色电视摄像机彩色电视摄像机Mr分色棱镜由分色棱镜由(A)(A)、(B)(B)、(C)(C)三部分组成。其中，三部分组成。其中，M Mr r和和M Mb b面上分别蒸镀有不同厚面上分别蒸镀有不同厚度的干涉薄膜。各薄膜的度的干涉薄膜。各薄膜的厚度恰到好处，使得：当厚度恰到好处，使得：当入射光投射到入射光投射到M Mr r面上时能面上时能将红光分量反射回来，而将红光分量反射回来，而让其它的光通过；而当入让其它的光通过；而当入射光投射到射光投射到M Mb b面上时能将面上时能将蓝光分量反射回来，而让蓝光分量反射回来，而让其它的光通过。其它的光通过。 分色棱镜的工作原理分色棱镜的工作原理Mb29n 彩色电视摄像机彩色电视摄像机彩色电视摄像机输出信号的种类彩色电视摄像机输出信号的种类（1 1）分量模拟视频）分量模拟视频（Component analog videoComponent analog video）（2 2）S-VideoS-Video（Y/C VideoY/C Video）（3 3）复合视频（）复合视频（Composite VideoComposite Video）30n 彩色电视摄像机彩色电视摄像机亮度信号和色差信号亮度信号和色差信号 ：299. 0701. 0299. 0EEEYBYRY587. 0587. 0587. 0866. 0114. 0114. 0BGREEE31n 彩色电视摄像机彩色电视摄像机彩色全电视信号彩色全电视信号亮度信号亮度信号色度信号色度信号复合同步信号复合同步信号彩色全电视信号彩色全电视信号32n 固态摄像机：固态摄像机：CCDCCD像感器像感器体积小体积小重量轻重量轻造价低造价低寿命长寿命长抗震性强抗震性强空间失真小空间失真小不需要电子扫描：不存在真空封装的问题不需要电子扫描：不存在真空封装的问题对外界磁场的屏蔽要求也低对外界磁场的屏蔽要求也低 33光光P P型硅衬底型硅衬底金属电极金属电极二氧化硅二氧化硅沟阻沟阻势阱势阱信号电荷信号电荷CCDCCD像感器是由像感器是由MOSMOS电容器组成的一个阵列。当把光电容器组成的一个阵列。当把光学图像聚焦到该阵列时，可以得到正比于景物光辐学图像聚焦到该阵列时，可以得到正比于景物光辐射强度的电荷分布。射强度的电荷分布。 n 固态摄像机：固态摄像机：CCDCCD像感器像感器34n 固态摄像机：固态摄像机：CCDCCD像感器像感器工作原理：电荷定向转移的机制工作原理：电荷定向转移的机制 f1f1f2f2f3f3t0t1t2 t3tttt = t0t = t1t = t2t = t3P1 P2 P3 P1 P2 P3P1 P2 P3 P1 P2 P3P1 P2 P3 P1 P2 P3P1 P2 P3 P1 P2 P3三相控制方式下三相控制方式下CCDCCD中中的电荷转移过程的电荷转移过程 35n 固态摄像机：固态摄像机：CCDCCD像感器像感器工作原理：电荷定向转移的机制工作原理：电荷定向转移的机制 f1f1f2f2f3f3t0t1t2 t3tttt = t4t = t0P1 P2 P3 P1 P2 P3三相控制方式下三相控制方式下CCDCCD中中的电荷转移过程的电荷转移过程 经过一个时钟周期后，相应的电荷将从前经过一个时钟周期后，相应的电荷将从前一像素的一个电极下转移到下一个像素的一像素的一个电极下转移到下一个像素的同号电极下。这样，随着时钟脉冲有规则同号电极下。这样，随着时钟脉冲有规则的变化，电荷将从线阵的一端转移到另一的变化，电荷将从线阵的一端转移到另一端。如果在线阵的另一端对电荷进行收集，端。如果在线阵的另一端对电荷进行收集，并进行放大处理，则可以得到相应的反映并进行放大处理，则可以得到相应的反映图像灰度变化的电信号输出。图像灰度变化的电信号输出。 t4P1 P2 P3 P1 P2 P3 P136n 固态摄像机：固态摄像机：CCDCCD像感器像感器P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3工作原理：电荷定向转移的机制工作原理：电荷定向转移的机制 P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P3P1P2P337n CCD CCD像感器：线阵像感器：线阵CCDCCD像感器像感器 输出输出感光单元感光单元不透光的电荷转移结构不透光的电荷转移结构转移栅转移栅38n CCD CCD像感器：面阵像感器：面阵CCDCCD像感器像感器 读出移位读出移位寄存器寄存器感光区感光区存储区存储区输出移位寄存器输出移位寄存器二相二相驱动驱动二相二相驱动驱动光栅极光栅极时钟时钟视频输出视频输出感光区感光区存储区存储区视频输出视频输出39n CCD CCD摄像机摄像机 除了除了CCDCCD像感器之外，像感器之外，CCDCCD摄像机还摄像机还包括光学系统、定时系统、包括光学系统、定时系统、CCDCCD激励器、激励器、信号处理和校正器等部分。其输出信号信号处理和校正器等部分。其输出信号一般也为标准的全电视信号。一般也为标准的全电视信号。 40n CID CID摄像机摄像机41n CID CID摄像机摄像机读出方式：读出方式：（1 1）非破坏性读出）非破坏性读出 一个电极被驱动至一个电极被驱动至0 0伏或更低电位伏或更低电位 迁移时，在外电路中产生一电流脉冲迁移时，在外电路中产生一电流脉冲（2 2）破坏性读出）破坏性读出 两个电极均被驱动至两个电极均被驱动至0 0伏或更低电位伏或更低电位 像素处积累的光电子被冲洗入下面的基片像素处积累的光电子被冲洗入下面的基片42n CID CID摄像机摄像机性能：性能：（1 1）对扩散模糊和辐射危害不敏感）对扩散模糊和辐射危害不敏感（2 2）不存在电荷转移效率的问题）不存在电荷转移效率的问题（3 3）晶格点阵的缺陷只影响单个像素）晶格点阵的缺陷只影响单个像素43标定，有时也称为校准（标定，有时也称为校准（CalibrationCalibration）。）。n 何谓摄像机的几何标定？何谓摄像机的几何标定？确立摄像机内部参数以及摄像机与外部确立摄像机内部参数以及摄像机与外部参考坐标系之间的空间变换关系的过程。参考坐标系之间的空间变换关系的过程。内部参数内部参数 外部参数外部参数确定系统的内部参数确定系统的内部参数确定系统相对于参考坐标系确定系统相对于参考坐标系的位置和姿态的位置和姿态44n 需要进行摄像机几何标定的几种情形需要进行摄像机几何标定的几种情形l 固定的内部参数需重新标定固定的内部参数需重新标定内部参数有标称值，但其实际值和标称内部参数有标称值，但其实际值和标称值之间存在偏差。值之间存在偏差。l 内部参数变化后需重新标定内部参数变化后需重新标定内部参数可调，而难于做到精确控制。内部参数可调，而难于做到精确控制。情形情形1 系统内部参数的标定系统内部参数的标定45n 需要进行摄像机几何标定的几种情形需要进行摄像机几何标定的几种情形l 不同摄像机之间相对空间变换关系的确定不同摄像机之间相对空间变换关系的确定情形情形2系统外部参数的标定系统外部参数的标定XZYUlVlUrVr( b , 0 , 0 )( 0, 0, 0 )PirPilP(x,y,z)(0,0,f)(0,0,f)OOYZX46n 需要进行摄像机几何标定的几种情形需要进行摄像机几何标定的几种情形l 摄像机和世界坐标系之间空间变换关系的确定摄像机和世界坐标系之间空间变换关系的确定情形情形2系统外部参数的标定（续）系统外部参数的标定（续）XwZwYwXZYOOw世界坐标系世界坐标系摄像机坐标系摄像机坐标系)z ,y,x(P) z , y, x(Pwww47n 对摄像机标定的一般要求对摄像机标定的一般要求 （5 5）可实现性）可实现性 不应对实验条件提出过于苛刻的假设，也不应该要求不应对实验条件提出过于苛刻的假设，也不应该要求 使用特别的实验装置。使用特别的实验装置。（4 4）通用性）通用性 要求校准算法能适用于各种不同种类的图像传感器。要求校准算法能适用于各种不同种类的图像传感器。 （3 3）有效性）有效性 要求校准算法简洁、快速。要求校准算法简洁、快速。（2 2）精密性）精密性 具有满足使用要求的精度。具有满足使用要求的精度。（1 1）自治性）自治性 尽量减少人工干预，提高校准的自动化程度。尽量减少人工干预，提高校准的自动化程度。48n 进行摄像机几何标定的一般方法进行摄像机几何标定的一般方法 基准物体标定法基准物体标定法先由摄像机获取基准物体的先由摄像机获取基准物体的图像，然后运用图像处理技图像，然后运用图像处理技术抽取基准物体上特征点的术抽取基准物体上特征点的图像位置信息。由于这些特图像位置信息。由于这些特征点在世界坐标系中的位置征点在世界坐标系中的位置信息是已知的，因此可利用信息是已知的，因此可利用摄像机几何模型的知识，根摄像机几何模型的知识，根据特征点所提供的信息计算据特征点所提供的信息计算摄像机的内部参数和摄像机摄像机的内部参数和摄像机相对于世界坐标系的空间变相对于世界坐标系的空间变换关系（即外部参数）。换关系（即外部参数）。 Reference Reference ObjectObjectYwXwZw特征点特征点内内/ /外部分离参数法外部分离参数法混合参数法混合参数法49n 内内/ /外部分离参数法外部分离参数法XWYWZW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或 P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i- -Y Yi i平平面面YXZOf世界坐标系世界坐标系摄像机坐标系摄像机坐标系( (X Xu u, ,Y Yu u) )理想成像情况下像点理想成像情况下像点的图像坐标的图像坐标( (X Xd d, ,Y Yd d) )实际成像情况下像点实际成像情况下像点的图像坐标的图像坐标( (X Xf f, ,Y Yf f) )( (X Xd d, ,Y Yd d) )的计算机像的计算机像素坐标表示素坐标表示OWOi i50Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOstep1.step1. 从世界坐标系到摄像从世界坐标系到摄像机坐标系的刚体变换机坐标系的刚体变换step2.step2.从摄像机坐标系到理从摄像机坐标系到理想的图像坐标系的透视变换想的图像坐标系的透视变换step3.step3.从理想的图像坐标到从理想的图像坐标到实际的图像坐标的变换实际的图像坐标的变换 建立建立(x,y,z)(x,y,z)和和(x(xf f,y,yf f) )映射关系映射关系step4.step4.从实际的图像坐标到从实际的图像坐标到计算机图像坐标的变换计算机图像坐标的变换 n 内内/ /外部分离参数法外部分离参数法51n 从世界坐标系到计算机图像坐标系的变换从世界坐标系到计算机图像坐标系的变换 Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOstep1.step1. 从世界坐标系到摄像从世界坐标系到摄像机坐标系的刚体变换：机坐标系的刚体变换：xyzxyzwww+RTR =rrr147rrr258rrr369T TTTxyz其中，其中，R R为旋转变换矩阵，它是一个为旋转变换矩阵，它是一个单位正交矩阵，而单位正交矩阵，而T T则为平移向量，则为平移向量，分别由下面定义：分别由下面定义：为了完全描述上述刚体变换，总共为了完全描述上述刚体变换，总共需要六个系统参数：三个旋转参数需要六个系统参数：三个旋转参数和三个平移参数。和三个平移参数。 52Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOstep2. step2. 从摄像机坐标系到理从摄像机坐标系到理想的图像坐标系的透视变换：想的图像坐标系的透视变换：Xfxzu Yfyzu n 从世界坐标系到计算机图像坐标系的变换从世界坐标系到计算机图像坐标系的变换 53Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOstep3. step3. 从理想的图像坐标到从理想的图像坐标到实际的图像坐标的变换：实际的图像坐标的变换： 失真系数 若失真主要由径向畸变引起，则若失真主要由径向畸变引起，则XDXdxu+ + YDYdyu+ + DxXrrd + + +()k kk k1224LLLLDYrryd + + +()k kk k1224LLLL这里，这里， rXYdd + +22n 从世界坐标系到计算机图像坐标系的变换从世界坐标系到计算机图像坐标系的变换 54Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOstep4. step4. 从实际的图像坐标到从实际的图像坐标到计算机图像坐标的变换：计算机图像坐标的变换： C Cx x,C,Cy y . . 图像中心的行图像中心的行/ /列指标列指标d dx x . X. X方向上相邻像素间距方向上相邻像素间距d dy y . Y. Y方向相邻像素点间距方向相邻像素点间距N Ncx cx . X. X方向上的像素数方向上的像素数N Nfx fx . X. X方向上采样的像素数方向上采样的像素数s sx x . . 模糊度因子模糊度因子 Xs dXCfxxdx + + 1YdYCfydy + + 1ddNNxxcxfx n 从世界坐标系到计算机图像坐标系的变换从世界坐标系到计算机图像坐标系的变换 55n 从世界坐标系到计算机图像坐标系的变换从世界坐标系到计算机图像坐标系的变换 P Pu u(X(Xu u,Y,Yu u) )X Xi iY Yi iOOi iY YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOX Xi iY Yi i假想的图像坐标轴假想的图像坐标轴X Xi iY Yi iX Xi iY Yi i与实际图像一致的与实际图像一致的图像坐标轴图像坐标轴56X Xi iY Yi iOOi i实际图像实际图像的左上角的左上角顺时针顺时针转转0 0平移平移 yxccTX Xi iY Yi iOOi ic cx xc cy yP Pd d(X(Xd d,Y,Yd d) )P Pd d( (X Xd d, ,Y Yd d) )yddcYY+xddcXX+(0,0)(M-1,N-1)X Xf fY Yf fOOf fP Pd d(X(Xf f,Y,Yf f) ) xxxdcC yyydcCP Pd d(X(Xd d,Y,Yd d) )X Xi iY Yi iOOi iX Xi iY Yi i数字化数字化x xdfCdXX+y ydfCdYY+xd1xxfCXdsX+yd1yfCYdY+57(M-1,N-1)X Xf fY Yf fOOf fP Pd d(X(Xf f,Y,Yf f) )(0,0)xd1xxfCXdsX+yd1yfCYdY+d dx x . X. X方向上相邻像素间距方向上相邻像素间距 . X. X方向上实际的像素间距方向上实际的像素间距N Ncx cx . X. X方向上的像素数方向上的像素数N Nfx fx . X. X方向上采样的像素数方向上采样的像素数ddNNxxcxfx xds sx x . . 模糊度因子模糊度因子( (x x向尺度补偿因子向尺度补偿因子) ) xd 1-xx xdfCXdCdXX+yd 1-yy ydfCYdCdYY+d dx xxd考虑考虑s sx x58需要标定的参数需要标定的参数R =rrr147rrr258rrr369T TTTxyzXs dXCfxxdx + + 1YdYCfydy + + 1Xfxzu Yfyzu DxXrrd + + +()k kk k1224LLLLDYrryd + + +()k kk k1224LLLL外部参数外部参数内部参数内部参数n 内内/ /外部分离参数法外部分离参数法59需要标定的两组参数（一）需要标定的两组参数（一）u外部参数外部参数R =rrr147rrr258rrr369T TTTxyz个旋转参数个旋转参数个平移参数个平移参数共六个共六个n 内内/ /外部分离参数法外部分离参数法60需要标定的两组参数（二）需要标定的两组参数（二）u内部参数内部参数 f f 有效焦长有效焦长 k k1 1 镜头的失真系数镜头的失真系数 s sx x 图像图像X X坐标的模糊度因子坐标的模糊度因子 C Cx x 图像平面原点在计算机图像坐标系中的图像平面原点在计算机图像坐标系中的X X坐标坐标 C Cy y 图像平面原点在计算机图像坐标系中的图像平面原点在计算机图像坐标系中的Y Y坐标坐标 n 内内/ /外部分离参数法外部分离参数法61C Cx x、 C Cy y的确定（的确定（1 1）：变焦法）：变焦法位置固定位置固定时间可控时间可控点状光源点状光源n 内内/ /外部分离参数的个别标定外部分离参数的个别标定62C Cx x、 C Cy y的确定（的确定（2 2）：激光光束法）：激光光束法成像面成像面外置屏幕外置屏幕位置可控激位置可控激光发射装置光发射装置n 内内/ /外部分离参数的个别标定外部分离参数的个别标定63C Cx x、 C Cy y的确定（的确定（3 3）：辐射度学模型法）：辐射度学模型法成像面成像面外置屏幕外置屏幕均匀光照均匀光照22020211100100 xayaxyaxayaay)I(x,+211022020101101xaa4aa2aaaC211022002011101yaa4aa2aaaC2 2次多项式近似次多项式近似n 内内/ /外部分离参数的个别标定外部分离参数的个别标定64C Cx x、 C Cy y的确定（的确定（4 4）：辐射度学模型法（续）：辐射度学模型法（续）成像面成像面外置屏幕外置屏幕均匀光照均匀光照等灰度线等灰度线口径蚀口径蚀n 内内/ /外部分离参数的个别标定外部分离参数的个别标定65s sx x的确定的确定成像面成像面外置屏幕外置屏幕xDyDyxxDDs n 内内/ /外部分离参数的个别标定外部分离参数的个别标定66其它参数的确定其它参数的确定Y YX XZ ZX XWWY YWWZ ZWW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i - -Y Yi i平平面面世界坐标系世界坐标系摄像机坐标系摄像机坐标系OOWWOOuXzxfuYzyfxd1xxfCXdsX+yd1yfCYdY+）（xfx-1xdCXdsX)C(YdYyfyd)r)(1C(Xds 21xf x1x+)r)(1C(Yd 21yfy+2yfx2xf x1x)CY(d ()CX(ds (r+ )rr(1X4221dLL+)rr(1Y4221dLL+n 内内/ /外部分离参数法外部分离参数法67+ zyf )r)(1C(Ydzxf)r)(1C(Xds21yfy21xf x1x 确定其它参数的基本关系式确定其它参数的基本关系式zw9w8w7xw3w2w1TzryrxrTzryrxrf +zw9w8w7yw6w5w4TzryrxrTzryrxrf +zyxwww987654321wwwTTTzyxr r rr r rr r rTzyxRzyx+zw9w8w7yw6w5w4xw3w2w1Tzryrxr zTzryrxr yTzryrxr xn 内内/ /外部分离参数法外部分离参数法其它参数的确定其它参数的确定68n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知 使用共平面基准参考使用共平面基准参考点集来完成标定任务。点集来完成标定任务。如图所示：选择世界如图所示：选择世界坐标系使得基准参考坐标系使得基准参考点集位于平面点集位于平面 z zw w = 0 = 0上，并使世界坐标系上，并使世界坐标系原点不在原点不在Y Y轴上，即使轴上，即使T Ty y 0 0成立。成立。 YXZOWXWYWZWX Xi i- -Y Yi i平平面面O基准参考点集基准参考点集其它参数的确定其它参数的确定69+ TzryrxrTzryrxrf )r)(1C(YdTzryrxrTzryrxrf )r)(1C(Xdszw9w8w7yw6w5w421yfyzw9w8w7xw3w2w121xf x1xyw6w5w4xw3w2w1yfyxf x1xTzryrxrTzryrxr)C(Yd)C(Xds+（一）模糊度因子（一）模糊度因子s sx x已知已知 1zTryTrxTrTTzTryTrxTrw1 -y6w1 -y5w1 -y4-1yxw-1y3w-1y2w-1y1+两式相除两式相除分子分母同除以分子分母同除以yT代入代入 的已知条件的已知条件0zw1yTrxTrTTyTrxTrw1 -y5w1 -y4-1yxw-1y2w-1y1+70（一）模糊度因子（一）模糊度因子s sx x已知已知1yTrxTrTTyTrxTr)C(Yd)C(Xdsw1 -y5w1 -y4-1yxw-1y2w-1y1yfyxf x1x+)C(YdYyfyd)C(XdsXxf x1xdd51y41yx1y21y11ywdwddwdwdXrTrTTTrTrT yX xX Y yY xY结论：若有结论：若有 个基准参考点，则可得到个基准参考点，则可得到 个方程。个方程。NN71其它参数的确定其它参数的确定n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知确定摄像机其余各参数的具体步骤：确定摄像机其余各参数的具体步骤： （1 1）计算）计算R R和和T Tx x，T Ty y （1-11-1）从计算机图像坐标计算失真图像坐标）从计算机图像坐标计算失真图像坐标 （1-1-11-1-1）输入一帧图像到计算机帧存储器。对每一个校准用参考点，）输入一帧图像到计算机帧存储器。对每一个校准用参考点， 确定其相应的计算机坐标确定其相应的计算机坐标(X(Xfifi,Y,Yfifi) )，i = 1,2,.Ni = 1,2,.N。 这里，这里，N N为所用基准参考点的数目。为所用基准参考点的数目。 （1-1-21-1-2）根据厂家提供的）根据厂家提供的N Ncxcx、N Nfxfx等有关数据，得到等有关数据，得到dd x x和和d d y y的数值。的数值。 （1-1-31-1-3）取）取(C(Cx x,C,Cy y) )为帧存储器的中心像素。为帧存储器的中心像素。 （1-1-41-1-4）计算）计算X Xdidi,Y,Ydi di ，i = 1,2,.N:i = 1,2,.N: XsdXCdixxfix1()YdYCdiyfiy()72n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知di51y41yx1y21y11ywidiwididiwidiwidiXrTrTTTrTrT yX xX Y yY xY1,2,.Ni 从从 个基准参考点，确定如下所示个基准参考点，确定如下所示 个方程：个方程：NN其它参数的确定其它参数的确定（1-21-2）计算）计算5 5个未知参数：个未知参数： T Ty y-1-1r r1 1，T Ty y-1-1r r2 2，T Ty y-1-1T Tx x，T Ty y-1-1r r4 4，T Ty y-1-1r r5 5 73n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知 将将 个方程联立，有：个方程联立，有：NCAB dNd2d151y41yx1y21y11ywNdNwNdNdNwNdNwNdNw2d2w2did2w2d2w2d2w1d1w1d1d1w1d1w1d1X XXrTrTTTrTrT yX xX Y yY xY yX xX Y yY xYyX xX Y yY xYL其它参数的确定其它参数的确定（1-21-2）计算）计算5 5个未知参数：个未知参数： T Ty y-1-1r r1 1，T Ty y-1-1r r2 2，T Ty y-1-1T Tx x，T Ty y-1-1r r4 4，T Ty y-1-1r r5 5 74n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知 CAB 5 5个未知数，个未知数， 个方程个方程N当当 时，上述线性方程组超定。时，上述线性方程组超定。5N 可用最小二乘法解得：可用最小二乘法解得： B = (ATA)-1ATC 其它参数的确定其它参数的确定（1-21-2）计算）计算5 5个未知参数：个未知参数： T Ty y-1-1r r1 1，T Ty y-1-1r r2 2，T Ty y-1-1T Tx x，T Ty y-1-1r r4 4，T Ty y-1-1r r5 5 75n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知542151y41y21y11yr rr rrT rTrT rTS2 2 4 5 11/22 2 4 5 12rr2y)rrr2(r)rrr4(r(SSTSrrrrr+1222425212j2i2y)r(rT+（1-31-3）从）从B B计算计算R R和和T Tx x，T Ty y （1-3-11-3-1）从）从B B计算计算|T|Ty y| |。步骤如下：。步骤如下： 令令 如果如果S S没有没有1 1行或行或1 1列全为列全为0 0，则，则T Ty y2 2可根据可根据R R的正交性得到：的正交性得到： 这里，这里， 。 否则，根据下式计算否则，根据下式计算： 这里，这里， 、 为为S S中不为中不为0 0 的行或列的相应元素。的行或列的相应元素。irjr其它参数的确定其它参数的确定76n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知其它参数的确定其它参数的确定（1-31-3）从）从B B计算计算R R和和T Tx x，T Ty y （1-3-21-3-2）确定）确定T Ty y的符号：的符号： 取一个图像坐标取一个图像坐标(X(Xfifi,Y,Yfifi) )远离图像中心远离图像中心(C(Cx x,C,Cy y) )的基准参考点的基准参考点i i。 设设T Ty y的符号为正。计算：的符号为正。计算： 如果如果x xi i和和X Xdidi以及以及y yi i和和Y Ydidi的符号相同，则判的符号相同，则判T Ty y为正为正; ; 否则，判否则，判T Ty y的符号为负。的符号为负。 y11y1TrTry41y4TrTry21y2TrTryx1yxTTTTy51y5TrTrxwi2wi1iTyrxrx+ywi5wi4iTyrxry+77n 内内/ /外部分离参数法外部分离参数法其它参数的确定其它参数的确定XWYWZW( ( X XWW, ,Y YWW, ,Z ZWW ) )P (X,Y,Z)P (X,Y,Z)或或 P PP Pu u(X(Xu u,Y,Yu u) )P Pd d(X(Xd d,Y,Yd d) )X Xi i- -Y Yi i平平面面YXZOf世界坐标系世界坐标系摄像机坐标系摄像机坐标系( (X Xu u, ,Y Yu u) )理想成像情况下像点理想成像情况下像点的图像坐标的图像坐标( (X Xd d, ,Y Yd d) )实际成像情况下像点实际成像情况下像点的图像坐标的图像坐标( (X Xf f, ,Y Yf f) )( (X Xd d, ,Y Yd d) )的计算机像的计算机像素坐标表示素坐标表示OWOi i78n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知（1-31-3）从）从B B计算计算R R和和T Tx x，T Ty y （1-3-31-3-3）确定旋转矩阵）确定旋转矩阵R R 其它参数的确定其它参数的确定y11y1TrTry41y4TrTry21y2TrTry51y5TrTr1/222213)rr(1r1/225246)rrs(1r654321987rrrrrrrrr)rrrsgn(rs5241+R R的正交性和右手特性的正交性和右手特性987654321r r- r-r- r r r- r r R 这里，这里， 。 注意：如果注意：如果R R在后续处理中产生负的在后续处理中产生负的f f， 则需对则需对R R作如下修正：作如下修正： 79n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x已知已知其它参数的确定其它参数的确定（2 2）计算）计算f f，k k1 1和和T Tz z （2-12-1）计算）计算f f和和T Tz z 的近似值的近似值 对标定用基准参考点对标定用基准参考点i i，i=1,2,.Ni=1,2,.N，有下列方程成立：，有下列方程成立： 忽略镜头失真，则近似有：忽略镜头失真，则近似有：Y Yuiui = Y = Ydidi 。 代入上式，并整理之，有：代入上式，并整理之，有： 据此，用最小二乘法可解出未知参数据此，用最小二乘法可解出未知参数 f f 和和 T Tz z 。（2-22-2）在）在f f和和T Tz z 的近似解的基础上，利用最优化技术可解出的近似解的基础上，利用最优化技术可解出f f、 和和T Tz z zwi8wi7ywi5wi4uiTyrxrTyrxrfzyfY+N1,2,.,i ，Y Tf Y- ydiizdiiywi5wi4iTyrxry+wi8wi7iyrxr+180n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x未知未知其它参数的确定其它参数的确定此时，使用非共平面基准参考点集来完成校准任务。此时，使用非共平面基准参考点集来完成校准任务。具体步骤：具体步骤：（1 1）计算）计算R R，T Tx x，T Ty y和和s sx x（1-11-1）计算所有）计算所有N N个基准参考点的失真图像坐标。个基准参考点的失真图像坐标。 这里，这里，X Xdidi和和Y Ydidi为为s sx x=1=1时的失真图像坐标。时的失真图像坐标。N1,2,.,i Y)C(YdXs)C(Xdsdiyfiydidi1xxfi x1xdiyx81n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x未知未知其它参数的确定其它参数的确定（1 1）计算）计算R R，T Tx x，T Ty y和和s sx x（1-21-2）计算）计算 +zw9w8w7yw6w5w421dzw9w8w7xw3w2w121d1 -xTzryrxrTzryrxrf zyf )r(1YTzryrxrTzryrxrf zxf)r(1Xs1zrTyrTxrTTTzrTyrTxrTTzryrxrTzryrxrYXsw61 -yw51 -yw41 -yx-1yw3-1yw2-1yw1-1yyw6w5w4xw3w2w1dd-1x+1zrTyrTxrTTsTzrsTyrsTxrsTYXw61 -yw51 -yw41 -yxx-1yw3x-1yw2x-1yw1x-1ydd+6-1y5-1y4-1yxx-1y3x-1y2x-1y1x-1yrTrTrTTsTrsTrsT,rsT,82n 内内/ /外部分离参数法外部分离参数法（一）模糊度因子（一）模糊度因子s sx x未知未知其