《计算机视觉》知识要点总结终极

1、 、。视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得信息约有80%来 自视觉系统。2、计算机视觉是指用计算机实现人类的视觉功能，即对客观世界中三维场景的感知、加工 和理解。计算机视觉的研究方法只有有两种：一种是仿生学的方法，参照人类视觉系统的结构原 理，建立相应的处理模块完成类似的功能和工作；另一种是工程的方法，即从分析人类视觉过程的功能着手，并不刻意模拟人，视觉系统内部结构，而仅考虑系统的输入和输出，并采用任何现有的手段来实现系统的功能。计算机视觉主要 研究目标 有两个：一是建立计算机视觉系统来完成各种视觉任务； 二是把该研究作为探索人脑视觉工作机理的手段，即生物学机理。3、计算机视觉系统的 功能模块主要有以下几个模块：图像采集、预处理、基元检测、目标分割、表达描述、形状分析等，参考下图1.4.14、整个视觉过程是由 光学过程，化学过程 和神经处理过程 这3个顺序的子过程所构成。 光学过程：我们需要掌握的是人眼水平截面的示意图，见图2.1.1。光学过程基本确定了成像的尺寸。类似照相机。图2.1.1人眼水平横截面的示意图化学过程：视网膜表面的光接收细胞可分为：锥细胞（亮视觉）和柱细胞（暗视觉）。化学过程，基本确定了成像的亮度或颜色。神经处理过程：将对光的感觉转换为对景物的知觉。视觉处理过程流图2.1,2如下：/视阿腹A神经处理右眼刺1猷左眼神经虻理图 2.L2丸朋皮层th理1.4替事考图煉（诃 * tl:<1fc-2.信息址理3,特征煲取/4.决/久描述视垃过程葢图5、形状知觉是对景物各部分相对关系的知觉，也与视野中各种空间关系的知觉有关。6、轮廓（封闭的边界）是形状知觉中最基本的概念，人在知觉一个形状以前一定先看到轮廓。轮廓的构成如果用数学语言来说就是轮廓对应亮度的二阶导数。轮廓与轮廓不等于形状。轮廓在帮助构成形状时还有“方向性”。轮廓通常倾向于对它所包围的空间发生影响，即轮廓一般是向内部而不是向外部发挥构成形状的作用。7、主观轮廓：在没有直接刺激作用下产生的轮廓知觉。主观的基础上进行知觉假设的结果8、空间知觉的问题本质是一个深度感知的问题。人对觉实现。9、 图像采集是获取图像的技术和过程。对应于视觉过程中的光学和化学过程。需要利用几_何学原理解决场景中目标的投影位置在图像中国的什么地方的问题和利用光度学原 （或辐射度学）建立场景中的亮度与图像中对应位置灰度的联系。10、图像采集中主要的模型：几何成像模型和亮度成像模型11、 世界坐标系：也称为真实或现实世界坐标系XYZ，是客观事件的绝对坐标（也称为客 观坐标系统）。一般的3-D场景都是用这个坐标系统来表示的。摄像机坐标系：是以摄像机为中心指定的坐标系统xyz，一般取摄像机的光学轴为 z轴。图像平面坐标系：在摄像机内形成的图像平面的坐标系统x'' 一般取图像平面与摄像机坐标系统xy平面平行，且x轴与x'轴，y与y '轴分别重合，这样图像平面的原点就在摄 像机的光学轴上。12、固态阵列中最常用的主要元件是用电荷耦合器件（ change-coupled device，CCD ），特点 是具有非常快的快门速度。CMOS （ complementary metal oxide semiconductor）摄像机基于互补型金属氧化物半导 体工艺，其传感器主要包括传感器核心、模/数转换器、输出寄存器、控制寄存器、增益放大器等。特点是低功耗、尺寸小，总体成本低。但是噪声水平比CCD高一个量级。电荷注射器件（charge-injection device， CID），有一个和图像矩阵对应的电极矩阵，在 每一个像素位置有两个隔离绝缘的能产生电位阱的电极。优点是，随机访问，不会产生图像浮散。但是相对 CCD，CID对光电敏感度要低很多。13、 采集装置基本性能指标：线T，快门速度,读取速率。14、图像采集的方式主要由光源、采集器和景物三者决定。15、 空间分辨率（即数字化的空间采样点数）。幅度分辨率（即采样点值的量化级数）。辐射 到图像采集矩阵中光电感受单元的信号在空间上被采样，而在强度上被量化。16、成像方式|光源采集器物单目成像周定固定周定刈目（立体）成像圃定两个位置周定券目（立体成像圃定赛伞位置周定光移£光度立体）成像超动固定固宦主动视觉成像周定运动囱定上动视觉（口垢动）成像固定运动第动视频洋列咸像固定/运动周定/运动运动/固定结构光成像固定f转动尚定/转动转动/固定表5.3.1 常用成像厅式的特点概述17、摄像机标定的一般程序和步骤:1、令&=*«兀 Z 中白勺元赛包扌舌摄俸机平移 淀轻丰口般景安考数亠标定步辣第1步二 标是旌转矩阵J?和平签矢量才第2步=标龙焦距1第3步= 祢定车竟头径向 失真系数圧第4斗祢定不确定性图像尺废囚子a两极标定法：（参考P53-例341-摄像机外部参数的标定示例）先夕卜咅国参数”即摄像曲L穽态参数女摄像初L的 位宣、和方冋或千移、扫视角干口倾斜角）后内部參数. 擦像用L自身参数 C女口焦足巨“ 镜夕工 径向夫真"不确定性图像尺度因子女口果严 已知I” 标定时只需用一巾畐含有一组菲面 基准点的图像即可女口果知” 标定时需用巾禺含有组不共直T基准点的图像18、坐标的基本变换:2.平務变换KJ®00(I0 0 0 0£000VSy 00 Ik旋转变换00COS0 sin 0-血0邸”sin/? 0-血卩cos 00 01r>r wo *1 甘»in &C<"i 皿Q1Il oOjLoO1円d/拧 >4-粮話拧 一亠ti winMill * ji冶.栏血宦 jfcjOD1种典型的通过对图像的直方图进行修正来获得图像增强效果的自动19、直方图均衡化：悬方法。基本思想是把原始图的直方图变换为在整个灰度范围内均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。直方图均衡化列表计算参考 p65 例 431。列表计算对照OS40.2叵右旧門衝化示例0GML/(s)sZ p(o - S p0)7=020、直方图规定化:用户可指定规定化函数来得到特殊的增强功能。3个步骤：（1）对原始图的直方图进行灰度均衡化（2）规定需要的直方图，并计算能使规定的直方图均衡化的变换将第1步得到的变换反转过来，即将原始直方图对应映射到规定的直方图。在上述步骤（3）中的对应映射规则有单映射规则（ SML ）和组映射规则（GML ）。分别 如下所示：SMLJJ为M)_迟PO)j=0;=021、边缘检测：一阶导数算子 ：prewitt; sobel;马尔；canny;编程实现上述算法的代码如下：%边缘检测clear;roberts; kirsch;二阶导数算子：拉普拉斯;11 = imread('C:UsersacerDesktopcar.jpg');%I=rgb2gray(I1);BW1 = edge(I,'roberts'); %Roberts 算子BW2 = edge(l,'sobel'); %Sobel 算子BW3 = edge(I,'prewitt'); %Prewitt 算子BW4 = edge(I,'log'); %log 算子BW5 = edge(I,'ca nn y'); %CANNY 算子 h = fspecial('gaussia n',5);BW6 = edge(l,'zerocross',h); %zerocross 算子subplot(2,4,1),imshow(l);title('原图像灰度图');subplot(2,4,2),imshow(BW1);title('Roberts edge check'); subplot(2,4,3),imshow(BW2);title('sobel edge check');subplot(2,4,4),imshow(BW3);title('prewitt edge check');subplot(2,4,5),imshow(BW4);title('log edge check');subplot(2,4,6),imshow(BW5);title('ca nny edge check');subplot(2,4,7),imshow(BW6);title('zerocross edge check');以上为计算机视觉课本上的要点小结。机器视觉课本大家基本都有，那部分的知识要点各位就自己补充完善一下。机器视觉偏重于计算机视觉技术工程化，能够自动获取和分析特定的图像，以控制相应的行为。计算机视觉为机器视觉提供图像和景物分析理论及算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和实现手段。机器视觉系统：视觉传感器视频输入高速图像采集系统 图像数专用图像处理系统j*计算机 斗-标准/控制总线视觉系统三个层次：计算理论、表达和算法、硬件实现 图像恢复形状信息名称目的基元图像亮度表示图像中每一点的亮度值基兀图表示二维图像中的亮度变化位置及其几何 分布和组织结构零交叉、斑点、端点和不连续 点、边缘、有效线段、组合群、 曲线组织2.5维基图在以观测者为中心的坐标系中，表示可见 表面的方向、深度值和不连续的轮廓局部表面朝向("针”基兀)、 离观测者的距离、深度上的不 连续点、表面朝向的不连续点三维模型表示在以物体为中心的坐标系中，用由体积基 元和面积基元构成的模块化多层次表示， 描述形状及其空间组织形式分层次组成若干三角模型，每 个三角模型都是在几个轴线 空间的基础上构成的，所有体 积基元或面积形状基元都附 着在轴线上齐次坐标表示法，由 n+1维矢量表示一个n维矢量边缘是指图像中像素灰度有阶跃变化或屋顶状变化的那些像素的集合而垂直于边缘走向的幅像素级融合方法、特征级图像亮度的一阶导数的幅度在阶跃边缘上非常大而在非边缘上为零 边缘有方向和幅度两个特性，通常沿边缘走向的幅度变化比较平缓,度变化比较剧烈。摄像机标定建立摄像机图像像素位置和场景位置的关系R和T是旋转矩阵和平移矩阵，外部参数双目立体视觉基于视差原理，由三角法原理进行三维信息获取 信息融合：冗余性、互补性、时效性融合方法：信号级融合方法(加权平均法属于信息级融合方法) 融合方法、决策级融合方法。变形轮廓线：主动轮廓线、动态轮廓线。 平移变换不能用矩阵形式来表示。均衡化程序：Im=imread('regi on.j pg');J=histeq(lm); % 均衡化subplot(2,2,1);imshow(lm);title('原图');%显示原图subplot(2,2,2);imhist(lm);title('原图直方图');%显示原图的直方图subplot(2,2,3);imshow(J);title('均衡化结果');%显示均衡化后的图像subplot(2,2,4);imhist(J);title('均衡化结果的直方图');%显示均衡化后的直方图原图原图直方图均衡化结果均衡化結果的直方图规定化程序：l=imread('tire.tif);J=histeq(l,32);co un ts,x=imhist(J);Q=imread('1.jpg');figure;imshow(Q);title('原图像');A=rgb2gray(Q);figure;imhist(A);title('原图像直方图');M=histeq(A,co un ts); figure;imshow(M);title('直方图规定化后的图像)；figure;imhist(M); title('规定直方图');小波变换及融合实验代码桌面 i.jpg');X1=X;map仁map; subplot(2,2,1);image(X1); colormap(map1);title('可见光图像');桌面 2.jpg');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('红外光图像');c1 L1=wavedec2(X1,1,'sym4');c2 L2=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,L1,'sym4');subplot(2,2,3);image(XX);title('融合结果一');Csize仁size(c1);for i=1:Csize1c1(i)=0.8*c1(i);en d;Csize2=size(c2);for j=1:Csize2c2(j)=1.2*c2(j);en d;C=0.6*(c1+c2);XXX=waverec2(c 丄2,'sym4'); subplot(2,2,4);image(XXX);title('融合后结果二');1.边缘检测实验代码I = imread('1.jpg');%如果是其他类型图像，请先转换为灰度图BW_sobel = edge(I,'sobel');BW_prewitt = edge(l,'prewitt');BW_roberts = edge(I,'roberts');BW_laplace = edge(I,'log');BW_ca nny = edge(I,'ca nn y');figure(1);subplot(2,3,1),imshow(l),xlabel('原始图像'); subplot(2,3,2),imshow(BW_sobel),xlabel('sobel 检测');subplot(2,3,3),imshow(BW_prewitt),xlabel('prewitt 检测'); subplot(2,3,4),imshow(BW_roberts),xlabel('roberts 检测'); subplot(2,3,5),imshow(BW_laplace),xlabel('laplace 检测'); subplot(2,3,6),imshow(BW_canny),xlabel('canny 检测');%加入高斯噪声(卩=0 , d A2=0.01 )检测结果I_g1 = imn oise(l,'gaussia n',0,0.01);BW_sobel = edge(I_g1,'sobel');BW_prewitt = edge(I_g1,'prewitt');BW_roberts = edge(I_g1,'roberts');BW_laplace = edge(I_g1,'log');BW_ca nny = edge(I_g1,'ca nny');figure(2);d A2=0.01)图像');subplot(2,3,1),imshow(I_g1),xlabel('加入高斯噪声(卩=0, subplot(2,3,2),imshow(BW_sobel),xlabel('sobel 检测'); subplot(2,3,3),imshow(BW_prewitt),xlabel('prewitt 检测'); subplot(2,3,4),imshow(BW_roberts),xlabel('roberts 检测'); subplot(2,3,5),imshow(BW_laplace),xlabel('laplace 检测'); subplot(2,3,6),imshow(BW_canny),xlabel('canny 检测');%加入高斯噪声(卩=0 , d A2=0.02 )检测结果I_g2 = imn oise(l,'gaussia n',0,0.02);BW_sobel = edge(I_g2,'sobel');BW_prewitt = edge(I_g2,'prewitt');BW_roberts = edge(I_g2,'roberts');BW_laplace = edge(I_g2,'log');BW_ca nny = edge(I_g2,'ca nny');figure(3);subplot(2,3,1),imshow(l_g2),xlabel('加入高斯噪声(卩=0, <r A2=0.02)图像'); subplot(2,3,2),imshow(BW_sobel),xlabel('sobel 检测');subplot(2,3,3),imshow(BW_prewitt),xlabel('prewitt 检测'); subplot(2,3,4),imshow(BW_roberts),xlabel('roberts 检测'); subplot(2,3,5),imshow(BW_laplace),xlabel('laplace 检测');subplot(2,3,6),imshow(BW_canny),xlabel('canny 检测'2 实验结果File Edit View InsertTools Desktop Window Help原始图像sobeltfe 测 prewhtt 测roberts 测laplaceli:测enny 检测零交叉检测