IPCam影像处理知识简介

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,IPCam影像处理知识简介,2008.9,1,概述,光学方面：镜头、光圈、快门等光学参数，包括Sensor对成像的影响,ISP算法：相关处理对图像质量的影响,编解码简介,影像方面：图像质量对比和评测,2,镜头,镜头的材质,镜头的重要光学参数,日用型、夜用型关键差别以及影响,红外补光灯简介,举例：1002使用的镜头和红外补光灯,3,镜头的材质,镜头的成像质量主要是由于材质、加工精度和镜片结构的不同等因素造成的。,镜头材质有许多种，包括萤石、ED玻璃、玻璃、塑料等。一般消费等级的数码产品应该很少有用到萤石，ED玻璃或玻璃就很够用了，而我们最常用的是塑料。,4,镜头基本概念,重要光学参数EFL,EFLEffective Focal Length（有效焦距，简称焦距）,指像方主点到焦点的距离。,摄像机镜头是视频监视系统的最关键设备，它的质量（指标）优劣直接影响摄像机的整机指标，因此，摄像机镜头的选择是否恰当既关系到系统质量，又关系到工程造价。,镜头相当于人眼的晶状体，如果没有晶状体，人眼看不到任何物体；如果没有镜头，那么摄像头所输出的图像就是白茫茫的一片，没有清晰的图像输出，这与我们家用摄像机和照相机的原理是一致的。当人眼的肌肉无法将晶状体拉伸至正常位置时，也就是人们常说的近视眼，眼前的景物就变得模糊不清；摄像头与镜头的配合也有类似现象，当图像变得不清楚时，可以调整摄像头的后焦点，改变sensor与镜头基准面的距离（相当于调整人眼晶状体的位置），可以将模糊的图像变得清晰。,5,镜头基本概念,重要光学参数FOV,FOV-Field Of View/View Angle（视场角）,指物方空间能够成像的角度范围（一般照相物镜为60度左右）,6,镜头基本概念,重要光学参数CRA（1）,CRAChief Ray Angle（主光角）,光线通过光学系统射到 Image Sensor 时，主光线的入射角称为主光角。,一般 Image Sensor 的有效画面末端（Maximum Image Height）的CRA比较重要。,CRA miss match 会造成 dark corner（主要）以及 color non-uniformity,7,镜头基本概念,重要光学参数CRA（2）,CRA不匹配造成dark corner图例,8,镜头基本概念,重要光学参数FNO（1）,FNOF数/F#（光圈数）,F1/相对孔径,FNO决定受衍射限制的最高分辨率,FNO决定像面照度,为了控制通过镜头的光通量大小，在镜头的后部均设置了光圈。假定光圈的有效孔径为d，由于光线折射的关系，镜光实际有效的有效孔径为D，比d 大，D与焦距f 之比定义为相对孔径A，即A=D/f，镜头的相对孔径决定被摄像的照度，像的照度与镜头的相对孔径的倒数来表示镜头光圈的大小。F 值越小，光圈越大，到达sensor的光通量就越大。所以在焦距f 相同的情况下，F 值越小，表示镜头越好。,镜头的通光量以镜头的焦距和通光孔径的比值来衡量，以F为标记，每个镜头上均标有其最大的F值，通光量与F值的平方成反比关系，F值越小，则光圈越大。,9,镜头基本概念,重要光学参数FNO（2）,不同F值的光圈示例,在曝光时间相同情况下，F越大，像面照度越低，照度与F的平方成反比,10,镜头基本概念,重要光学参数MTF（1）,MTFModulation Transfer Function（调制传递函数）,表征lens的成像质量的重要指标，MTF越大成像质量越好，图像越清晰。MTF随空间频率增大而减小。,MTF 曲线图 某空间频率下MTF与像质关系,MTF Value,像质,0.1以下,低劣,0.10.3,可分辨但像质差,0.30.5,一般,0.50.8,优良,0.8以上,卓越,11,镜头基本概念,重要光学参数MTF（2）,一种MTF test chart,12,镜头基本概念,畸变,Distortion畸变,不能正确的再现被摄物体的几何形状，往里凹或往外张开的现象称为 Distortion,畸变种类,畸变原因,不同的视场，因放大率不同而产生畸变。畸变只改变物体的形状，但不影响分辨率。,13,镜头基本概念,防反射膜,AR Coating:Anti-Reflection Coating（防反射膜）,Coating 的作用主要是最小化空气和媒质间的折射率差异，最小化各方向的反射，使光的透过率更好的技术，要求至少在90%以上，一般在可见光范围内的波长的透过率为97%以上。如果Coating不当，会造成透过率较低，这样像面照度就会减小，图像也就更暗。,14,日用型、夜用型差别以及影响,在不需要红外光补助的监控环境中，使用普通的日用型镜头，这是因为普通的日用型镜头带有IR filter，会隔绝某些波长的红外光。,在有红外光补助的监控环境中，需要使用红外镜头，红外镜头可以透过特定波长的红外光。,由于镜头对不同波长光线的折射率不同，故聚焦点的位置会有所差别,，,而白天室内可见光的波长和夜晚补光灯打开后的红外波长是不同的，这就是为什么白天调清晰了，夜视模糊，或者夜视调清晰了，白天模糊的原因。,我们使用的红外镜头在白天比较强烈的阳光下图像有偏色的现象也是因为受到阳光中红外波段的干扰。,15,红外LED补光灯简介,发射红外线控制的距离与发射功率成正比。为了增加红外线的控制距离，红外发光二极管工作于脉冲状态，因为脉动光（调制光）的有效传送距离与脉冲的峰值电流成正比，只需尽量提高峰值Ip，就能增加红外光的发射距离。提高Ip 的方法，是减小脉冲占空比，即压缩脉冲的宽度，减小占空比可使小功率红外发光二极管的发射距离大大增加。,16,举例：1002使用的镜头,17,举例：1002使用的红外LED,18,Sensor感光器件,目前V2、V3、V5采用的都是MI360,Array Format(4:3):640H x 480V(307,200 pixels),Pixel Size and Type:5.6 m x 5.6 m,Color Filter Array:R,G and B primary color filters,Optical Format:-inch,Frame Rate:max 30 frames/sec,Dynamic Range:45dB,max 60dB,Power Consumption:65 mW at maximum data rate,2.8V,Functional Temperature:-30 to+70,19,图像处理技术,颜色模型,对比度,锐度,噪声抑制,运动检测,20,颜色模型RGB,常用的颜色模型有三种，分别是RGB、YUV、HSV模型。,RGB模型,RGB是Red、Green和Blue的缩写，任意颜色都可以由红、绿、蓝这三种颜色不同比例混合后产生。这个模型主要用于电子显示屏的颜色显示。,RGB模型通常用三个八位或十六进制数来表示颜色，100%的红色、100%的绿色和100%蓝色混合，产生白色；0%的红色、0%的绿色和0%蓝色混合，产生黑色。,RGB是一个加色模型。光源的亮度、色度、纯度混合在R、G、B三个参数中。光源的亮度(lightless)L就应该表示为：,L=a*R+b*G+c*R,这里的系数a,b,c具体的值依赖于显示器所采用的标准，以NTSC视频信号标准，则三个系数依次为：0.299、0.587、0.144,21,颜色模型YUV,YUV颜色模型是仅次于RGB模型的使用最广泛的颜色模型。事实上YUV只是一类颜色模型(YCrCb)的总称，它是个很大的家族，具有相当多的存储格式，一般来说凡是基于YCrCb颜色模型的都可以称的上是YUV。Y代表了光源的亮度，色度信息也是组合在Cr、Cb中，其中Cr代表了光源中的红色分量，Cr代表了光源中的蓝色分量，因此它的变换公式是这样的：,人眼对于亮度的敏感程度大于对于色度的敏感程度，所以完全可以让相临的像素使用同一个色度值，而人眼的感觉不会起太大的变化，通过损失色度信息来达到节省存储空间的目的，这就是YUV的基本思想。基于此，我们可以定义出许多YUV的格式，例如相临两个像素使用一个色度值的YUYV，JPEG/MPEG中相临四个像素使用一个色度值的YUV420等等。,22,颜色模型HSV（1）,H指的是Hue（色调），它是“颜色”的同义词。,S指的是Saturation（饱和度），它指的是颜色的纯度，即颜色中含有灰色（gray）的程度。饱和度越高，颜色越纯；饱和度越低，颜色中灰色成分越大。任何颜色，饱和度变成最小值时，都会变成灰色。,V指的是Value，即颜色中白色的成分。这个值越大，颜色就越白越亮，这个值最小，颜色就越黑越暗。最大值时，所有颜色都变成白色，最小值时，所有颜色都变成黑色。,23,颜色模型HSV（2）,HSV模型是通过调节这三个值来标识颜色。它通常是一个color wheel的形式，所有边缘的颜色都是饱和度最高的颜色，越向圆心饱和度越小。Hue通过角度值选取，另有一个亮度轴，来选取Value值。,24,HSV模型,上图，从左往右，自上而下的顺序，每副图是上一副图Hue旋转60度而得,25,对比度,是黑与白的比值，也就是从黑到白的渐变层次。比值越大，从黑到白的渐变层次就越多，从而色彩表现越丰富。对比度对视觉效果的影响非常关键，一般来说对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助。相对而言，在色彩层次方面，高对比度对图像的影响并不明显。对比度对于动态视频显示效果影响要更大一些，由于动态图像中明暗转换比较快，对比度越高，人的眼睛越容易分辨出这样的转换过程。增强对比度往往通过增加图像中某两个灰度值之间的动态范围来实现。,常用的对比度增强方法：,灰度变换,直方图调整,26,对比度实例,27,锐度,目的为了增强被模糊的细节；消除或减弱傅立叶空间的低频分量，保持图像中的高频分量。因为图像中，低频分量对应图像中灰度值变化比较缓慢的区域，高频分量对应区域边缘等灰度值具有较大较快变化的部分。,常用线形锐化滤波器实现，滤波器中心系数为正周围系数为负。,28,锐度实例（1）,29,锐度实例（2）,30,噪声抑制,噪声模型,噪声一般是高频分量,帧内去噪,空间域低通滤波,帧间去噪,空间域+时间域低通滤波,31,V3中的运动检测,从视频码流中提取有用信息进行检测，并实时捕获当前帧画面,检测灵敏度分5级，以应对室内外各种不同环境,通过调节灵敏度，可以控制虚警情况的发生,光照不太理想的黑暗环境下，由于噪声较大，会导致虚警发生,若运动过于缓慢，运动信息不够强，会造成漏报,与大华终端对比测试(正在进行)：,环境较暗时（白天实验室关灯），,V3,还能正常判断，大华无反应,胳膊伸展运动，,V3,可以检测，大华无法检测,如果天黑以后，,V3,会不停报虚警，大华无反应,如果只露一个人头在动，,V3,无法检测，大华可以检测,32,图像、视频压缩技术,JPEG and Motion JPEG,MPEG-4,H.264,33,JPEG and Motion JPEG,国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。,JPEG是常用的基于离散余弦变换(DCT)的编码方法。,图像分割成8x8的像素块作为基本处理单元；,基于DCT的有损编码基本系统；,用于高压缩比、高精确度或渐进重建应用的扩展编码系统；,对静止图像压缩率可达25:1；,MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是