CMOS图像传感器

单击此处编辑母版标题样式,单击此处编辑母版标题样式,*,CMOS图像传感器的结构,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,CMOS工艺,CMOS:,Complementary Metal Oxide Semiconductor,互补金属氧化物半导体,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,CMOS介绍,CMOS图像传感器是利用CMOS工艺制造的图像传感器，主要利用了半导体的光电效应。和CCD的原理相同。,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,CMOS和CCD,区别：,灵敏度差异,成本差异,分辨率差异,噪声差异,功耗差异,CMOS和CCD,CMOS：CCD：,低成本灵敏度,低功耗分辨率,高整合度噪声控制,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,CMOS结构,1. 像素矩阵,2. 模拟信号处理单元,3. 数字信号处理单元,4. 内嵌微控制器,5. 寄存器控制接口,6. 数据输出端口,7. JPEG压缩(可选),CMOS结构,以OmniVision公司的OV7670为例：,像素矩阵,像素：内嵌放大器,Bayer Filter Pattern,模拟信号处理单元,AWC：自动白平衡控制,AGC：自动增益控制,ADC：模拟到数字的转换,数字信号处理单元,边缘增强,颜色空间转换(RGB-YUV),减少颜色串扰,色调和饱和度控制,白/黑像素校正,抗噪声,镜头阴影校正,伽马校正,内嵌微控制器,内嵌的MCU根据相应的寄存器值，自动完成上述的模拟和数字转换功能，只需要外部提供时钟和电源即可。,寄存器控制接口,OV:SCCB(串行相机控制总线),Micron:两线串行接口,包括时钟线和数据线，类似于I2C，有专门的控制协议，完成对CMOS中寄存器的读操作和写操作,数据输出端口,并口方式,包括数据线和数据同步线(帧同步，行同步，像素时钟),串口方式,包括数据读取线(时钟和数据)和数据写入线(时钟和数据),CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,JPEG压缩,JPEG全名是Joint Photographic Expert Group，是由国际标准组织(ISO)和国际电话电报咨询委员会所(CCITT)建立的一种数字影像压缩标准。完成于1992年，适用于一般连续色调、多级灰阶、彩色或黑白静止图像压缩，且在医学上应用广泛。,JPEG压缩,JPEG定义了两种算法：,1.基于DCT的有失真压缩算法,包括基本系统(Baseline)和扩展系统,2.基于DPCM的无失真压缩算法,JPEG压缩,JPEG压缩,1.色彩空间转换(RGB-YUV),2.离散余弦变换(DCT),3.量化,4.Z字型编码,5.差分脉冲编码(DPCM),6.游程长度编码(RLE),7.熵编码,JPEG第一步：色彩空间转换,RGB是最常见的色彩空间，R,、G、B三原色合成其他的颜色,YUV是一种基本色彩空间，被PAL，NSTC和SECAM用于复合色彩视频标准。,Y表示亮度(灰度值)，U、V表示色调，描述图像色彩及饱和度的属性。,YCbCr其实是YUV经过缩放和偏移的改动版，应用于JPEG、MPEG。,Y表示亮度，Cr、Cb表示色彩，和UV表示不同。,JPEG第一步：色彩空间转换,亮度Y和色彩UV,人眼对亮度改变的敏感性远比对色彩变化大很多，因此Y分量要比UV分量重要得多,YUV通常的格式：,YUV4:4:4 4:2:2 4:2:0 4:1:1,JPEG第一步：色彩空间转换,RGB和YUV色彩空间的转换：,JPEG第二步：DCT,DCT把图像数据从空间域的波形数据转换成频率域的一组系数，为频域对图像做处理做好准备,变换的基本单位是8x8系数组成的方块,DCT是无损变换，只要变化的计算精度足够高，那么原始像素经过IDCT精确恢复,JPEG第二步：DCT,二维DCT变换的数学公式：,公式中：,JPEG第二步：DCT,8x8原始数据：,JPEG第二步：DCT,DCT变换后：,JPEG第二步：DCT,二维DCT变换的逆变换公式：,公式中：,JPEG第二步：DCT,DCT反变换后：,JPEG第三步：量化,量化是指在不引起明显视觉效果失真的前提下，对图像数据实行部分抛弃(主要是AC部分)，实现数据的大幅减少,所以，量化是,图像质量下降,的最重要原因,JPEG第三步：量化,JPEG标准采用线性均匀量化器：,对64个DCT变换系数，除以对应的量化步长，然后四舍五入取整。公式如下：,其中，,Y(u,v),表示DCT变换系数,S(u,v),表示量化步长,JPEG第三步：量化,由于人眼对亮度的敏感度比对色差信号更高，所以采用两种量化表。,标准,亮度,量化表 标准,色差,量化表,JPEG第四步： Z字型编码,量化后的系数含有大量的零值系数，位增加连续零值的个数，需按Z字型编码,JPEG第五步：差分脉冲编码,经过DCT变换之后，DC系数的特点：,1.数值比较大，,2.相邻的8x8系数值相差不大,所以采用,差分脉冲编码调制,(DPCM)对量化DC系数进行编码,JPEG第六步：游程长度编码,经过Z字型编码后，AC系数的特点,1.含有很多0值系数,2.很多0值都是连续的,采用,游程长度编码,(RLE)对AC系数进行编码,方法：使用1个字节的高4位表示连续0的个数，,使用低4位表示下一个非0系数所需要的位数,JPEG第七步：熵编码,对DC和AC系数分别采用不同的编码后，进一步采用Huffman编码减少熵，进一步压缩,优点：对出现频率比较高的符号分配短的码字，对出现频率比较低的符号分配比较长的码字。码表可以事先定义,JPEG第七步：熵编码,Huffman编码步骤：,1.统计每个符号出现的频率,2.按从小到大的规律把上述频率进行排序,3.对出现频率最小的两个值分别制定为0和1然后将这两个频率相加，再次排序,4.得到Huffman树，就可以得到Huffman表,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,主要CMOS厂商,Micron(Aptina Imaging),OmniVision,Agilent,Sony,Photobit,CMOS图像传感器,CMOS工艺,CMOS传感器介绍,CMOS和CCD,CMOS的结构,JPEG压缩,主要CMOS厂商,CMOS中的图像处理,CMOS中的图像处理,AWB：自动白平衡,AE：自动曝光,AF：自动对焦,AS：防颤抖,镜头阴影校正,图像噪点校正,颜色校正,孔径校正,伽马校正,