资源描述
课程要求v36学时v10-18周vAttendence:10%vDiscussion:10%vPresentation:30%vThemePapers:50%FreeTalk&DiscussvWhatisVideo?vWhatcanwedowithvideos?v参考书v教材：视频处理与通信，YaoWang等，电子工业出版社。v英文版：VideoProcessingandCommunications.v其他参考书：通信中的视频信号处理，郑宝龙等，电子工业出版社。数字视频处理，黎洪松，北京邮电大学出版社。压缩视频通信，A.H.萨达卡课程内容v视频技术概述第第1 1章：视频的形成、感觉和表示章：视频的形成、感觉和表示第第2 2章：视频信号的傅立叶分析和人类视觉系统章：视频信号的傅立叶分析和人类视觉系统的频率响应的频率响应第第5 5章：视频模型章：视频模型第第6 6章：二维运动估计章：二维运动估计v视频编码第8章：视频编码基础第9章：基于波形的视频编码第10章：基于内容的视频编码第11章：可分级视频编码v视频通信第13章：视频压缩标准第14章：视频通信中的差错控制我们目前的工作v小波编码小波编码(图像图像&视频视频)v多描述视频编码多描述视频编码v精细可分级（细粒度可分级）视频编码精细可分级（细粒度可分级）视频编码v拥塞检测与拥塞控制拥塞检测与拥塞控制vInternetInternet流视频的信源流视频的信源信道联合编码信道联合编码v基于对象的视频编码基于对象的视频编码v人脸检测、人脸识别人脸检测、人脸识别v视频监控等视频监控等第1章视频形成，感知和表示 1.1彩色感觉和规定光和彩色人的彩色感觉三基色彩色混合理论三基色表示亮度和色度表示彩色坐标变换光是一种电磁波光的能量：光的能量：用光通量测量，单位：瓦特，是能 量发射的速率光的亮度：光的亮度：瓦特/立体角。照明与反射光源v照明光源照明光源:发光(如：太阳，灯泡，电视屏)可见的颜色取决于发射频率服从相加规律vR+G+B=Whitev反射光源:反射入射光(例：染料，衣服)可见的颜色取决于反射频率(emittedfreq=notabsorbedfreq.)服从相减规律vR+G+B=Black眼睛生理解剖虹膜瞳孔巩膜巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜照相机与人眼睛的比较照相机照相机眼睛眼睛透镜透镜角膜角膜快门快门虹膜，瞳孔虹膜，瞳孔底片、底片、CCD视网膜视网膜传输电缆传输电缆视神经视神经巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜1.1.2人类的彩色感觉v视网膜的感光细胞锥状细胞(Cones)：亮光下(白天)：可感受彩色色调v分为3个主要的感觉类别：红绿蓝。65%红，33%绿，2%蓝（但蓝锥状细胞对蓝光更敏感）v不同的锥状细胞有不同的频率响应特性v人类的彩色感觉的三感光原理杆状细胞(Rods)：弱光下(夜晚)：只能感受到亮度v人眼的彩色感觉属性：亮度(Luminance/brightness)色度(Chrominance)：由光的波长成分决定v色调(Hue/colortone)：色度v饱和度(Saturation/colorpurity)：纯度锥状细胞的频率响应特性 三种类型的感光细胞组合cr,cg,cb，可使人类感知任何彩色。锥状细胞的频率响应和亮度效率特性 同样大小的能量在不同波长会产生不同的亮度感觉。绿色波长对亮度感觉贡献最大。色调表示（色轮）1.1.3彩色混合的三基色原理v发光源的三基色：红绿蓝(Red,Green,Blue/RGB)彩色监视器通过不同的电子枪轰击红绿兰磷光粉发出三种光v反射光源的三基色：青紫黄彩色打印机采用青紫黄黑四种油墨4彩色混合的三基色原理任意颜色可通过三种基本颜色按适当比例混合产生RGBvsCMY彩色表示方法v给出三色激励值以及相应的三基色系统RGBCMYv给出亮度与色度HSI(Hue,saturation,intensity)YIQ(用于NTSC彩色电视系统)YCbCr（YUV）(用于PAL彩色电视系统)v给出各象素点的值:每种彩色分量8位，一个象素点24位可表示16000000种颜色存储1幅1Kx1KRGB彩色图片需要约3MB内存HSI表示法彩色坐标变换v两种三基色系统间的坐标变换是线性的(变换矩阵为3x3矩阵)v基色系统与YIQ/YUV彩色系统间的坐标变换也是线性的Y=0.299*R+0.587*G+0.114*BCb=-0.169*R-0.331*G+0.500*BCr=0.500*R-0.419*G-0.081*Bv基色系统与HSI/Lab间的变换是非线性的（a:正红，负绿，b:正黄，负蓝）v多种彩色空间（Search）1.2视频的捕捉与显示1.2.1彩色视频成像原理v对自然图像，需要有一个光源，设波长为单点入设光强：E(x,y,z,)其中(x,y,z）为该点的世界坐标v反射函数r(x,y,z,)v从一点反射到照相机到光：c(x,y,z,)=E(x,y,z,)r(x,y,z,)1.2.1彩色视频成像原理（cnt.）v照相机接收到的光强：必须考虑照相机的吸收系数ac()相当于人类的相对亮度效率函数可视为从3D到2D的投影：v这种投影是非线性的，通常有两种形式：透视投影(Perspectiveprojection)平行投影(Parallelprojection)透视投影模型倒立实像倒立实像1.2.2视频捕捉v要有3个传感器v高档的数字相机通常含有复杂的数字信号处理1.2.3视频显示v两类显示设备：CRT（阴极射线管）：电子枪向屏幕发射电子束以激励荧光粉，其强度正比于在相应位置的视频信号强度。LCD（液晶显示器）：通过施加电场改变光学特性进而改变液晶的亮度或彩色。v都是RGB发光器件1.2.4复合视频和分量视频v分量视频：三种颜色分量分别存储和传输运用RGB或YIQ(YUV)彩色坐标新的数字视频格式(YCrCb)Betacam(专业的磁带录音机)运用的就是这种格式v合成视频将RGB转换成YIQ(YUV)将YIQ多路复用到单一信号中运用于大多数的模拟视频设备vS-video（二分量视频）分别存储Y和C(QAMofIandQ)分量运用于专业视频设备v高端显示器可以获得以上三种视频1.2.5伽玛校正v摄像机摄取的视频反映了成像景物的彩色值。v事实上，多数摄像机输出的信号与实际的彩色值成非线性关系非线性关系，用伽玛系数来表示。v为了呈现真实的彩色，要分别在摄像机输出和显示器输入端进行“伽玛校正”。1.3模拟视频v视频光栅v逐行与隔行扫描v模拟电视系统扫描光栅v现实世界的场景都是连续的3-D 信号(时间，水平和垂直位置)模拟视频v模拟视频存放方式：光栅。形成：时间采样产生一个连续的图象序列v为了较好地描述运动，要求：帧速=30 帧/s垂直扫描形成光栅：用一序列扫描线表示一帧图象v扫描线数取决于最大垂直频率和观察距离。NTSC系统的扫描线数为525线模拟视频光栅=用连续帧的扫描线产生的1-D 信号两种扫描方式：逐行扫描与隔行扫描逐行扫描隔行扫描水平回扫第1场第2场垂直回扫隔行扫描的作用：在给定的数据传输速率的条件下，对时间与垂直分辨率进行平衡。牺牲垂直分辨率来提高时间分辨率。1.4模拟彩色电视系统彩色电视广播与接收为什么不直接用RGB进行传输?vR,G,B分量有相关性，直接传送R,G,B分量冗余度大，不能有效利用带宽vRGB变换到YC1C2的好处去相关:Y,C1,C2是非相关的C1与C2需要较窄的带宽Y(亮度)分量可作为黑白电视广播vNTSC的YIQI:橙(orange)到青(cyan)Q:绿(green)到紫(purple)v人眼对Q分量较不敏感，可以进一步压缩带宽相位=Arctan(Q/I)=色调,幅度=(I2+Q2)=饱和度色调比饱和度有更高的精度RGB与YIQ间的变换亮度信号与色度信号的合成v色度信号比亮度信号频带宽度窄，而且人眼对频率较高的颜色较不敏感vvI与Q分量用QAM调制到同一个子(彩色)载波上v调制后的色度谱位于亮度谱的高端v色度谱的峰值与亮度谱的峰值相间fc=455fl/2亮度、色度和伴音的合成频谱正交幅度调制(QAM)v把两路信号调制到两个同频率、相位差为90o度的载波上v为了正确解调，要求有载波同步信号。措施：增加色同步脉冲增加色同步脉冲复合视频的合成亮度/色度分离v低档电视接收机通常采用截止频率为3MHz的低通滤波器分离亮度和色度信号。缺点：I分量的高频成分(2to3Mhz)还存在亮度信号中。提取的色度分量包含亮度的高频分量(fc附近的亮度能量不可忽略)结果：彩色失真v措施：利用两个信号中谐波频率交错的优点，采用梳状滤波器滤除色度分量的相应谐波以提高图象质量电视接收机的亮度、色度分量电路的典型框图黑白电视机能看到什么v黑白电视接收机采用截止频率为4.2MHz的LPF抽取复合视频信号(亮度调制到fc=3.58MHz的I、Q信号)相对人眼来说，调制的色度信号频率很高(227.5周/行)，因此多数彩色信号会被眼睛滤除，但还可能产生失真实际黑白电视接收机的LPF过渡带较宽，在fc处已有较大的衰减，输出很小，因此彩色信号引起的失真不大。彩色电视广播与接收3种不同的彩色电视制式比较电视制式NTSCPALSECAM场率(Hz)59.95(60)5050每帧行数525625625行速率(Line/s)15,750 15,62515,625采用的彩色坐标YIQYUVYDbDr亮度带宽(MHz)4.25.0/5.56.0色度带宽(MHz)1.5(I)/0.5(Q)1.3(U,V)1.0(U,V)色副载波(MHz)3.584.434.25(Db),4.41(Dr)色度调制方式QAMQAMFM语音载波4.55.5/6.06.5总带宽(MHz)6.07.0/8.08.0三种制式使用分布1.5数字视频1.对模拟视频光栅进行采样/量化即可获得数字视频BT.601视频格式2.其他数字视频格式及其应用1.5.1符号帧帧率率行数行数每行的样点数每行的样点数时间采样间隔（帧间隔）时间采样间隔（帧间隔）垂直采样间隔垂直采样间隔水平采样间隔水平采样间隔一个像素值的比特数一个像素值的比特数数字视频的码率（比特数字视频的码率（比特/秒秒bps）色度亚采样格式1.5.3数字视频格式VideoFormatY尺寸 彩色采样帧率原码率(Mbps)地面、有线及卫星HDTV,MPEG2视频,20-45MbpsSMPTE296M1280 x7204:2:024P/30P/60P265/332/664SMPTE295M1920 x10804:2:024P/30P/60I597/746/746视频制作,MPEG2,15-50MbpsBT.601720 x480/5764:4:460I/50I249BT.601720 x480/5764:2:260I/50I166高质量视频(DVD,SDTV),MPEG2,4-10MbpsBT.601720 x480/5764:2:060I/50I124中质量视频MPEG1,1.5MbpsSIF352x240/2884:2:030P/25P30ISDN/Internet视频会议,H.261/H.263,128-384KbpsCIF352x2884:2:030P37有线/无线调制解调可视电话,H.263,20-64KbpsQCIF176x1444:2:030P9.11.5.4数字视频录像v数字视频磁带录像机（DVTR）vVCD：VideoCompactDiscvDVD：DigitalVideoDisc1.5.5视频质量的测量v均方误差最小化：v峰值信噪比：v平均绝对误差：1.6小结v彩色的产生、感觉和规定彩色的产生、感觉和规定v模拟视频模拟视频v模拟彩色电视系统模拟彩色电视系统v数字视频数字视频v习题：习题：1.5，1.6，1.7，1.8，1.9，1.10，1.11
展开阅读全文