多媒体-胡晓峰版

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,多媒体技术应用,E=mc,2,A=X+Y+Z,燕山大学信息科学与工程学院计算机科学与技术系 唐 勇,Email:,Tangyong,ysu,.,edu,.,cn,9/21/2024,1,参考文献：,多媒体技术及应用,.,(,美,) Tay Vaughan,著,.,清华大学出版社,. 2008,多媒体技术,.,第,2,版,.,吴玲达,.,电子工业出版社,. 2007,多媒体计算机与虚拟现实技术,.,钟玉琢,.,清华大学出版社,. 2009,多媒体技术基础,.,黄荣怀，陈莉，李松,.,高等教育出版社,. 2008【,美,】,Jerry.Gibson.,多媒体数字压缩原理与标准,.,电子工业出版社,.2000,9/21/2024,2,参考文献：,虚拟现实系统,.,张茂军,.,科学出版社,.2001,虚拟现实基础及实用算法,.,石教英,.,科学出版社,.2002,虚拟现实技术,.,申蔚,曾文琪,.,清华大学出版社,. 2009,灵境技术的理论,.,现实及应用,.,汪成为,.,清华大学出版社,.1996.9,虚拟现实技术,.,(,美,) Grigore C. Burdea, (,法,) Philippe Coiffet,著,.,电子工业出版社,. 2005,虚拟现实技术与艺术,.,李勋祥,.,武汉工业大学出版社,. 2007,9/21/2024,3,First of All,1.介绍背景,2.课程的层次(偏理论),3.课程的重要性和实用性,4.如何学好该课程,5.对该课程的设想(教学形式 手段 交互方式),6.我的认识,9/21/2024,4,多媒体技术的基本概念,多媒体技术的发展历程,多媒体技术的研究内容,第一节 多媒体的基本概念,1 媒体与多媒体 媒体（感觉,表示,显示,存储,传输）；,多媒体技术的定义；多媒体的技术组成：计算机、电视、广播通信、印刷、心理学、行为科学,2 多媒体的关键特性 信息载体的多样性、交互性、集成性,第一章 概 论,9/21/2024,5,第二节 多媒体技术的产生和发展,（科学技术的发展来源于人性的原始欲望，生产力的时代性）,1 多媒体是技术和应用发展的必然,2 多媒体改善了人类信息的交流：在计算机描绘的世界中找寻现实世界的感受,3 多媒体缩短了人类传递信息的路径：让神话和梦想成为现实，接近人类的想象世界,第一章 概 论,9/21/2024,6,第三节 多媒体技术研究的主要内容,（多媒体技术、多媒体系统；分类技巧）,1 多媒体技术的基础 媒体的性质和相应的处理方法；数据压缩技术 （媒体的基本特性、媒体数据压缩编码基本方法2章）,2 多媒体软硬件平台 （多媒体硬件环境、多媒体软件基础2章）,3 多媒体操作系统技术 （媒体的时间关系、多媒体操作系统2章）,第一章 概 论,9/21/2024,7,4 多媒体信息管理技术 （超媒体与,WEB,系统、多媒体数据库与基于内容检索2章）,5 多媒体通信与分布应用技术 （多媒体通信与网络、分布式多媒体应用系统2章）,学习的历程、规划知识树的历程、认识世界和自己的历程,是一段充满苦和乐、喜与忧的历程,祝大家体会到学习的快乐,第一章 概 论,9/21/2024,8,第一节 媒体的之类和特点,1 常见的媒体元素 文本（,Text) 、,图形（,Graphic）、,图象（,Image）、,视频（,Video）、,音频（,Audio）、,动画（,Animation）,含义，基本内容，基本概念，主要技术，技术参数,2 媒体的种类 视觉类媒体、听觉类媒体、触觉类媒体,3 媒体的性质和特点,四种性质：格式、表达方式和程度、相互转换、相互关系,第二章 媒体与媒体技术,9/21/2024,9,重新审视人类信息获取机能,试图用抽象的方法揭示信息感知模型,构划出多媒体技术的生理和理论基础,9/21/2024,10,空间性质：表现空间、空间结构（关系）；视觉空间、听觉空间、触觉空间（获取和再现）,时间性质：表现时间、时间结构（关系）；周期、非周期；同步、实时,媒体的语义：二进制位流 、抽象层次不同语义的重点不同,媒体结合的影响：被理解程度（视觉83、听觉11、触觉3、其余4）；记忆驻留效果（谈话 2小时后70，72小时后10；观看 2小时后72，72小时后20；视听并举 2小时后85，72小时后65）感觉相乘效应,隐喻（,metaphor）:,与多媒体系统交互的概念模型（心智模型）隐喻技术虚拟现实空间。,第二章 媒体与媒体技术,9/21/2024,11,第2节 听觉媒体技术 心理学、数字化和符号化、三维处理,1 声音心理学,声音的量纲：波：频率、振幅、相位,声强：分贝两个波峰幅度,A,和,B,之比,dB=20log,10,9(A/B),声音与参照声之间的差指就是它的分贝数,0,dB=2.83X10,-4,dyn,(,达因)/,cm,2,痛苦限为100120,dB,心理上（响度、音调） 他们和强度与频率的关系（3点）,见表2。1,听觉曲线、掩蔽、临界频带、相位、自然声音的识辨现象、听觉空间、听觉的频谱特性、声音的心理模拟,第二章 媒体与媒体技术,9/21/2024,12,2 音频的数字化和符号化,音频信号的处理3点：人机、机人、人机人,两个方向：采样和处理（压缩、符号化）；再现,奈奎斯特采样定理：只要采样频率高于信号中最高频率的2倍，就可以从采样中完全恢复原始信号的波形。,20,HZ20kHZ 11.025kHZ 22.05kHZ 44.1kHZ,PCM(Pulse Code Modulation,脉冲编码调制）,声音的数据量（采样频率,X,量化精度,X,声道数）/8(,Byte/s),数字音频文件格式表2。2,声音的符号化,MIDI(Musical Instrument Digital Interface),适合的情况,第二章 媒体与媒体技术,9/21/2024,13,3 音频媒体的三维化处理,三维虚拟声音空间(,Three Dimensional Virtual Acoustic,3DVA),达到的5个目标,3,DVA,的基本理论,HRTF,方法（双耳相关函数法）（,Head-Related Transfer Function,与头部有关的转移函数）,NASA Ames,研究中心音响实验室,第二章 媒体与媒体技术,9/21/2024,14,第三节 视觉媒体技术,1 视觉心理学,心理特征：心理变量和物理变量的关系表2。3,视觉特性：亮度、时间特性、彩色、注视点和视野范围,2 模拟视频原理,宽高比 4：3 16：9,制式：,PAL NTSC SECAM,彩色空间：,RGB YUV YIQ,3,视觉媒体数字化,位图图象与数字视频,第二章 媒体与媒体技术,9/21/2024,15,图形 与图象的关系,符号与文字,数字视觉媒体文件格式表2。4,4 视觉媒体的三维立体显示,立体显示原理 视差（零视差、正视差、负视差、发散视差）,立体图象的产生（旋转法、投影变换法）、显示（2种方法：交替显示、分别显示）,第二章 媒体与媒体技术,9/21/2024,16,第四节 触觉媒体技术,1 概述 环境媒体 位置跟踪、力量反馈,2 简单指点设备与技术（任务5项、指点设备）,3 位置跟踪（手指动作测量和数字化、空间位置跟踪）,超声波发射器、六自由度,4 力反馈（例子）、触觉反馈（数据手套）、热觉反馈,逼真和危险,第二章 媒体与媒体技术,9/21/2024,17,知识点,1 数据压缩的基本原理和方法,2 音频压缩编码的基本方法,3 各种音频压缩标准,4 图象和视频压缩编码的基本方法,5 静止图像压缩标准,6 视频压缩标准,第三章 多媒体数据压缩,9/21/2024,18,第一节 数据压缩的基本原理和方法,数字化后数据量太大；数据的冗余大,1 数据压缩技术的性能指标：压缩比（压缩比特流中每个象素所需的比特数,bpp,(bits per pixel)、,图像质量(有损、无损 尺度评分法项目）,、,压缩和解压速度（视频有帧速）,2 数据冗余的类型与压缩方法分类,空间、时间、信息熵（比特分配不能达到最佳引起的）、视觉、听觉和其他,失真、不失真；预测、变换、统计、分析合成、混合和其他,各有优缺点,第三章 多媒体数据压缩,9/21/2024,19,3 常用数据压缩方法的基本原理,统计编码（行程编码（,Run Length Coding)、LZW,编码、霍夫曼编码、算术编码）,预测编码（,DPCM,差分脉冲调制编码、,ADPCM,自适应差分脉冲调制编码）,变换编码（最佳变换,K-L,变换、离散余弦变换,DCT）：,变换、变换域采样、量化,分析合成编码（量化、小波变换、分形图象、子带）：通过对原数据的分析，将其分解成一系列更适合于表示的“基元”或从中提取若干具有更本质意义的参数，编码仅对这些基本单元或特征参数进行；译码则借助于一定的规则或模型，按照一定的算法将这些基元或参数再综合成原数据的逼近。,第三章 多媒体数据压缩,9/21/2024,20,霍夫曼编码,霍夫曼,(Huffman),在,1952,年提出了另一种编码方法，即从下到上的编码方法。初始化，根据符号概率的大小按由大到小顺序对符号进行排序。,符号 出现的次数,(P,i,) log,2,(1/p,i,),分配的代码 需要的位数,A,15(0.3846) 1.38 0 15,B,7(0.1795) 2.48 100 21,C,6(0.1538) 2.70 101 18,D,6(0.1538) 2.70 110 18,E,5(0.1282) 2.96 111 15,*,把概率最小的两个符号组成一个节点,P1,。,*,重复步骤,2,，得到节点,P,2,、,P,3,和,P,4,，,形成一棵“树”，其中的,P,4,称为根节点。,第三章 多媒体数据压缩,9/21/2024,21,按照仙农理论，这幅图像的熵为:,H（S）=(15/39) log,2,(39/15) + (7/39) log,2,(39/7) + (7/39) log,2,(39/7) + (6/39) log,2,(39/6) + (5/39) log,2,(39/5) = 2.1859,第三章 多媒体数据压缩,9/21/2024,22,0,1,A,B,C,0,1,1,0,D,E,0,1,N=1*,0.3846+3*( 0.1795+ 0.1538+ 0.1538+ 0.1282)=2.2305,H=2.1859,对上例总结如下：,（1）,NH,（2）,保证解码的唯一性，短码不构成长码的前缀,（3）在接收端保存一个与发送端相同的霍夫曼码表,第三章 多媒体数据压缩,9/21/2024,23,第二节 音频的压缩,语音300,HZ3.4kHZ；,调幅广播50,HZ7kHZ ；,高保真度音频10,HZ20kHZ,1,音频压缩编码的基本方法 如图3.1,2 电话质量语音压缩标准（采样、量化、编码、比特率、标准）,G.711 G.721 G.723 G.728,表3。2,3 调幅广播质量的音频压缩标准,G.722,4,高保真立体声音频压缩标准,MPEG,音频 编码器原理图3。2,第三章 多媒体数据压缩,9/21/2024,24,第三节 图象和视频的压缩,1,基本方法 如图3.3 彩色空间的转换（电视卡、全频道）,2 静止图像压缩标准,ISO,的,JPEG、JBIG;ITU-T,的,G3、G4,JPEG:,无损预测编码算法、基于,DCT,的有损编码算法（6步）、基于,DCT,的增强系统（2种累进操作方式）、基于,DCT,的分层操作方式（编码过程5步）,JPEG2000:6,部分主要内容、算法（离散余弦变换算法,DCT、,离散小波变换算法,DWT）、,特点（高压缩率、无损压缩、渐进传输、感兴趣区域压缩、色彩模式、图像处理简单）,第三章 多媒体数据压缩,9/21/2024,25,3,视频压缩标准,MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21,；,H.261 H.263,；,运动,JPEG,MPEG-1:,目标、内容、压缩技术（基于,16X16,子块的运动补偿，减少帧序列的时域冗余、基于,DCT,的压缩技术减少空间冗余）,内码帧（,I,）,预测帧（,P,）,插补帧（,B,）,D,帧及其编码,时间冗余量的减少：运动补偿预测法、运动补偿插补法,空域冗余量的减少：变换编码技术、矢量量化技术,MPEG,的分层结构和位流,6,个层次（块层、宏块层、宏块片层、图像层、图像组层、图像序列层）,基本要求,第三章 多媒体数据压缩,9/21/2024,26,MPEG-2,：,目标、内容（,MPEG-2,系统（,5,项基本功能）、,MPEG-2,视频（多需求、特色（框架和级别、压缩编码的数据结构、比特流的语义规则）层次要求,MPEG-4,：以,内容为中心的描述方法，视频对象,VO(Video Object),音频对象,AO(Audio Object),内容要求,基于内容的视频编码（,3,步）,基于,VOP,的编码（形状编码、运动估计和运动补偿、纹理编码、分级扩展编码）,MPEG-7,：,内容描述接口的编码方案（描述原则、多媒体特征类型、视觉数据的描述、听觉数据的描述）网络要求,MPEG-21,：将,标准集成起来支持和谐的技术以管理多媒体商务,欲望要求,第三章 多媒体数据压缩,9/21/2024,27,光,存储,音频接口,视频接口,多媒体,I/O,设备,多媒体计算机,透过硬件看科学、,技术的发展,第四章 多媒体硬件环境,9/21/2024,28,第一节 光存储设备,20多年了，光学、微电子技术、光电子技术及材料科学的发展光学存储技术,优点：存储容量大、工作稳定、密度高、寿命长、介质可换、便于携带、价格低廉,系统组成：光盘驱动器、光盘盘片,工作过程：,1 光存储的类型：只读型、一次写、可重写型（各自的含义）,2 光存储系统的技术指标：尺寸（12英寸、 4.72英寸、 14.12英寸、 5.25英寸、 3.5英寸、容量（格式化容量、用户容量）、,第四章 多媒体硬件环境,9/21/2024,29,试图在知识的海洋中找到一条航线，通向大家兴趣的顶点,硬件产业的游戏规则,我国工业基础的差距,体会各种科学分支是多么的亲近,9/21/2024,30,平均存取时间 平均寻道时间 平均等待时间、数据传输率（数据传输率、同步传输率 异步传输率,DMA,传输率、突发传输率、持续传输率）、误码率、平均无故障时间,3 光存储格式标准和类型 （数据格式、编码方法、物理尺寸、,CD,技术） 如表4.1,4,CD-ROM,光存储系统：盘片物理层次（漆膜保护层、反射铝层、聚碳酸酯基层）；驱动器构造（光头、聚焦伺服、道跟踪伺服、,CLV,伺服、,EFM,解调、错误检测和校正处理）,第四章 多媒体硬件环境,9/21/2024,31,5,CD-R,光存储系统：1991.11,Philips(Compact Disc,Recordable,)、,一次写多次读的可刻录光盘系统 盘片物理层次（漆膜保护层、反射金层、染料记录层、聚碳酸酯基层）；刻录和读取原理（激光照射产生热量将有机染料烧熔并使其变成光痕）,6 磁光（,MO),存储系统： 盘片物理层次（氮化硅保护层、铝合金反射层、记录层铁钴合金、树脂基层）；刻录和读取原理（300度居里点）,7 相变（,PD),光存储系统：相变式可重复檫写光盘驱动器（,Phase Change,Rewritable,Optical Disk Drive,PD),最引人注意，松下电气产业1995最早 被,CD-RW,和,DVD-RAM,冲击 盘片物理层次（电介质层、相变记录层、冷却层、保护层、树脂基层）；刻录和读取原理（600度 400度 晶体和非晶体两种状态）,CD-RW,第四章 多媒体硬件环境,9/21/2024,32,8,DVD,光存储系统：利用,MPEG2,的压缩技术来储存影像 规格及他们的功能介绍（,DVD-ROM DVD-Video DVD-Audio DVD-R DVD-RAM)、,盘片物理结构（单面单层、单面双层、双面单层、双面双层）,9 光盘库系统 图4.4,第四章 多媒体硬件环境,9/21/2024,33,第二节 音频接口,1 音频卡的工作原理(3种媒体：数字化声音（,Wave),合成音乐（,MIDI),CD,音频）,录制和播放：7项技术指标,p88,编辑与合成：声音特效（倒播、增加回音、静噪、淡入和淡出、往返放音、交换声道、声音移位）,MIDI,接口与音乐合成,文语转换和语音识别,游戏接口,CD-ROM,驱动器接口,支持全双工功能：同时录音和放音,第四章 多媒体硬件环境,9/21/2024,34,音频卡的体系结构,组成部件：,MIDI,输入/输出电路，,MIDI,合成器芯片，多输入混合电路，模数转换器，压缩芯片，语音合成器，语音识别电路输出电路,体系结构如图4.5,数字化声音处理工作原理（图4.6),FM,合成器工作原理（图4.8),多声源混音的工作原理（图4.7) 同时参看,WINDOWS,的,MIXER,2.,音乐合成和,MIDI,接口规范,音乐合成与,MIDI：MIDI,的实质、合成方法、性能参数,MIDI,术语,MIDI,接口,MIDI,技术规范,第四章 多媒体硬件环境,9/21/2024,35,3,语音合成：概述、合成方法（,3,种,2,个策略）、语音基元数据库的构建（,2,个问题）、韵律模拟（待解决的问题）,4,语音识别：语音识别系统的分类（,4,个分类方法）、最终目标（,4,个要求）、研究的难点（,4,方面）、应用领域,人机交互的最高境界（人类的梦想）自然语言理解,第四章 多媒体硬件环境,9/21/2024,36,第三节 视频接口,视频采集、播放和显示设备的功能,1 视频图像显示,显示系统技术：,VGA,混合、可伸缩的,VGA,混合、双缓冲,VGA,混合/伸缩、使用数字信号处理器（,DSP）,视频显示技术标准：共4代（,MDA&CGA EGA VGA XGA),CRT,显示系统：共8项指标（屏幕尺寸、荫罩和点间距、荧光粉类型、刷新频率与闪烁、隔行和非隔行扫描、显示缓冲区与颜色定义、模拟信号接口与数字信号接口、视频,BIOS）,平板显示系统：4种技术（被动矩阵单色、主动矩阵单色、被动矩阵彩色、主动矩阵彩色）,第四章 多媒体硬件环境,9/21/2024,37,2 视频卡工作原理,视频卡的分类和功能简介：3类（视频采集卡、视频播放卡、电视转换卡）、7项功能、8种转用视频卡,工作原理：图4.11 6大部分：,A/D,转换和数字解码、窗口控制器、帧存储器系统、数模转换和矩阵变换、视频信号和,VGA,信号的叠加、数字式多制式视频信号编码,第四章 多媒体硬件环境,9/21/2024,38,第四节 多媒体,I/O,设备,1 笔输入,手写板：3种（电阻压力板、电磁式、电容式） 手写笔（有线与无线）,图形输入板：以读取图形信息为手段的图形输入设备,2 触摸屏（定位设备）,分类：安装方式（外挂、内置、整体、投影仪式）；结构特性与技术（红外、电阻膜、电容、表面声波、压力矢量）,各触摸屏的技术指标和性能比较： 表4.3,第四章 多媒体硬件环境,9/21/2024,39,3 扫描仪：利用光电转换原理的图像输入设备,结构：电荷耦合器件（,CCD）,阵列、光源和聚焦透镜,原理,：光电转换，3次扫描，一次扫描,分类：方式（手动、平板、滚筒、胶片）、扫描幅面（,A4,A3,A0)、,扫描分辨率（6000,dpi,1200dpi,4800dpi)、,灰度和色彩（灰度和彩色）、反射式和投射式,技术指标：10个指标（原稿种类、扫描精度、扫描分辨率、色彩精度、扫描速度、阶调、灰阶、鲜锐度、色彩再现能力、接口标准）,4 数码相机：,CCD,矩形网格阵列、存储介质、接口；工作过程（成像、模数转换）,第四章 多媒体硬件环境,9/21/2024,40,5 虚拟现实的三维交互工具（跟踪探测、数据手套、立体视觉）,6 输入输出接口,SCSI:(Small Computer System Interface),小型计算机系统接口,USB:,(Universal Serial Bus),通用串行总线,第四章 多媒体硬件环境,9/21/2024,41,第五节 多媒体计算机,1 多媒体处理器,2类方案：以多媒体和通信功能为主，融合,CPU,芯片原有计算功能；以通用,CPU,计算机功能为主，融合多媒体和通信功能,设计原则：,采用国际标准的设计原则；将多媒体和通信功能的单独解决变成集中解决；体系结构设计和算法相结合；把多媒体和通信技术做到,CPU,芯片中。,几种典型的多媒体处理器：,MicroUnity,的,Media Processor; Philips,的,Trimedia,; Chromatic Research,的,Mpact,Media Engine,第四章 多媒体硬件环境,9/21/2024,42,Intel,的,MMX,技术：,Multi Media,eXtension,(,多媒体扩展）；4个新特性（新的数据类型、扩充的饱和型运算方式、扩充的57条新指令、与,IA,结构的全兼容性）,2 多媒体总线,PCI（Peripheral Component Interconnect),总线：6大特点；,AGP(Accelerated Graphics Port),总线：三维图形技术的发展必然,3,多媒体个人计算机（,MPC),MPC,规范：1 2 3版的最低功能要求 表4.5,MPC,的性能：图像处理能力、声音的处理能力、,MIDI,乐器数字接口、动画处理能力、多媒体数据的存储、,MPC,之间的信息传递,第四章 多媒体硬件环境,9/21/2024,43,知识点：,多媒体软件的系统层次,多媒体素材制作软件,多媒体节目著作工具,多媒体程序设计基础,多媒体应用设计,第五章 多媒体软件基础,9/21/2024,44,第一节 多媒体软件的层次,5类4层：驱动软件、多媒体操作系统、多媒体数据准备软件、多媒体编辑创作软件、多媒体应用软件,各类软件的作用和分工：对象的概念（交融、多态）,第五章 多媒体软件基础,9/21/2024,45,第二节 多媒体素材制作软件,1 文本编辑和录入软件,2 图形与图像编辑与处理软件,3 音频编辑与处理软件,4 视频编辑,5 动画编辑,了解制作的要点和各类软件应具备的一般功能,了解目前流行的一些素材制作软件,第五章 多媒体软件基础,9/21/2024,46,第三节 多媒体著作工具,目的：让普通的工作人员能够高效率地制作适合不同专业地多媒体应用系统,1 概述,几个概念：创作环境、创作系统、创作工具、集成工具,多媒体著作工具的标准：8个功能和特性：,p151,多媒体创作模式： 8种 图5.14,类型：2种分类方法11种类型,2,Authorware,3 Director,4,ToolBook,第五章 多媒体软件基础,9/21/2024,47,第四节 多媒体程序设计基础,1 媒体控制接口（,Media Control Interface, MCI)：,在控制音频、视频外围设备方面，提供了与设备无关的应用程序,MCI,编程接口：命令字符串和命令消息,MCI,命令集：表5.1,MCI,设备：类型（表5.2）、设备名（,WIN.INI)、,打开,MCI,设备,客户/服务器思想,2 多媒体,API,函数,API,函数调用规则：声明、使用值和参数传递,多媒体的,API,函数,波形声音函数 表5.4,第五章 多媒体软件基础,9/21/2024,48,第五节 多媒体应用设计,1 多媒体应用分类：6类,2,多媒体应用设计过程,选题,脚本设计,创意设计,人机界面设计：10大设计原则,多媒体应用（节目）是一部交互式电影，需要各类人员的参与,第五章 多媒体软件基础,9/21/2024,49,第一节 多媒体同步的基本概念,1,基本概念 组织时基的、非时基的多种媒体序列通过传输、合成达到某种表现效果，称为多媒体同步或合成；时间同步、空间同步。,2,同步的种类：应用同步、合成同步、现场同步、系统同步,3,同步的分层服务模型 图,6.2,媒体层、流层、对象层、描述层,再次体会规范的含义，理解数学的魅力,-,人类最伟大的语言,第六章 多媒体的时间表示与同步,9/21/2024,50,第二节 时间模型,1 时间依赖的定义 表6.1,2 时间的概念模型：13种两个区间在时间上所具有的相互关系；图6.4描述7种基本的关系：,before,start,meets,overlap,during,finishes,equals；,前6种都有逆关系；,第六章 多媒体的时间表示与同步,9/21/2024,51,第三节 时间的规范与表示,1 时间规范的目的：为了向在创建时和合成时所要求同步的数据对象提供一种时间关系表达的手段,2 相对时间规范与绝对时间规范,时态瞬时（,Temporal Instants）,时态区间（,Temporal Intervals)：,层次化方法；参考点方法,并行和顺序关系：用串行和并行表示时间关系；非周期性区间的转换,第六章 多媒体的时间表示与同步,9/21/2024,52,第四节 多媒体同步的表示方法,基于语言、基于流图；最有意义的要求是能够具有表示并发及实时表现计时的能力,1 基于图形的表示法： 时间现、流图、,Petri,网（,OCPN）、,时间层次法,注意图6.11,OCPN,与时间关系的对应；图的理解,2 基于脚本的表示法,几个概念：表现、演员、角色、活动、场景,脚本的同步关系（场景运算、场景表达式,）,脚本语言的表示：事件、情节、场、实现方法,脚本编程语言：必须有明确的时间语义的定义,3,交互和同步,第六章 多媒体的时间表示与同步,9/21/2024,53,第五节 时间同步与系统支持,1 概述,2,系统支持的有关问题,时间表示的数据结构,数据压缩的影响,同步的系统支持,同步异常,第六章 多媒体的时间表示与同步,9/21/2024,54,第一节 概述,1 面临的问题,2,主要原因 4大原因,第七章 多媒体操作系统,9/21/2024,55,第二节 操作系统的问题,1 基本概念（略）,2,多媒体的引入与,OS,的限制,实时服务与时间要求,中断等待,优先权倒置管理,周期性活动,时限和恢复管理,服务质量（,QoS,）,管理和许可控制,第七章 多媒体操作系统,9/21/2024,56,第三节 操作系统对连续媒体的支持,1 体系结构的支持 图7.1,2 资源管理的支持,基于,QoS,的资源控制,实时调度,基于,QoS,的内存管理,基于时间的,I/O,管理,3 程序设计的支持,实时线程,时限管理,实时同步,第七章 多媒体操作系统,9/21/2024,57,4 实时进程间通信（,IPC),消息排队,优先权交出,优先权继承,消息分发,第七章 多媒体操作系统,9/21/2024,58,第四节 支持连续媒体的文件系统,问题的实质：4点,1 单流情况 读取函数、消耗函数与缓冲函数 图7.2,最早起始时间,最少缓冲器,2 多流情况,3 介质调度,传统磁盘调度算法,最早时限优先法（,Earliest Deadline First,EDF）,SCAN-EDF,算法,分组移动调度算法（,Grouped Sweeping Scheduling,GSS）,第七章 多媒体操作系统,9/21/2024,59,第一节 超媒体系统的组成,1 超媒体的概念和发展历史,超文本和超媒体的概念： 为了适应人类思维的习惯，研究信息的表现手段；文本结构的变革；媒体的多样性产生了超媒体。,简史：,V.Bush 1939 As We may Think,Memex,; Douglas,Engelbart,1959,oN,Line System; Ted Nelson 1960s Hypertext; 1980s,著名的系统、国际性会议；1990,s,信息高速公路,2 超媒体的组成要素：节点（媒体类节点、动作和操作节点、组织型节点、推理型节点）；链（基本结构链（基本链、交叉索引链、节点内注释链）、组织链和推理链（索引链、执行链、推理链）、其他链（自动连接、类型链）、热标（字、区、元、点、属性）、宏节点,第八章 超媒体与,Web,系统,9/21/2024,60,3 超媒体系统的,Dexter,模型：3层（存储层,storage layer、,运行层,run-time layer、,元素内部层,within-component layer)；2,个,接口（锚定接口,anchoring、,表现规范,presentation specification),4,超媒体系统的组成：3个子系统（作者、读者、支持）,了解各个子系统的功能要求：与写书和读书联系起来学习和理解。,第八章 超媒体与,Web,系统,9/21/2024,61,第二节,Web,超媒体系统,1 分布式超媒体系统,WWW：,超文本抽象机（,HTML,和,HTTP）；3,层,结构（表现层、超文本抽象机器层、超文本信息库层）；统一资源定位,URL(Universe,Resourse,Locator),的作用,2,WWW,中的超媒体协议与标记语言：,SGML,大家庭：,HTML（,固定的标记）、,XML（,可自由定义的标记）,了解,SGML、HTTP、HTML、XML,3 WWW,的缺陷和未来：存在问题（5个）、局限性（5个）、人们的工作（,Hyper-G),第八章 超媒体与,Web,系统,9/21/2024,62,第,三节 智能超媒体系统,1 概念：关键是能否提供智能计算,Expertext,2,Expertext,的节点和链：对象节点、规则节点；链要有计算和推理能力（,Is-a,链、,Has-a,链、藴含链）,3 智能超媒体的推理模型：语义网模型、流控模型,第八章 超媒体与,Web,系统,9/21/2024,63,第一节 多媒体数据管理的问题,1 概述：真实世界、计算机世界、映射、表示方法；面向对象数据库、基于内容检索技术、超媒体技术；另一种管理信息的方法（数据库）,2 多媒体数据管理的问题：多媒体带来的问题（8大问题）；请大家思考一下：你怎么来解决这些问题。,3 有哪些多媒体数据：字符、文本、声音、图形、图像、视频,第九章 多媒体数据库与基于内容检索,9/21/2024,64,第二节 多媒体数据库体系结构,1 结构形式：联邦型、集中统一型、客户/服务型、超媒体型,2 多媒体数据库的层次结构：传统的（物理模式、概念模式、外部模式），寻找三层模式的感觉；多媒体数据库的层次划分，三方面的工作：从最低层增加对多媒体数据的控制与支持、在最高层支持多媒体的综合表现和用户查询描述、在中间增加对多媒体数据的关联和超链的处理；四层结构：媒体支持、存取与存储数据模型、概念数据模型、多媒体用户接口,第九章 多媒体数据库与基于内容检索,9/21/2024,65,第三节 多媒体数据模型,数据模型的3大基本要素：数据对象类型的集合、操作的集合、通用完整型规则的集合,1,NF,2,数据模型：,NF,2,（Non First Normal Form),非第一范式，允许表中有表，理解他们的实现方法；原因是充分利用关系型数据库的已有成果；该方法的局限性。,2 面向对象的数据模型：关于对象的一些基本概念（对象、属性、方法、消息、对象类、类层次、继承性）；几种常用的语义关联（聚集关联（,Aggregation association,A,关联）、概括关联（,Generalization association,G,关联）、相互作用关联（,Interaction association,I,关联）、示例关联（,Instance association)、has-method,和,has-rule,关联,第九章 多媒体数据库与基于内容检索,9/21/2024,66,运算体系：定义、查询、操纵（引入类和对象后的变化）；3种运算在类和对象上的新的含义,面向对象多媒体数据模型的特点：共10条；重点从封装、继承、对象类和实例、复合对象等几方面考虑,3 其他数据模型：超媒体数据模型（网、有向图）、文献模型（树）、专有媒体数据模型（针对特定领域）,第九章 多媒体数据库与基于内容检索,9/21/2024,67,第四节 基于内容检索系统的结构和方法,这是一个新兴的领域，大家可以在这里施展才华,1 多媒体与媒体语义：数据、信息、信息表示方法；抽象（引入语义）；基于内容检索（,Content Based Retrieval）,的主要研究内容：如何使系统直接从各种媒体中获取信息线索，并将线索用于数据库中的检索操作，帮助用户从数据库中检索出合适的多媒体信息对象，也是能缩小人和计算机之间鸿沟的一个领域,2 基于内容检索系统的一般结构： 图9.10、图9.11；插入子系统、特征提取子系统、数据库、查询子系统,3 基于内容检索的过程和指标：图9.12；初始检索说明、相似性匹配、特征调整、重新检索；分割；主要指标：查全率、查准率,第九章 多媒体数据库与基于内容检索,9/21/2024,68,4 特征匹配的过程及方法：模糊值（模糊集、隶属函数）；特征值分类和计算；特征调整；相似特征偏差；相似度及最终求值,第九章 多媒体数据库与基于内容检索,9/21/2024,69,第五节 图像内容分析及检索方法,1,基于颜色直方图检索：颜色直方图原理及性质（4个性质）；检索方法（,QBE,方法：指明颜色组成、指明一幅图像、指明图像中的一个子图）；颜色直方图的相似性匹配,2 图像轮廓和纹理特征检索：基于骨架和轮廓的检索、基于纹理的检索,第九章 多媒体数据库与基于内容检索,9/21/2024,70,第六节 视频检索与索引,1,视频媒体基本特性：视频序列（大小包涵关系，事件、动作、镜头、场景、故事）；镜头切换（直接、渐变）；镜头的运动（方式：推拉、摇、跟踪、其他）,2 镜头检测方法：直方图阈值比较、双重比较法、识别淡入淡出的明亮度识别法、识别空间操作的空间编辑识别算法、对非解压数据进行镜头识别法： 新东西，可以继续研究,3 视频运动切片：图9.17；,y-t,切片图像：沿时间轴、固定某个,x,值，得到的,y,时间变化切片；,x-t,切片图像：沿时间轴、固定某个,y,值，得到的,x,时间变化切片,第九章 多媒体数据库与基于内容检索,9/21/2024,71,第一节 分布式多媒体应用的通信需求,1,多媒体数据流的基本特征：比特率可变性、时间依赖性、信道对称性,2 多媒体通信的性能要求：吞吐量需求、可靠性需求（3种差错率：位、帧、分组）、延迟需求（4种延迟：传播、传输、网络、接口）、多点通信需求、同步需求,第十章 多媒体通信与网络,9/21/2024,72,第二节 多媒体通信的服务质量,1,QoS,的基本概念：,QoS,参数：4元组【吞吐量，差错率，端到端延迟，延迟抖动】、5种类型的参数表10.2、不同媒体不同的需求表10.3；压缩编码对,QoS,参数的影响；,QoS,参数的体系结构：应用层、传输层、网络层、数据链路层,2,QoS,的管理：,QoS,服务的分类（3类：确定型、统计型、尽力型）、,QoS,管理机制（5个管理特性）；基于策略的,QoS,管理技术（3种面向目标的管理手段、2个管理协议）、策略管理系统的3种能力、策略管理系统的框架（功能元素：策略管理工具、策略持久性、策略消费者、策略目标；图10.2）,第十章 多媒体通信与网络,9/21/2024,73,第,三节 多媒体通信网络环境,1,局域网络：100,BASE-T,网络、千兆以太网、100,VG-,AnyLAN,网络、,FDDI,网络,2 广域网络：,X.25,网络、帧中继网络、,ISDN,网络、,IP,宽带网络,3,ATM,网络：特点、网络参考模型（3个平面：用户、控制、管理；3个层次：物理、,ATM、ATM,适配）、,ATM,网络结构（用户网络接口、网络节点间接口、,ATM,配置结构图10.5）,第十章 多媒体通信与网络,9/21/2024,74,第四节 多媒体通信协议,基于,TCP/IP,的一些多媒体通信协议（了解他们的特点和基本内容：,IPv6,协议、,ST II,协议、,RSVP,协议、,RTP,协议）,第十章 多媒体通信与网络,9/21/2024,75,了解目前的应用特点和基本技术概念,第一节 引言：多媒体通信系统、分布式多媒体系统,第二节 多媒体会议系统：发展与分类、系统结构和关键技术、国际标准,第三节,VOD,与,ITV,系统：基本概念、系统结构、视频服务器（功能、结构形式、关键技术）、用户接入技术,第四节,CSCW,和群件：基本特性、分类术语；关键技术,这是一片神奇的领域、希望大家能在其中发现自己的真爱！,第十一章 分布式多媒体应用系统,9/21/2024,76,