DirectShow技术在远程视频监控系统中的应用

第 3 0卷第 3期 2 0 0 7年 6月 电 子 器 件 C h in e s e J o u r n a l Of E l e c t r o n De v i c e s Vo 1 3 0 No 3 J u n 2 0 0 7 Appl i c a t i o n o f Di r e c t s ho w Te c h no l o g y i n Re mo t e Vi d e o S u r v e i l l a n c e S y s t e m ZHANG Y a l i，ZH U S h a n a n，Y E Xu do n g (C o l l e g e o fEl e c t r i c a l E n g i n e e r i n g，Z h e j i a n gUn i v e r s i t y，Ha n g z h o u 3 1 0 0 2 7，C h i n a)Ab s t r a c t：Di r e c t S h o w i s a t e c h n o l o g y wh i c h i s b a s e d o n mu l t i me d i a a p p l i e d COM mo d u l e t e c h n o l o g y I n o r d e r t o s o l v e t h e p r o b l e m t h a t t h e s l o w s p e e d o f t r a n s f o r mi n g v i d e o i n f o r ma t i o n，t h e Di r e c t s h o w t e c h n o l o g y d e a l i n g v i d e o i s p r e s e n t e d Th e p a p e r i n t r o d u c e s t h e t h e o r y o f Di r e c t S h o w t e c h n o l o g y，b e s i d e s，c o mb i n i n g wi t h t h e p r a c t i c a I s y s t e m，p r e s e n t s t h e d e s i g n me t h o d o f MPE G-4 d a t a n e t wo r k t r a n s mi s s i o n，d e c o d i n g，r e a l t i me p l a y i n g a n d S O o n Th e s y s t e m o b t a i n s g o o d p r a c t i c a l e f f e c t b y t h e t e c h n o l o g y Th e r e s u l t o f t h e e x p e r i me n t i n d i c a t e s t h e g o o d f o r e g r o u n d a p p l i c a t i o n s o f Di r e c t S h o w t e c h n o l o g y i n mu l t i me d i a d o ma i n Ke y wo r d s：s t r e a m me d i a；COM；d i r e c t S h o w；f i l t e r；Fi l t e r Gr a p h EEACC：7 21 0F Di r e c t S h o w技术在远程视频监控系统中的应用 张亚丽，朱善安，叶旭东(浙江大学 电气学院，杭州 3 1 0 0 2 7)摘 要：D i r e c t S h o w是基于多媒体应用的C O M组件技术 为了解决网络传输视频信息速度慢等问题，给出了利用 D i r e c t S h o w技术处理视频的方法 介绍了 D i r e c t S h o w技术的原理，并结合实际的应用系统，给出了 MP E G-4数据在网络中传输、解 码以及实时播放的具体设计过程，并取得了良好的效果 证明了 D i r e e t S h o w技术在多媒体领域具有良好的应用前景 关键词：流媒体；组件对象模型；D i r e c t s h o w；过滤器；过滤器图表 中图分类号：T P 3 l l 文献标识码：A 文章编号：1 0 0 5 9 4 9 0(2 0 0 7)0 3-1 0 4 2-0 3 目前网络传输视频多媒体信息主要有下载和流 式传输两种方案 前者的主要缺点是数据必须全部 传输完毕，然后才能在本地机器打开 在流式传输方 案 中，声音、影像等数据由服务器向用户计算机实时 传送，用户不必等整个文件全部下载完毕，只需经过 几秒的延时即可观看 所 以，目前流式传输在 I n t e r n e t 上视频点播和网络视频监控等领域得到 了广泛 应用 而基于多媒体应用的 D i r e c t S h o w技术也应运 而生，为Win d o w s 平台上的多媒体应用需求提供了 完整的解决方案 1 C oM 技术 组件对象模型(C o mp o n e n t O b j e c t Mo d e 1)技 术，是一种以组件为发布单元的对象模型 从软件模 型的角度来理解，C O M组件 7 是具有一定功能的模 块，这些模块可单独开发、编译甚至调试和运行 基 于 C OM 技术的软件开发就是编写 C OM 组件并将 组件组合，软件的维护与升级就是对组件进行替换 另外，对于 C OM 组件的访 问必须通 过接 口(I n t e r f a c e)来完成，由于 C O M技术所规定的接口不变性，因此保证了组件 自身的兼容性。C O M 也定义了组 件之间交互的规范，提供了交互环境 由于 C O M 是 一种二进制代码级 的标准，因此不依赖 于任何特定 的编程语 言，所 以 C OM 是不同语 言协作开发的一 种标准 收稿 日期：2 0 0 6-0 7 1 2 作者简介：张亚丽(1 9 8 3 一)，女，在读硕士，主要研究方向为网络传输，信号处理等，z h a n g y a l i 7 7 8 8 1 6 3 C O IT I；朱善安(1 9 5 2 一)，男，博士，教授 博导，从事预测 自适应控制理论与工业应用，P I D自整定理论与工业应用，基于 P c 机的智能控制系统。信息传输与自动化系统等研究，z s a z i u e d u c n 整理:空气过滤器 PM2.5空气过滤器 3 期 张亚丽，朱善安：D ir e c t S h o w技术在远程视频监控系统中的应用 1 0 4 3 2 D i r e c t S h o w技术 Di r e e t S h o w技术是微 软公 司开发 的一套编 程 接 口 由于 Di r e c t s h o w是基 于 C OM 的应用 系统，通过提供大量的 F i l t e r(C OM 组件)完成总体应用 框架和底层工作，从而使多媒体应用程序设计变得 简单 它能够完成从本地文件和网络播放多媒体流、从外部设备捕获多媒体流等功能 下面将详细介绍 利用 Di r e c t S h o w技术设计应用程序的过程 2 1 Di r e c t S h o w应用架构 D i r e c t S h o w E 使用一种叫F i l t e r G r a p h的模型 来管理整个数据流的处理过程，参与数据处理的各 个模块(C O M 组件)叫做过滤器(F i l l e r)，它是执行 特定任务的 CO M 对象 过滤器又可被细分 为源过 滤器(S o u r c e f i l t e r)、变换 过 滤 器(Tr a n s f o r m f i l t e r)、表现过滤器(Re n d e r e r f i l t e r)等 So u r c e F i l t e r 主要负责取得原始媒体数据 Tr a n s f o r m F i l t e r 主要 负责数据的格式转换、传输 R e n d e r e r f i l t e r 主要负 责数据的最终去向 各个 F i l t e r 在 F i l t e r G r a p h中 按一定 的顺 序连接 成一 个“流水线”协 同工作 在 D i r e c t S h o w 系统之上，应用程序要按照一定的意 图 建立起相应的 F i l t e r Gr a p h，然后通过 F i l t e r Gr a p h Ma n a g e r 来控制整个 的数据 处理过程，D i r e c t S h o w 的体系结 构如 图 1 E 所示 Di r e e t S h o w 能在 F i l t e r Gr a p h运行的时候接收到各种事件，并通过消息的 方式发送到应用 程序 这样，就 实现了应用程 序与 D i r e c t S h o w之间的交互 图 1 Di r e c t S h O W 的体 系结 构 从 图 1中可以看 出，过滤器 图表是各种过滤器 的集合，这些 F i l t e r 是通过输人输 出 P i n相互连接，由两个 F i l t e r 之间的 P i n 协商决定支持何种媒体类 型 F i l t e r 之间的具体连接过程如 图 2所示 由于连 接过程必须将所有需要的过滤器连接起来，因此前 级过滤器的输出必定成为下级过滤器的输入 一个 过滤器至少有一个输入针(I n p u t p i n)，并将特定的 输出送到输出针(Ou t p u t p i n)，图 2显示 了一个过 滤器连接 图 1 咂 n 觜 r l L-J L _ _ J L _ _ J 图 2 过滤 器连接 图 从 Di r e c t S h o w的体系结构不难看 出，利用 D i r e c t S h o w技术设计应用程序的核心就是对各个 F i l t e r 进行设计并实现它们之间的相互连接 默认情况 下，由 D i r e c t S h o w 提 供 的 过 滤 图表 管 理 器 部 件 F GM(F i l t e r Gr a p h Ma n a g e r)自动完成这些 F i l t e r 之间的连接和数据的流动 应用程序只需通过 F GM 提供的 C OM 接 口访 问过滤器 图表、控制流媒体或 者接收过滤器事件来完成视频的播放 下面结合实 际的视频监控系统介绍 D i r e c t S h o w的应用 3 工程应用 文章 以基 于 D M6 4 2的远程视 频 监控 系统 为 例，介绍 了利用 Di r e c t s h o w技术 设 计 客户端 的过 程 该系统远程终 端采用 D M6 4 2将压缩 的视频数 据通过 MA C口传输到客户端，客户端通过 T C P协 议接收数据并进行实时解码播放，实现系统的 目标 客户端和远程终端之间的网络通信采用 Wi n Soe k 技术编程实现，具体过程不再详述 本系统采用 V C+6 0开发多媒体应用程序，开 发应用程序之前首先要配置开发和编译环境 1 ，在写 应用程序时都要包含头文件 D s h o w h并连接到库文件 s t rmb a s e d 1 i b；在 V C+的 L i b r a r y和 I n c l u d e 里面要 加入 Di r e c t X S D K中的 L i b和 I n c l u d e 文件，并且放在 标准的 V C 目录之前 利用 D i r e c t S h o w开发应用程序 主要包含以下几个步骤：首先创建 S o u r c e F i l t e r、T r a n s f o r m Ni t e r、R e n d e r e r Ni t e r；然后创建 F i l t e r Gr a p h管理 各个 F i l t e r，并且负责和应用程序交互实现播放控制 等 下面具体介绍实现过程 3 1 创建各个 F i l t e r 在程序 中通过继 承 Di r e e t X中提供的基类，创 建 F i l t e r 根 据 网络接收 的数据 特 点，设 计 了各个 Fi l t e r 3 1 1 So u r c e Fi l t e r Sou r c e F i l t e r 是数据源，提供数据 So u r c e F i l t e r 有两种主要的数据传输模式：推模式(P u s h Mo d e 1)和拉 模式(P u l l Mo d e 1)所谓 推模式，即源 F i l t e r(Sou r c e F i l t e r)自己能够产生数据，并且一般 在它的输出 P i n上有独立的子线程负责将数据发送 出去，常见的情况如代表 WD M 模型的采集卡的 I i v e S o u r c e F i l t e r 采用这 种方式 比较适合播放单 独音频或者单独视频媒体文件，数据流的传输过程 完全由Sou r c e F i lt e r 发起，传输的速率也由 Sou r c e 维普资讯 http:/ 1 0 4 4 电 子 器件 第 3 O卷 F i l t e r 控制 而所谓拉模式，即源 F i l t e r 不具有把 自 己的数据发送 出去的能力，这种情况下，一般源 F i l-t e r 后紧跟着接一个 P a r s e r F i l t e r 或 S p l i t t e r F i l t e r，这种 F i l t e r 一般 在输人 P i n上有个独立 的子线程，负责不断地从源 F i l t e r 索取数据，经过处理后将数 据传送下去，常见的情况如文件源 通常在播放本地 文件，包含音视频同步的媒体文件播放的时候，比较 适合采用这种方式简单地说：在推模式下，源 F i l-t e r 是主动的；在拉模式下，源 F i l t e r 是被动 的 由于 我们所做的项 目中，没有加人音频，不存在音视频同 步的问题，适合采用 P u s h模式，直接 由 S o u r c e F i l-t e r 控制媒体流的播放过程 Sou r c e F i l t e r由类 C S t r e a mF i l t e r 实现，它继承 C Sou r e e，主要实现函数如下：HRES ULT S e t Me d i a Ty p e(c o n s t CMe d i a Ty p e p Me d i a T y p e)；设定媒体属性 HRES ULT Ch e c k M e d i a Ty p e(c o n s t CM e d i a T y p e p Me d ia T y p e)；检验媒体类型 Vi r t u a l HRES UL T Do B u f f e r P r o e e s s i n g L o o p (v o i d)；重载 C So u r e e的虚函数 Sou r c e f i l t e r 的播放控制在 D o B u f f e r P r o ces s in g L o o p()中实现，D o B u f f e r P r o c e s s i n g L o o p()是一个单独 运行的线程，用来处理流媒体的运行，运行正常情况 下会一直执行下去，只有在发生错误时，会退出循环，结束流媒体播放 其内部流程如图 3 所示 6 图 3 S o u r c e f i l t e r 的 播 放 控 制 流程 图 3 1 2 Tr a n s f o r m Fi l t e r 由于系统接 收 的数据为 MP E G-4压缩格式 的 数据，所 以采用了 X VI D的解码 F i l t e r，将压缩的视 频编码 解析 成 为显 示器 可 以识 别 的 YUV 制式 X V I D的解码 F i l t e r 是非商业软件，可以从网络上 直接下载 通过修改 C h e c k Me d ia T y p e 函数，使之和 Sou r c e f i l t e r 有相同的媒体类型，然后将编译生成的 x v i d a N注册，即可以得到 Tr a n s f o r m f i l t e r 3 1 3 Re n d e r e r Fi l t e r Re n d e r e r F i l t e r 从 Tr a n s f o rm F i l t e r 取 得保存 Y U V制式的数据指针，进行播放 这部分 F i l t e r 直 接使用系统默认的 F i l t e r，就可以对视频流进行播 放 3 2 构建 F i l t e r Gr a p h 当创建 了各 个 F i l t e r 之后，需要创建 F i l t e r G-r a p h把各个 F i l t e r 链接起来，完成数据处理任务 首 先创建 Sou r e e F i l t e r 类对象，设定 它的媒体类型 ma j o r t y p e ME DI ATYP E Vi d e o；mt s u b t y p e CLS I D DI VX_L I，并将 Sou r e e F i l t e r 加人到 F i l t e r-Gr a p h对 象 中然 后 执 行：Wa i t F o r S i n g l e Ob j e e t (p Gr a p h-mp Da t a Ad mi n 一 mh Bu f En o u g h，I NF I N I T E)；等待网络端的数据缓冲；当网络端接 收到足够的视频数据量后，通过事件通知主窗体开 始播放 主窗体调用 o b j-R e n d e r(p i n)，F i l t e r G-r a p h对象 开始 播 放，p i n是 Sou r e e f i l t e r的输 出管 脚 执行这条语句后会自动从注册表中搜索 MP E G-4的解码 f i l t e r 通过播放控制接 口 I I D I me d i a C o n-t r o l 所对应 的指 针通 知 F i l t e r Gr a p h进 行播放，m p MC-Ru n()程序主要通过 C F i l t e r Gr a p h类完成 C OM 初始 化、创建各个 C O M接口、F i l t e r 之间的连接等功能 主要实现代码如下：C o C r e a t e l n s t a n e e(C L S I D F i l t e r Gr a p h。(v o i d*)&o b j )创建播放 F i l t e r Gr a p h的对象 创建播放控制的 C OM 接 口 h r mp G B-Qu e r y l n t e H a e e(I I D I Me d i a C o n t r o l,(v o i d*)&m_p M C)；h r=mp GB-Q u e r y l n t e H a e e(I I DI Me d i a E v e n t，(v o i d*)m_p ME)；h r=mp G B-Qu e r y l n t e H a e e(I I D I Vi d e o Wi n d o w，(v o i d*)Lp VW)；m_p Ba l l n e w CB o u n e i n g B a l l(h r m_p Da t a Ad mi n，mt)；创建 Sou r e e F i l t e r 类对象 h r m_p GB-Ad d F i l t e r(mp B a l l，N UL L)；添 加 自己的 F i l t e r h r=m p GB-Re n d e r(p i n As y n e)；自动从注册表中 寻找并启动解码器播放 4 结束语 该系统 目前已经在实验室和一些现场进行系统 实践，如图4 为屏幕截图(下转第 1 0 4 8页)维普资讯 http:/ 1 0 4 8 电 子 器件 第 3 0卷 图 6 横摇 角误 差曲线 图 7纵摇 角误差 曲线 5 结论 本文提出了 利用数据融合技术来提高测量船的导 航系统精度的方法 测量船采用多种导航技术，为了解 决惯性导航系统长期运行后存在误差的问题，利用卡 尔曼滤波技术对惯性导航、天文导航和 G P S 进行数据 融合，充分的利用各种导航系统的优点 同时针对所建 立的卡尔曼滤波模型中量测噪声不满足零均值高斯白 噪声的问题，把模糊控制技术引入卡尔曼滤波器 实验 结果表明，采用多种数据融合技术能有效的提高测量 船的导航精度，满足我们对系统的要求(上接第 1 0 4 4页)参考文献：1 金光 光电经纬仪的自动化标校与白天测星技术的研究 D 长春：中国科学院长春光学精密机械与物理研 究所，1 9 9 1 2 郭立红，朱伟，李岩基于卡尔曼滤波技术解算惯导的水平偏 差 J 光学精密工程，2 0 0 3，1 1(4)：3 7 9 3 8 3 3 郭丽虹 利用测星实现经纬仪外场静态精度检测 J 光学精密 工程，1 9 9 7，5(1)：1 1 9 1 2 3 4 郭丽虹 舰载精密光学系统扰动速度的自稳定控制 J 光学 精密工程，1 9 9 7，5(3)：7 1 7 4 5 张光明，王建军，郭丽虹经纬仪的自动星体标校 J 光学精 密工 程，1 9 9 9，7(4)：1 0 5 1 1 0 6 高宪军，翟林培G P s I N S组合导航系统的研究 J 光学精密 工 程，2 0 0 4，1 2(2)：1 2 2 7 高玉凯，邓正隆小波变换与卡尔曼滤波结合的 R I 降噪方 法 J 光电工程，2 0 0 5，3 2(5)：3 1 3 4 8 李文军，陈涛基于卡尔曼滤波器的等效复合控制技术研究 J 光学精密工程，2 0 0 6，1 4(2)：2 7 9 2 8 4 9 徐田来，游文 虎，崔平远基于模糊 自适应 卡尔曼 滤波 的 I NS GP S组合 导 航系统算法研究 J 宇航学报，2 0 0 5，2 6(5)：5 7 1 5 7 5 1 0 E s e a m i l l wA mb r o s i o P J，Mpor t N Mu t i s e n s o r D a t a F u s i o n Ar c h i t e c t u r e Ba s e d O n Ad a p t i v e Ka l ma n Fi l t e r s a n d Fu z z y L o g i c P e r f o r m a n c e A s s e s s m e n t C I n：A n n a p o l i s，U S A：Pr o c e e d i n g s o f t he 1 5 t h I n t e r n a t i o n a l Co n f e r e n c e o n I n for ma t ion Fu s i o n，2 0 0 2 1 5 4 2 1 5 4 9 1 1 S a s i a k e t J g，Wa n g Q，Z e r e m b a M R F u z z y A dap t i v e K a l m a n F i l t e r i ng f o r I N S G P S Dat a F u s i o n C I n：R i o，P a t r a s，GREECE：Pr o c e e d i n g s o f t h e 1 5 t h I EEE I n t e l l i g e nt Co n t r o l，2 0 0 0 1 8 1 1 8 6 图 4 视频播放截 图 目前随着 I n t e r n e t 上多媒体传输和实时播放需 求的增加，利用 Di r e c t S h o w技术实现视频监控系统 进行流媒体的实时播放是一种比较有效的方法，也 有一定的实用意义 参考文献：1 刘韩玮V is u a l C+视频 音频开发实用工程案例精选 M，北京人 民邮电出版社，2 0 0 4 2 陆其明D i r ect s h o w实务精选科学出版社 北京科海出版社 2 0 0 4 3 D a v 试J Kr u g l i n s k i V C+技术内幕 M，北京清华大学出版 社，1 9 9 9 4 Mi e r o s o f t Cor por a t i o n D i r ect X 8 0 D o c u me n t a t i o n s M Mi c r o s o f t Co r p or a t i o n，2 0 0 0 5 钟玉琢，沈洪 多媒体技术(高级)M，北京清华大学出版社，1 9 9 9 6 李楠视频监控系统的设计与实现 D ，2 0 0 5 5 0 6 0 7 潘爱民 C O M原理与应用 M 清华大学出版社，1 9 9 9 维普资讯 http:/