数字图书馆第六章信息的压缩与传递--课件

1简单回顾第五章简单回顾第五章u信息检索与数字图书馆信息检索与数字图书馆u全文检索全文检索u多媒体信息检索的步骤多媒体信息检索的步骤u超媒体信息检索超媒体信息检索u谈谈数字图书馆信息检索的发展趋势谈谈数字图书馆信息检索的发展趋势2第六章第六章 数字图书馆信息压缩与传递数字图书馆信息压缩与传递1.1.信息压缩信息压缩1.11.1定义：定义：通通俗俗地地说说，就就是是用用最最少少的的数数码码来来表表示示信信号号。信信息息压压缩缩是是数数字字资资源源以以一一定定方方式式的的编编码码，消消除除其其中中冗冗余余信信息息，实实现现不失真或容许失真限度内压缩比。不失真或容许失真限度内压缩比。3u1.21.2其作用是：其作用是：u1 1能能较较快快地地传传输输各各种种信信号号，减减少少了了带带宽宽的的占占用用量量，提提高高通通信效率信效率 u2 2在现有的通信干线并行开通更多的多媒体业务在现有的通信干线并行开通更多的多媒体业务u3 3紧紧缩缩信信息息存存储储容容量量，释释放放硬硬盘盘空空间间，减减少少存存储储空空间间，打打包存放包存放u4 4方便文件交换、传输方便文件交换、传输u5 5减少病毒感染机会减少病毒感染机会u6 6口令加密文档口令加密文档6 6 信息压缩与传递信息压缩与传递4u1.31.3信信息息压压缩缩一一般般由由两两个个过过程程组组成成：一一编编码码过过程程；二解码过程（还原）。二解码过程（还原）。u1.41.4分类：分类：u(1)(1)即即时时压压缩缩和和非非即即时时压压缩缩（同同步步压压缩缩与与非非同同步步压压缩）缩）u(3)(3)无损压缩与有损压缩无损压缩与有损压缩u无无损损压压缩缩指指使使压压缩缩后后的的数数据据进进行行重重构构(还还原原，解解压压缩缩)，重重构构后后的的数数据据与与原原来来的的数数据据完完全全相相同同。一一般般用于要求重构的信号与原始信号完全一致的场合。用于要求重构的信号与原始信号完全一致的场合。6 6 信息压缩与传递信息压缩与传递5u3.3.常见的信息压缩方法常见的信息压缩方法u（1）统计编码：u（2）预测编码：u（3）变换编码：u（4）混合编码：使用两种或两种以上的编码方法混合进行编码称为混合编码。它能提高信息压缩的效率。例如：多媒体图像压缩标准中都采用混合编码；如JPEG，MPEG等。6 6 信息压缩与传递信息压缩与传递6u4.常见的通用压缩格式uARJ LHA Winzip WinRARu大家列举出常用的压缩软件及其使用体会6 6 信息压缩与传递信息压缩与传递7数据库维护工具数据库维护工具 ILAS2.0（深圳图书馆开发的图书馆集成信息系统）采用的是LDBMS，提供有一系列的数据库底层维护程序。需要指出的是，这些底层维护程序是在采用UNIX操作系统的数据库服务器上的单库维护程序，且大部分必须在单用户下执行！8数据库维护工具数据库维护工具1 创建数据库：程序名称ldb_create命令格式程序所在路径/ldb_create 数据库标识名.db例：./bin/ldb_create catalog.db使用说明ldb_create根据 LDBMS 数据库的描述文件（*.db）创建 LDBMS 空数据文件(只有文件头结构)和空索引文件。如果文件已存在,则不再作变动，即不覆盖已存在的数据文件。如果创建的是变长数据库，程序将会提示输入最后记录号，以便系统自动取号。最后记录号为数字，前置“0”可不输，例如：最后记录号为0000000001时只需输入“1”即可。由于分编库的记录号取自对应的中央书目库，所以分编库的最后记录号无关紧要。记录号必须0且2100000000。9数据库维护工具数据库维护工具2 重组数据库：程序名称ldb_rebuild命令格式程序所在路径/ldb_rebuild 数据库标识名.db例：./bin/ldb_rebuild catalog.db当前路径为数据库所在路径当前路径为数据库所在路径使用说明根据 LDBMS 数据库的描述文件（*.db），重组 LDBMS 数据文件和索引文件。重组过程包括整理数据文件和快速重建其索引文件。整理数据文件将清除所有散块，回收空间。重建索引文件将按照当前的描述文件（*.db）以快速的方式重建所有索引，并以优化的方式组织。对变长、更新频繁、实时索引的数据库来说，重组是一件不能回避的工作。重组不仅可以增减索引字段，而且可以改善存储与检索效率。10数据库维护工具数据库维护工具3 压缩数据库：程序名称ldb_compress命令格式程序所在路径/ldb_compress 数据库标识名.dat例：./bin/ldb_compress catalog.dat当前路径为数据库所在路径当前路径为数据库所在路径使用说明根据 LDBMS 数据库的描述文件（*.db），紧凑压缩LDBMS 数据文件。指定数据文件将被压缩拷贝到临时文件 LDBMS.TMP中，原数据库数据文件与索引文件未变。由于机制不同，重组不能成功时可尝试先压缩将LDBMS.TMP改名为相应的数据文件：数据库标识名.dat删除索引：数据库标识名.idx重组11数据库维护工具数据库维护工具4 数据库管理员：程序名称ldb_adm命令格式程序所在路径/ldb_adm例：./bin/ldb_adm ilas NT 数据库管理 Database Management =1.显示登记数据库 Display Registered Database 2.注消登记数据库 Cancel Registration 3.关闭数据库 Close Database12数据库维护工具数据库维护工具选择操作(1-4)或 q 退出:Cloose an option(1-3),or q to quit:1序号 进程号 用户 时间 数据库参数文件 0 527 1 12:55:09 /tmp(main server)主服务程序u 1 590 2 12:55:41 /u/ilasII_T/database/ilasdic.dbu 2 591 2 12:55:42 /u/ilasII_T/database/reader.dbu 3 592 2 12:55:42 /u/ilasII_T/database/photo.dbu 4 593 2 12:55:42 /u/ilasII_T/database/biblios.dbu 5 594 2 12:55:42 /u/ilasII_T/database/bibliosUS.dbu 6 595 2 12:55:42 /u/ilasII_T/database/series.dbu 7 596 2 12:55:42 /u/ilasII_T/database/seriesUS.dbu使用说明u列表显示正在使用的数据库，可执行关闭数据库等操作。特别用于数据备份和数据库重组等维护工作之前的检查。因为数据库处于打开状态时数据备份中的数据文件和索引由于可能产生不一致的现象，系统将禁止使用，必须重组后才能使用；数据库重组等维护工作也应在其他人未使用数据库的情况下进行。其他人未使用数据库的标志是数据库不在登记的数据库列表中或用户数为0。135.5.数字音、视频的压缩标准数字音、视频的压缩标准u5.15.1组组 织织 机机 构构：信信 息息 压压 缩缩 标标 准准 ISO/IEC ISO/IEC International International Organization Organization for for Standardization/International Standardization/International Electrotechnical Electrotechnical CommissionCommission创创建建一一个个联联合合技技术术委委员员会会JTC1JTC1下下 又又 建建 负负 责责 多多 媒媒 体体 方方 面面 标标 准准 化化 制制 定定 工工 作作 分分 委委 员员 会会SC29(Subcommittee SC29(Subcommittee 29)29)，负负责责音音频频、视视频频、多多媒媒体体和和超超媒媒体体信息编码信息编码 6 6 信息压缩与传递信息压缩与传递14u5.25.2静态图像压缩标准之一静态图像压缩标准之一uJPEGJPEG（Joint Photographic Experts GroupJoint Photographic Experts Group）uISO/IEC10918ISO/IEC10918号号标标准准，.jpg.jpg.gif.gif一一种种略略失失真真压压缩缩 (LOSSY COMPRESS)(LOSSY COMPRESS)的图形文件格式的图形文件格式 uMJPEG(Motion JPEG)是在JPEG基础发展起来的动态图像压缩技术 6 6 信息压缩与传递信息压缩与传递15u5.35.3视频压缩技术标准主要有：视频压缩技术标准主要有：uMPEGMPEG的的全全称称是是运运动动图图像像专专家家组组（Moving Moving Picture Picture Experts Experts GroupGroup），是专门制定多媒体领域内的国际标准的一个组织。uMPEG压缩标准是针对运动图像而设计的 uITU H.261建议，用于ISDN信道的PC电视电话、桌面视频会议和音像邮件等通信终端。uMPEG1视频压缩标准，MPEG-1标准的正式名称为“基于数字存储媒体运动图像和声音的压缩标准”VCD采用MPEG-1标准，MP3采MPEG-1第三层音频压缩标准。6 6 信息压缩与传递信息压缩与传递16uMPEGMPEG2 2ITU ITU H.262H.262视视频频标标准准，MPEG-2MPEG-2的的正正式式名名称称为为“通通用用的的图图像像和和声声音音压压缩缩标标准准”。DVD、数字电视广播采用MPEG-2标准。uMPEG-4标准是超低码率运动图像和语言的压缩标准用于传输速率低于64Mbps的实时图像传输 uMPEG-7多媒体描述框架标准，多媒体信息搜索、过滤、管理和处理内容表达标准u MPEG-21标准6 6 信息压缩与传递信息压缩与传递17u6.6.信息传递信息传递u数字图书馆（DL）-用户，数字图书馆的信息资源（基本是满足用户信息需求）传递从DL的存储介质传输到用户的手中，是信息服务的渠道和信息服务的过程。是信息服务的渠道和信息服务的过程。u如如果果在在100M100M带带宽宽的的网网速速下下，当当数数据据超超过过一一定定的的大大小小时时，通通过过网网络络传传输输往往往往不不如如直直接接快快递递硬硬盘盘来来的的方方便便。例如，当你数据大于35GB的时候，在北京市内通过快递的则较快速，如果大于100G的数据，那么只要是在国内，快递都要比网络传输的要快。6 6 信息压缩与传递信息压缩与传递18u6.6.信息传递信息传递u以北京联通为例，百兆光纤家庭用户由于受到上行速率限制，100兆光纤下行速率100Mbps，上行速率4Mbps。即点对点理论传输数值为0.5m/s，如果加上线路上的一些损耗，平均0.4m/s的传输速度差不多。以一块1TB的普通硬盘为例，一块硬盘相当于1024M1024G=1048576M数据。如果一块硬盘通过网络传输那么就需要2621440秒，换算成分钟则为43690分钟728小时30.3天的时间。u不同于家庭网络，大量级的数据往往出现在企业之中，体现在物与物的链接中。所以我们参考10Gbps网速的专网来进行测算，10Gbps专 网 的 理 论 传 输 数 值 约 为 1.25GBps。1EB1,073,741,824GB，所以传输1EB数据的时间约为：1,073,741,824GB/1.25GBps858,993,459秒 14,316,557分238,609小时9,942天27年u过去一部MP4电影几百MB，如今一部4K电影需要几百GB，那未来是不是一部全息电影需要几百TB的空间6 6 信息压缩与传递信息压缩与传递19u6.6.信息传递（发布技术）信息传递（发布技术）u6.1流媒体技术Streaming Media 是信息压缩与信息传递技术的有机结合，实现同步（实时）信息压缩与传递6 6 信息压缩与传递信息压缩与传递20u（1）定义：流流媒媒体体Streaming Streaming MediaMedia简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，于网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持6 6 信息压缩与传递信息压缩与传递21u（2）关键技术：流式传输。u（3）目前在这个领域上，竞争的公司主要有三个：Microsoft、RealNetworks、Apple，而相应的软件产品就是：Windows Media、Real Media、QuickTime。实时流式传输(Realtime Streaming)和顺序流式传输(progressive Streaming)u（4）流媒体播放方式 u1.单播；2.组播；3.点播与广播 6 6 信息压缩与传递信息压缩与传递22(5)(5)主流的音频、视频编码（格式）主流的音频、视频编码（格式）u1 PCM1 PCM编码编码 PCM 脉冲编码调制是Pulse Code Modulation的缩写 u2 2 WAVEWAVE WMA WMA就是Windows Media Audio编码后的文件格式 u3 3 MP3MP3编编码码 MPEG(MPEG：Moving Picture Experts Group)Audio Layer-3的简称，是MPEG-1的衍生编码方案 u4 4 VBRVBR：MP3格式的文件有一个有意思的特征，就是可以边读边放，VBR（Variable bitrate，动态数据速率）的技术 u5 5 OGGOGG编编码码 网络上出现了一种叫Ogg Vorbis的音频编码，号称MP3杀手 OGG的信念就是：OPEN！FREEu6 MPC 6 MPC 编码编码 u7 mp3PRO 7 mp3PRO 编码编码u8 RA8 RA .rm RA就是RealAudio格式 u9 9 APEAPE APE是Monkeys Audio提供的一种无损压缩格式 10 ASF（Advanced Stream Format数据格式）6 6 信息压缩与传递信息压缩与传递23 u（6 6）有有关关技技术术标标准准协协议议 FTP(File FTP(File Transport Transport Protocol)Protocol)文件传输协议文件传输协议 HTTP HTTP 超文本传输协议超文本传输协议u流式技术（流式技术（streaming technologystreaming technology）u1 1实实时时传传输输协协议议RTPRTP（Rea Rea Time Time Transport Transport ProtocolProtocol）目目的的提提供供时时间间信信息息实实现现流流同同步步，用用于于IPIP网网实实时时性性数数据据的的投投递递，还有还有IEFTIEFT定义的定义的RSVPRSVP、MIMEMIME、RTCPRTCP、RTSPRTSPu2 2实实时时传传输输控控制制协协议议RTCPRTCP（Real Real Time Time Transport Transport Control Control ProtocolProtocol）和）和RTPRTP一起提供流量控制和拥塞控制服务。一起提供流量控制和拥塞控制服务。u3 3实实时时流流协协议议RTSPRTSP（Real Real Time Time Streaming Streaming ProtocolProtocol）由由RealNetworksRealNetworks和和NetscapeNetscape共共同同提提出出流流媒媒体体的的应应用用层层协协议议，定义了应用程序如何有效地通过定义了应用程序如何有效地通过IPIP网络传递多媒体数据；网络传递多媒体数据；u4 4资资源源预预留留协协议议RSVPRSVP（Resource Resource Reserve Reserve ProtocolProtocol）提提供供业务质量保证业务质量保证u5 5 MIMEMIME（Multipurpose Multipurpose Internet Internet Mail Mail ExtensionsExtensions）通通用用因特网邮件扩展因特网邮件扩展6 6 信息压缩与传递信息压缩与传递24 （7 7）流媒体技术在数字图书馆中的应用及前景：）流媒体技术在数字图书馆中的应用及前景：1.1.用户远程教育与培训；用户远程教育与培训；2.2.宽带网视频点播宽带网视频点播 VOD（Video On Demand）-视频点播；3.视频会议；4.互联网直播（网络直播）6 6 信息压缩与传递信息压缩与传递25u6.2 推送技术（Pull/Push）u（1）定义：一种面向桌面系统接收器、服务器或存贮系统自动传递内容、数据或软件，桌面系统通过一定的技术标准或协议从网上的信息源或制作商获取信息，通过同步的频道向用户发送信息的新型技术。可建立Web广播站（Web Casting）网络信息广播系统，实际上传统的广播式媒体如信息台、影视点播与网络优势结合的产物。6 6 信息压缩与传递信息压缩与传递26u（2）发展模式：u 由Pull模式到Push模式发展，其中用户和信息服务商起到的作用和角色不同u（3）基本方法：u 1轮询/单点传送，一对一；u 2广播/IP多点传递；u 3持续连续传送；6 6 信息压缩与传递信息压缩与传递27u（4）类型：u1自动推送，类似传统图书馆信息服务的SDI定题检索（Selective Dissemination of Information）；u2事件驱动推送，基于规则的，建立内容与规则之间关系的中间层，规则可以驻留在服务器上的关键字过滤器，或者规则可以与一个数据库相连接（建立一个规则库），该数据规定“在X发生情况下，R必须传送到Z（Z可以最终用户、服务器、邮箱、手机或存储设备）6 6 信息压缩与传递信息压缩与传递28 u（5 5）特点：）特点：u 优优点点：实实质质软软件件，遵遵循循一一定定标标准准或或协协议议，根根据据用用户户定定义义的的准准则则，自自动动搜搜集集用用户户最最感感兴兴趣趣的的信信息息，然后在适当时候将其传递用户指定的地点。然后在适当时候将其传递用户指定的地点。u 缺缺点点与与不不足足：不不能能确确保保成成功功（广广播播方方式式），无无信信息息状状态态跟跟踪踪，不不能能实实现现信信息息跟跟踪踪服服务务，针针对对性性较较差差，信信源源任任务务重重，易易数数据据风风暴暴，带带宽宽浪浪费费，标标准准不不一局面混乱。一局面混乱。u（6 6）PUSHPUSH技技术术可可分分为为频频道道式式、电电子子邮邮件件式式、网网页页式或专用软件式四种；式或专用软件式四种；u 异步、实时推送，时间驱动异步、实时推送，时间驱动/事件触发推送，事件触发推送，6 6 信息压缩与传递信息压缩与传递29 u（7 7）PUSHPUSH方方式式：覆覆盖盖推推送送（Blanket Blanket PushPush）、过过滤滤推推送送（Filtered Filtered PushPush）、发发行行订订阅阅推推送送（Publish Publish and and Subscribe Subscribe PushPush包包括括创创建建频频道道内内容容、订订阅阅频频道道、通知用户）与频道推送。通知用户）与频道推送。u频道推送步骤：频道推送步骤：u 1 1选择一个选择一个PushPush平台；平台；u 2 2用频道实现用频道实现WebWeb页面；页面；u 3 3提高频道的吸引力。提高频道的吸引力。u 类类似似电电台台、电电视视台台对对外外播播送送节节目目信信息息，优优点点：服服务的主动性强，受众面广，推送性能好务的主动性强，受众面广，推送性能好6 6 信息压缩与传递信息压缩与传递30 6 6 信息压缩与传递信息压缩与传递（8）相关技术公司）相关技术公司如如Marimba公司利用公司利用PUSH技术软件技术软件Point Cast软件软件（服务器端、客户端、发射器、调协器）（服务器端、客户端、发射器、调协器）IP多播多播（IP Multicast）应用推送技术，美国网景公司产品应用推送技术，美国网景公司产品NetScaster利用利用HTML、Java、Javascript推送信息内容推送信息内容微软将微软将IE6.0结合，提出频道定义格式结合，提出频道定义格式CDF(Channel Definition Format频道定义格式频道定义格式)是微软为定义频道是微软为定义频道而开发的而开发的XML应用程序，频道使应用程序，频道使Web站点能自动通站点能自动通知用户重要信息变化。知用户重要信息变化。（9）发展趋势：面向用户的主动的）发展趋势：面向用户的主动的PUSH技术，利技术，利用智能代理技术，具有智能性、学习性和主动性等用智能代理技术，具有智能性、学习性和主动性等特点特点31DL如何解决随时随地获得的问题？如何解决随时随地获得的问题？32读者利用移动终端使用图书馆将是未来的发展趋势33移动图书馆平台：将OPAC检索、借还书提醒、电子图书阅读、期刊数据库查询及服务、视频播放、云图书馆搜索及服务等内容移植到到手机、mp4、电纸书、平板电脑等移动终端上3435手机的问题：屏幕过小，适合阅读休闲类图书不适合学习电纸书的问题：功能单一36苹果IPAD的问题：1价格高2开放性差37基于安卓系统的超星基于安卓系统的超星pad：1 性能：性能：10寸电容屏，寸电容屏，1G CPU,16-64G存储，存储，蓝牙、蓝牙、wifi、3G功能，功能，500万像素摄像万像素摄像头，头，2个个USB接口接口2 开放性：开放性：android系统，可以使用系统，可以使用email,word等功能，外接投影仪、鼠标、键盘。等功能，外接投影仪、鼠标、键盘。38思考题：思考题：数字信息（静态、动态）压缩的标准有哪些？数字信息（静态、动态）压缩的标准有哪些？u谈谈谈谈MPEGMPEG7 7与与MPEGMPEG2121标准的发展标准的发展u谈谈什么是流媒体技术及其在数字图书馆的应用？谈谈什么是流媒体技术及其在数字图书馆的应用？u谈谈谈谈数数字字图图书书馆馆的的信信息息推推送送相相关关技技术术及及信信息息推推送送服服务务的的发发展。展。u谈谈对移动数字图书馆的认识。谈谈对移动数字图书馆的认识。