吉视传媒CDN建设方案详细

吉视股份 CDN系统建设方案（初稿）研发中心二一三年七月19 / 22目 录1.CDN简介11.1.CDN网络架构11.2.技术特点与优势11.3.CDN在VOD和OTT系统中的应用22.公司现有VOD系统部署与使用情况52.1.部署情况52.1.1. 后台管理系统52.1.2. 中心存储52.1.3. 视频服务器62.1.4. 系统网络62.2.平台使用情况72.2.1. 用户数与并发峰值72.2.2. 中心存储73.CDN系统建设方案83.1.理论依据83.1.1.参考架构83.1.2.容库、边缘节点与带宽的关系93.2.规模设计113.2.1.推流与分发能力需求113.2.2.中心节点容库设计113.2.3.边缘缓存网关设计123.3.功能与性能设计153.3.1. 容注入模块153.3.2. 与外围系统对接接口设计173.3.3. 容调度与管理系统183.3.4. 业务监控与管理功能184.时间表与路线图195.投资预算191. CDN简介CDN(Content Delivery Network，即容分发网络)是一种通过在现有的网络中增加一层存储网络架构，将网络中的热点容发布到距离用户最近的网络边缘存储节点的技术手段。能够达到在节约网络运营商核心层网络带宽使用的条件下，提高用户访问相关容的接入速度、体验质量的目的。1.1. CDN网络架构CDN网络架构主要由中心节点和边缘节点两大部分组成，中心节点指CDN中心存储、容调度中心与用户请求调度中心，完成CDN网络中容的存储与调度、用户请求的合理调度等功能。边缘节点主要指位于用户接入层部署的具有一定存储空间的边缘缓存节点，其依据中心节点容调度，实时动态调整边缘节点存储容，达到提高本地用户点播命中请求的目的。1.2. 技术特点与优势广义来讲，CDN具有如下技术特点与优势：1. CDN可依据用户所在的地理位置和接入带宽，将用户请求调度到最优的边缘节点上，降低用户访问网络的延迟和响应时间，给用户最优的访问体验；2. CDN可缓存节点可进行全局负载均衡配置，能够有效提高网络资源的利用率，完全在用户接入层实现提高网络服务性能与服务质量的目的，减少骨干传输网络带宽资源消耗；3. CDN网络能够动态调整全网容分布，可依据各地区用户的访问行为，实时动态调整全网各缓存节点存储容；4. CDN部署方式灵活，可依据业务发展，随时线性、平滑地增加设备，保护原有的投资；故ICP/ISP在进行系统平台建设或网络建设时，均会依据自身实际情况部署CDN系统。1.3. CDN在VOD和OTT系统中的应用提供VOD和OTT等业务的网络运营商为保证自身的平台与业务在与其他运营商竞争过程中，具有良好的扩展性和竞争性，用户能够获取更多的高标清视频点播节目、时移电视节目、跨终端播放容与定向广告容等，一般会基于自身网络状况建立合理的CDN系统，并在CDN系统之上承载VOD业务、多屏播放业务等。无论是VOD还是OTT，以视频为主进行网络融合是大势所趋。视频在过去的几年中，已经成为互联网流量增长最快的业务，主动获取或上传视频，直播或点播视频的发生频率直线上升。互联网视频容的随机性、突发性、点对点性使得视频与一点发送多点接收的广播式的容分发有着根本上的不同。这就需要在基础网络系统中叠加CDN系统，将容分发存储到网络边缘，通过网络的动态容分配和全局负载均衡，将用户请求指向可用并且距其最近的缓存服务器上，从而改善终端用户体验。基础网络系统中叠加CDN系统后，由于其部署在运营商的骨干网络与区域网络上，避免了在区域型网络运营商业务开展过程中，需要在每个节点部署与容库完全一致的存储空间，保证了运营商可以以很低的成本向用户提供大量的视频点播容；CDN通过动态缓存技术，可依据实际使用情况，将用户点播热度较高的影片动态调整到相应边缘节点，进一步节约了运营商的骨干网络带宽资源；CDN在影片注入到平台后，可以对预期热点较高的影片主动推送到边缘节点，降低了用户点播相关影片的响应时间，提高了用户点播体验；最后，同一套CDN系统，不仅仅服务于面向机顶盒点播的VOD系统，也可服务于面向计算机、PAD、智能手机等进行流媒体视频播放的视频服务平台。对于我公司来说，同一套CDN系统，不仅仅服务于面向机顶盒点播的VOD系统，也可服务于面向计算机、PAD、智能手机等进行流媒体视频播放的视频服务平台。我公司去年立项并规划的OTT平台将在今年开始建设，由于其以互联网流媒体视频容为主，随着用户规模的逐步发展，将逐步对平台进行分布式部署，届时同样需要CDN对OTT平台的流媒体视频容进行调度，如图1-1所示。图1-1 基于CDN的视频传输网络架构2. 公司现有VOD系统部署与使用情况2.1. 部署情况我公司VOD系统依照美国Comcast有线电视网络运营商制定的NGOD（Next Generation On Demand）企业标准建设。系统目前可分为后台管理系统、中心存储、边缘视频服务器3部分。其中后台管理系统和中心存储部署在省中心，视频服务器部署在每个地市和省中心，如图2-1所示。图2-1 我公司VOD系统各模块部署情况1.2.2.1.2.1.1. 后台管理系统我公司后台管理系统由龙视提供，该后台管理系统由AAA、IEPG、BMS、MAP、GRM、BI、SMP等模块组成。目前，按照公司系统设计，可支持21000用户的并发访问请求。2.1.2. 中心存储我公司中心存储由龙视提供，存储空间共有155TB，平台建设初期，对外接口带宽能力为6G，2012年10月由于用户并发的激增，系统提供商将接口带宽提高至14G，缓解当时中心存储吞吐能力不足的情况。但由于龙视并没有成熟的CDN系统开发经验，其提供的中心存储不具有高效的影片调度策略，无法将热点片源智能地分发到边缘节点上。导致用户点播时，能在视频点播服务器上命中的请求有限，增加了平台对核心网络带宽的需求。2.1.3. 视频服务器我公司VOD平台建设时，采用了混合式部署方式，即在各地市前端与省中心均部署有视频点播节点。共部署11个节点的视频服务器，其中在省中心部署2个节点，在每个地市机房部署1个节点。、延边部署的视频服务器为美国并行计算机公司的MH4500视频服务器；、与白山6个地区部署的视频服务器为华为数字技术的Smart CDN系列视频服务器，并且华为和并行还在省中心各部署了1个备份节点，总计11个视频服务器节点。2.1.4. 系统网络我公司VOD系统网络由信令回传网和数据流传输网两部分组成，信令回传网为我公司IP城域网，数据流传输网为基于波分的由交换机组成的三层交换网络。省中心至每个地市VOD平台在波分上有4条1G带宽链路，东西环各两条1G链路。地市至每个县市在波分上有2条1G带宽链路，其中1条走西向、1条走东向。2.2. 平台使用情况2.2.2.2.1. 用户数与并发峰值平台在一年多的运行周期，共发展交互业务用户14万余户，其中未激活用户数（未使用过VOD点播业务用户）近10万户，有效激活用户数（使用过VOD业务用户）4.5万余户。每日活跃用户目前稳定在1万用户，晚高峰用户并发峰值接近3000。2.2.2. 中心存储我公司NGOD架构VOD平台投入运营以来，系统容存储量稳步提升，平台现有影片资源总数73438条，占用平台存储空间90%以上，已达峰值。影片码率在4Mbps以下(平均码率3.56Mbps)共计59250条，时长25076.1小时；影片码率在4-6Mbps之间(平均码率4.72Mbps)共计187条，时长167.5小时；影片码率在6-8Mbps之间(平均码率6.89Mbps)共计3968条，时长1712.4小时；影片码率在8Mbps以上(平均码率8.07Mbps)共计10033条，时长7011小时。现网实际标清59437条，平均码率3.56Mbps，总时长25243.6小时；现网实际高清14001条，平均码率7.73Mbps，总时长8723.4小时（2013年5月15日平台数据）。另平台还含2000余小时的时移和回看节目。目前，业务部门拟在现有节目基础上提供更丰富的点播容，增加30套时移回看频道，平台现有存储空间已不能满足需求，需要对其进行扩容。经研发中心初步测算，需投资310万元（省中心存储盘阵扩容70TB，费用70万元，、延边地区存储各扩容14.4TB，软硬件费用约为60万元，其余6个地市各扩容15TB，软硬件费用合计约为180万元，总计310万元）。随着我公司双向交互业务的逐步发展，以与用户数量的不断增加，建设CDN系统是随着公司业务平台发展的必然选择，若按业务部门当前需求仅对中心存储与各地视频服务器存储进行扩容，则后续建设CDN系统时，本次存储扩容资金将属于重复投资，不利于资金的良性使用。3. CDN系统建设方案我公司经过近几年的发展，数字电视用户已经达到460余万户，VOD用户开户数已超过15万，有效激活用户数（使用过VOD业务用户）超过4.5万户，其中观看高清节目的用户接近30%。随着我公司用户数量的不断增加以与VOD平台点播容的不断丰富，我公司现有中心存储已凸显出性能瓶颈，将不能有效支撑业务规模发展的需要。为应对用户快速增涨和规模化应用的需求，需要在现有NGOD-VOD架构基础上建设CDN系统，依据实际使用情况，利用CDN的动态缓存技术，将用户点播热度较高的和预期热度较高的影片动态调整到相应边缘节点，达到节省公司骨干网络带宽资源、降低用户点播相关影片的响应时间、提高用户点播体验的目的。3.1. 理论依据1.2.3.3.1.3.1.1. 参考架构公司本次CDN系统依照美国Comcast有线电视网络运营商制定的CDN架构进行建设，系统由实时/非实时节目注入、容库服务、容扩散管理、中心存储容库和缓存网关等模块组成，如图3-1所示。图3-1 Comcast CDN参考架构实时/非实时节目分别通过A5和A3接口注入CDN系统中心存储容库中；通过动态缓存技术，依据实际使用情况，将用户点播热度较高或预期热点较高的影片主动推送到缓存网关，完成容的管理与调度；视频服务器通过C2接口实现视频流的拉取。3.1.2. 容库、边缘节点与带宽的关系在CDN的建设过程中，一般考虑图3-2所示VOD系统的网络拓扑结构，即VOD网络由一个中心节点与N个边缘节点组成的二级分布式系统。图3-2 中心节点、边缘节点、用户群连接关系在图3-2所示网络结构中，每个节点响应其覆盖用户群的视频点播申请，如用户点播容在该节点未能命中，则用户所点播由中心节点响应，即边缘节点未命中，则由省中心响应点播请求。在系统实际运营中，由经验可以得出中心节点命中率与相应边缘节点存储影片比例应具有一定的函数关系，二者符合长尾效应，即如图3-3所示的幂律分布关系。图3-3中心节点命中率与边缘存储关系经论证，三者之间的函数关系具有以下规律：当边缘存储固定，随着并发数的增长，最小带宽以线性方式增长；当并发数固定，随着边缘存储增长，最小带宽以幂指数方式下降；当带宽固定，边缘存储随本地并发流数量的增加而增加，但实际上以增加存储方式来支撑并发流的效应逐渐下降，即随着存储逐渐增大，每增加一定的存储时，可支撑的并发流数量逐渐下降。3.2. 规模设计3.2.3.2.1. 推流与分发能力需求按我公司市场业务部规划，2013年将发展50万VOD业务用户，具体分布为：190105户，87314户，延边51075户，34439户，37699户，22783户，18678户，25838户，白山32069户。按现有用户行为统计数据分析，在发展50万VOD业务用户时，在晚高峰期间，用户并发量峰值将达到3.3万。在本次系统设计过程中，为保证平台运行的稳定性和可靠性，预留一定空间，按每地市并发流比例为10%计算，支持5万并发点播请求。3.2.2. 中心节点容库设计业务部门拟在现有节目基础上提供更丰富的点播容，即将时移回看频道调整到系统最初设计的45套，建设的CDN系统应该具有以下的存储能力。按VOD事业部需求，平台点播容总量调整至50000小时（30000小时高清、20000小时标清节目），同时将时移频道调整至724小时的30套高清频道、15套标清频道。（以上容均生成正负8和32倍速的文件）。20000小时标清节目容，码率按3.75Mbps计算，所需净存储空间为：3.75Mbps200003600/8/1024/1024=32 TB；30000小时高清节目容，码率按8Mbps计算，所需净存储空间为：8Mbps300003600/8/1024/1024=103TB；30套高清和15套标清直播节目的724小时录制，所需净存储空间为：（830+3.7515）7243600/8/1024/ 1024= 21.36TB。以上所有节目按照目前提供8与32倍速快进、快退文件生成方式，在做RAID 5基础上并预留20%存储空间后，所需存储空间为322TB（32+103+21.36）（1+2/8+2/32）/0.8/0.8=322TB）。3.2.3. 边缘缓存网关设计3.3.1. 各地命中率均达到90%以上部署方式在每个地市建设边缘缓存节点，按现有平台运行命中率统计，若规划各地边缘缓存为中心存储30%，即各地CDN边缘节点缓存空间为91TB时，点播命中率可达90%。按平台单并发流平均带宽为4.5Mbps计算，则省中心至各地市所需带宽如表3-1所示。当并发数固定时，随着边缘存储的增长，所需带宽将以幂指数方式下降。表3-1 各节点所需带宽站点名并发数流化出口带宽(G)命中率所需带宽(G)1901083.5490%8.35873138.3790%3.84延边510722.4490%2.24344415.1390%1.51377016.5790%1.66227810.0190%1.0018698.2190%0.82258411.3690%1.14白山320714.0990%1.41平台目前省中心至各地市为4G带宽，且有效使用比例为90%。若以此方式进行部署，每个地市均建设边缘缓存节点，由表3-1可见，可以满足除和两地之外的并发需求，但当波分出现断纤后，省中心至地市带宽将减半，延边地区则存在带宽不足的潜在因素。省中心至所需传输带宽已高于现有带宽，可利用裸光纤随时对带宽进行扩充；对于地区，短期可不作处理，后续需对其进行扩容建设。2. 各地最大化使用骨干带宽部署方式在每个地市建设边缘缓存节点，按平台现有中心存储至边缘节点可用带宽为3.6G、单并发流平均带宽为4.5Mbps计算，可支持最大并发流数量为：3.61024/4.5=819。因此，在带宽不变的情况下，各地市在满足设计并发数量前提下，所需达到的最低命中率与所需部署的边缘存储比例理论值如表3-2所示。表3-2 各地市最低边缘存储比例站点名出口带宽(G)支持并发数设计并发数最低命中率边缘存储比例3.68191901096%69.6%3.6819873191%32.0%3.6819510784%28.7%3.6819344476%12.6%3.6819377078%13.8%3.6819227864%8.3%3.6819186956%6.8%3.6819258468%9.5%白山3.6819320774%11.7%表中数据是在系统建设后，实际并发数量能够达到或接近设计并发数量时，省中心至各地市3.6G带宽完全占用的情况下得到的。但实际上，由于用户点播具有趋同性，因此点播命中率与用户数量和用户行为密切相关。因此除和外，当其余各地市并发量较小的情况下，在实际部署过程中，应依据表中数据适当增加边缘存储比例。同时，在短期之在个别地区带宽可以支持设计并发数的前提下，可从节省投资的角度考虑，相应调整边缘存储比例。后续，当因用户数量或并发量增加而带来带宽压力增加时，对边缘存储进行扩容即可。3. 结合实际的分步式实施部署方式方案1与2均属于相对极端的部署方式，方案1部署方式简单，但投资较高；方案2部署方式复杂，投资低于方案1，但过度依赖传输骨干网络带宽。无论两种方案采用哪一种，均可以明确看出、延边三地用户数量较多，无论采取何种方案均需部署存储空间接近或超过30%以上的缓存节点。为保证公司CDN系统建设过程中，投资的合理性，可在CDN系统建设初期，首先完成中心节点CDN容库与容分发服务器建设，并在、延边地区部署存储比例为中心库30%的边缘缓存服务器节点。同时将其余6地市虚拟为一个存储比例为30%的缓存节点部署在省中心，服务于其余6个地市（如图3-4所示）。图3-4 CDN初期部署方式示意随着各地用户发展，当有地市至省中心资源带宽接近2G时（并发请求峰值接近400时），在相应地市部署边缘缓存节点部署边缘缓存服务器，当所有地市缓存服务器均部署完毕时，后续用户如果继续增加，则对VOD平台核心网络带宽进行扩容。3.3. 功能与性能设计3.3.1. 容注入模块容注入模块主要实现并完成非实时容与实时容的注入，一般由外部系统（如媒体资产管理系统、第三方容提供商、直播节目源）提供相应实时/非实时节目容，通过A3（非实时节目注入接口）与A5（实时节目注入接口）两个标准接口完成容向CDN中心容库的节目注入。在容注入过程中，同步生成用于影片快进快退操作的倍速文件与用于边缘视频服务器通过C2接口进行容拉取的索引文件。1. 对编码格式、码率与封装格式的支持在CDN系统设计过程中，计划支持MEPG-2、H.264两种主流的编码格式，兼容AVS编码格式（国家标准），可扩展支持H.265编码格式（与H.264相比，相同画质条件下，可将码率降低50%以上）。支持影片输入码率围在300Kbps至20Mbps之间。在媒体封装格式方面，计划支持MPEG-2-TS流封装格式，同时为了后续能够有效支持OTT视频业务，计划支持MP4、FLV、HLS等流媒体容封装格式。2. 容注入效率设计在容注入效率方面，针对实时节目注入，计划各节点设备可支持65套（30套高清，35套标清，或同等码率实时节目注入）以上直播节目录制；针对非实时节目注入，计划每小时可注入影片容总量不低于80GB（即影片注入能力不低于180Mbps）。在容注入过程中，CDN系统实时生成用于影片快进、快退播放的Trickfile倍速文件和用于边缘视频服务器进行拉流的Index索引文件。在容注入过程中，CDN系统对注入影片容按时长或大小进行碎片处理（即按照一定规则将一部完整影片进行切片处理，生成若干片段），实现单一影片的离散式存储，从而可以将尽可能多的影片热点片段存储在边缘缓存节点中，更近一步节约骨干网络传输带宽和边缘存储的使用效率。3. 针对实时注入容的时效性与校正设计在实时节目录制过程中，要求系统可依据节目单录制指定实时流媒体容，并封装成指定格式的媒体文件，在实时容节目录制过程中，可达到在当前时间节点上播放10s以前录制容的时效性。在系统依据节目单进行实时容注入时，系统可随时调整并更新1小时以后的节目单容（即将节目单有效更新周期控制在1小时以），以确保因突发事件导致电视台节目播出容与节目单不符实时，可与时调整系统节目单，实现对未来播放容的校正；在实时注入节目录制完成后，可依据节目单调整录制完成后的影片起止时间点容，以解决在系统录制过程中因时间偏差导致影片起止时间误差，实现对以录制完成容的校正。3.3.2. 与外围系统对接接口设计图3-5 CDN系统与外围接口如图3-5所示，在接口对接与集成方面，CDN要与VOD后台管理系统完成A3（非实时节目注入接口）、A5（实时节目注入接口），与VOD推流服务器完成C2（容定位与传输接口）对接。随着后续业务系统的逐步完善，与网络监控系统完成N接口（网管协议接口）、与数据存储、分析、挖掘系统完成W接口（数据仓库接口）、与日志存储系统完成L接口（日志获取接口）对接。同时，保留后续与OTT，其他视频容提供商通过 或HLS等协议的接口对接与集成能力。3.3.3. 容调度与管理系统在建设过程中，为保证良好的边缘节点命中率，在系统设计过程中，规划在用户并发访问请求达到1万以上时，容调度管理系统在边缘节点与中心存储比例达到30%比例时，可保证边缘节点影片命中率达到90%。 3.3.4. 业务监控与管理功能系统在设计过程中，为能够达到良好的人机互动，并能够对业务发展进行有效数据支撑，对业务运行状态进行实时监管监控，可对故障进行快速定位与处理，在系统资源使用到一定比例时进行自动预警。要求系统具有良好的业务监控管理系统。该系统可实现统计系统影片（片段）总数量，每个影片（片段）码率、时长以与每个节点用户并发访问总量；针对单一影片的快速查询、定位与删除；图形化监控各节点设备工作情况，负载（当前并发量、端口资源使用等）状况；图形化调整各节点直播容录制，录制后生成节目类型；统计各节点现有影片资源，每个资源在该节点被点击的次数；统计各节点影片资源更新效率；图形化监控各节点至中心节点带宽资源使用变化情况；各种阀值设置、预警控制等功能。4. 时间表与路线图在所有资源满足并且没有任何延误的条件下，按照如下拟定时间完成系统平台的建设：CDN建设方案需求设计约2星期；公司部流程约1个月；招标准备工作约2星期；招标后设备到货约2个月；设备到货安装约2星期；设备调试与接口对接约2个月；将现有容注入约3个月；上线调试、试商用约2个月。