直播技术方案路演

单击此处编辑母版标题样式,编辑母版文本样式,第二级,第三级,第四级,第五级,直播技术方案路,演,提案,直播技术方案,直播应用场景,01,视频聊天,02,直播答题,03,社交平台,04,远程教育,05,远程医疗,06,单兵作业,常用直播功能项,观看直播,聊天,礼物,房间逻辑,用户逻辑,系统设置,直播列表,录播主播,直播流程,音视频采集,视频滤镜,音视频编码,推流,流媒体服务器,拉流,音视频解码,音视频播放,直播协议,RTMP,HTTP-FLV,HLS,优势：实时性高（延时,1,3,秒），编码兼容性高，稳定性高,劣势：,播放兼容性差,，RTMP最大软肋，因为是Adobe的私有协议，很多设备都无法直接播放,优势：性能高（延时,1,3,秒），所以从延迟角度来看，HTTP-FLV要优于RTMP。（服务器上直接转码成,http-flv,，客户端直接观看）,劣势：,移动端对于HTTP的支持不是很完善,优势：自适应码率流播,劣势：实时性差,基本上HLS的延迟在10秒以上,流媒体开发,帧,：,每帧代表一幅静止的图像,码率：图片进行压缩后每秒显示的数据量。,流媒体开发:网络层(socket)负责传输，协议层(rtmp或hls)负责网络打包，封装层(flv、ts)负责编解码数据的封装，编码层(h.264和aac)负责图像，音频压缩。,帧率：每秒显示的图片数。影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。,直播架构,采集端（主播）,常用框架,FFmpeg,框架,:,编解码,推流,h264,框架：视频格式转换,librtmp,框架：推流,采集端流程,1.,音视频采集,2.,视频处理（美颜、水印）,3.,音视频编码压缩,4.,将音视频封装成,flv,格式,流媒体服务器,常用服务器,nginx+rtmp_module,Red5,SRS,服务器流程,1.,数据分发（,CDN,）,2.,实时转码,3.,截屏：展示主播封面,4.,录制视频,播放端（观众）,常用框架,FFmpeg,框架,:,编解码,拉流,ijkPlayer,框架,:,播放,librtmp,框架：推流,播放端流程,1.,拉取,flv,视频流,2.,音视频解码,3.,播放,4.,聊天互动,推流,URL,拉流,URL,推流,rtmp,拉流,rtmp,hls,flv,采集端逻辑,采集端,业务服务器,流媒体服务器,创建房间,创建直播流,返回直播流,返回直播流地址,推流到直播流地址,播放端逻辑,播放端,业务服务器,流媒体服务器,查询房间列表,返回房间列表及播放地址,拉流播放,流媒体服务器,SRS：一款国人开发的优秀开源流媒体服务器系统,BMS:也是一款流媒体服务器系统，但不开源，是SRS的商业版，,比SRS功能更多,nginx:免费开源web服务器，也常用来配置流媒体服务器。,集成,Rtmp_module,即可。,Red5,：是,java,写的一款稳定的开源的,rtmp,服务器。,最简单,Demo,1,、环境：,ubuntu,、,centos,、,archlinux,、,debian,等主流,linux,系统,2,、下载并配置,nginx+rtmp_module,服务,3,、安装,ffmpeg,、,vlc,4,、推流：,ffmpeg-r 25-f dshow-s 640480-i video=”video source name”:audio=,”,audio source name”-vcodec libx264-b 600k-vpre slow-acodec libfaac-ab 128k-f flv rtmp:/,127.0.0.1:1935/live/test,5,、播放：,vlc rtmp:/127.0.0.1:1935/live/test,开发技术点,服务器的搭建与部署：,nginx+rtmp_module /Red5 /SRS/livego,ffmpeg,编解码,:C/C+,ijkplayer:一个基于FFmpeg的开源Android/iOS视频播放器（开源）,API易于集成；,编译配置可裁剪，方便控制安装包大小；,支持硬件加速解码，更加省电,简单易用，指定拉流URL，自动解码播放.,消息互动：即时消息通讯，通过网络实时传输文字、图片、语音、与视频,客户端：,PC,、,ANDROID,、,IOS,、,HTML5,opencv,图像处理（磨皮、美颜等）：,C+,方案选择,自研,第三方,SDK,长远来看，自己开发更节省成本，,技术层面比直接使用第三方,SDK,更可控,时间成本与风险比直接使用第三方,SDK,要大。,效率高、风险低,由于存在授权、版权的费用，长期使用不划算,技术层面存在不可控因素,技术延展,结合tensorflow 做视频分析,比如：车牌号识别、人脸识别、动物识别等,视频内容搜索,比如：在视频中搜索一只小猫，查找嫌疑犯、鉴黄等,谢谢,