系统优点采用人脸识别跟踪技术课件

数字化校园微格录播系统解决方案 讲师：许恒飞u 随着数字化校园建设的推进，计算机网络和多媒体技术的发展,录播系统在课程教学录像的建设中发挥着越来越重要的作用。为了设计一套智能化录播系统,就录播系统的音视频技术、跟踪技术、录像编辑和录像资料传输等关键技术问题进行了分析研究,并提出了相关的实现技术,最后给出了系统实现方案。u 全自动录播系统主要用于学校精品课程建设、微格教学、优秀课堂资源的建设和数字化远程教育建设。它能够记录教师课堂授课的整个过程,表现教师授课的技术与艺术。录制的课堂教学录像通过计算机保存下来,并能够通过网络共享,展现优质教学资源和水平,并用于教学交流、教学评估u 全自动录播系统是教育信息化支撑体系中非常重要的一环,图像识别是人工智能的一个重要领域.图像识别应用于自动录播系统中,是实现录播系统从自动走向智能的重要环节.文章的研究基于目前图像识别研究中已经相对成熟且有成功应用案例的技术,构造录播系统的典型框架结构,给出基本设置,讨论可以获取的信息,分析如何解决实际应用中的问题u 录播系统的发展也经历了几代，从最早纯手动录制方式、超声波、红外、图像识别到现在的人脸识别技术。智能化技术的进步，大大影响着录播的发展，现有的录播系统完全自动化、智能化录制和数据传输，无需人工干预，从而使老师的常态化录制课件成为现实。一、概述v 精品课件制作：精品课件制作：按照精品课程建设要求，学校可以不使用专业的演播设备就轻松便捷制作精品教学课件。v 网络观摩：网络观摩：学校领导、教师在线直播观看授课情况，起到网络教学观摩的作用。传统听课，时常召集许多老师到现场听课，课堂人员非常多且拥挤，给上课的老师和学生造成一定的影响，配置录制系统后，听课老师可以单独在任意有网络的教室网络观摩。v 新老师培训：新老师培训：任何教师培训机构和学校通过此套系统方便进行老师的培训工作，参与培训的老师通过实况自动录像可清楚了解自身授课的过程及不足点。v 教学教研：教学教研：优秀教师教学是学校的宝贵资源，以往老师下课后，教师上课内容和过程都没有保存下来，造成资源浪费。各地教研组及教研单位可通过此套系统方便教学教研。v 课程回顾：课程回顾：对于重要录制过的课程，自动发布校园网，学生可点播回顾。二、系统的现代教育教学作用三、优势及分类3.1 系统核心优势系统核心优势录录 将上课过程自动录制到服务器上将上课过程自动录制到服务器上 播播 学生可以在网上听直播课学生可以在网上听直播课点点 学生可以在网上点播录制下来的课件学生可以在网上点播录制下来的课件动动 学生在互动教室不仅可以听课，还可以与教师实时互动音频交流学生在互动教室不仅可以听课，还可以与教师实时互动音频交流监监 通过网络，可以监控观看录播室通过网络，可以监控观看录播室 控控 控制中心可以方便远程控制系统运行控制中心可以方便远程控制系统运行评评 对发布的教室课件进行网上点评对发布的教室课件进行网上点评3.2 相关系统分类相关系统分类n 高清全自动录播系统高清全自动录播系统 （满足用户对高清画面的追求）（满足用户对高清画面的追求）n 标清全自动录播系统标清全自动录播系统 （满足基本用户的需求）（满足基本用户的需求）n 便携式自动录播系统便携式自动录播系统 （满足移动环境使用要求）（满足移动环境使用要求）n 班班通单机版录播系统（满足集控式大面积建设需求）班班通单机版录播系统（满足集控式大面积建设需求）3.3 系统系统 优点优点l 采用人脸识别跟踪技术，跟踪稳定、平滑，可自动切换到板书拍摄采用人脸识别跟踪技术，跟踪稳定、平滑，可自动切换到板书拍摄l 智能化程度高，各画面窗口自动切换智能化程度高，各画面窗口自动切换l 系统功能齐全，操作简单系统功能齐全，操作简单l 丰富录制模式可供用户选择，有丰富录制模式可供用户选择，有“电影模式电影模式”“”“画中画模式画中画模式”“”“三画面模式三画面模式”l 自动生成自动生成PPT索引文件，可快速定位相应的课件章节索引文件，可快速定位相应的课件章节l 支持网络直播，直播延迟支持网络直播，直播延迟1秒秒l 自动上传课件生成点播文件自动上传课件生成点播文件l 支持人工远程导播控制，鼠标窗口快速锁定跟踪目标支持人工远程导播控制，鼠标窗口快速锁定跟踪目标3.4 解决方案优势解决方案优势u 可根据用户不同需求，提供不同方案，有普通教室建设方案、阶梯教室建设可根据用户不同需求，提供不同方案，有普通教室建设方案、阶梯教室建设方案、报告厅建设方案等方案、报告厅建设方案等u 提供的方案考虑充分，从整个教室的装修、线路设计、设备安装、施工、后提供的方案考虑充分，从整个教室的装修、线路设计、设备安装、施工、后期维护都严格按照标准，为用户提供完整解决方案期维护都严格按照标准，为用户提供完整解决方案u 方案音频采集符合声学原理，在不同环境中提供不同解决方案，声音采集优方案音频采集符合声学原理，在不同环境中提供不同解决方案，声音采集优美美u 提供良好的录播室扩音解决方案，解决传统录播室建设的难点提供良好的录播室扩音解决方案，解决传统录播室建设的难点u 提供灯光建设方案，优化摄像机视频采集，达到录制完美效果提供灯光建设方案，优化摄像机视频采集，达到录制完美效果4.1 系统构架系统构架 四、功能描述四、功能描述4.2 高高/标清录播功能标清录播功能u 人脸识别教师人脸识别教师跟踪系统跟踪系统 采用人脸识别教师跟踪技术根据分析每个识别到的人脸特征不同，快速准确跟踪采用人脸识别教师跟踪技术根据分析每个识别到的人脸特征不同，快速准确跟踪定位，有效解决目前其他跟踪技术的缺陷，从而有效保证跟踪的稳定性、连续性、定位，有效解决目前其他跟踪技术的缺陷，从而有效保证跟踪的稳定性、连续性、平滑性。平滑性。特点特点 ：一体化集成设计，高度集成运动跟踪摄像机、分析识别摄像机及控制云台，采用高速一体化集成设计，高度集成运动跟踪摄像机、分析识别摄像机及控制云台，采用高速DSP数字图像处理技术和人脸识别算法数字图像处理技术和人脸识别算法 先进的先进的DSP图像分析算法来检测跟踪运动目标，稳定性好。目标丢失时间可设置，目图像分析算法来检测跟踪运动目标，稳定性好。目标丢失时间可设置，目标丢失后动作可选回到预置点标丢失后动作可选回到预置点/保持原位保持原位 自动锁定跟踪目标，跟踪过程不受外界环境光源等影响。摄像机具有背光补偿功能，自动锁定跟踪目标，跟踪过程不受外界环境光源等影响。摄像机具有背光补偿功能，在强光背景环境中可以看清整个画面在强光背景环境中可以看清整个画面 n人脸识别学生跟踪人脸识别学生跟踪人脸识别跟踪采用的技术人脸识别跟踪采用的技术完全与前面几种不同，摄完全与前面几种不同，摄像自动采集每位学生的面像自动采集每位学生的面部画面，根据算法分析变部画面，根据算法分析变化目标，引导摄像机跟踪化目标，引导摄像机跟踪拍摄。不受任何环境因素拍摄。不受任何环境因素干扰，准确率非常高。干扰，准确率非常高。n 简易操作简易操作开启上课前，输入开启上课前，输入基本信息即可。自基本信息即可。自动加载片头片尾，动加载片头片尾，具备上课、暂停、具备上课、暂停、下课功能。下课功能。n 自动录制功能自动录制功能多文件三分屏录制模式多文件三分屏录制模式多文件录制模式即每个录制多文件录制模式即每个录制的画面生成单一文件，录制的画面生成单一文件，录制下来的课件包含三个文件：下来的课件包含三个文件：教师画面文件、学生画面文教师画面文件、学生画面文件及电脑画面文件，通过专件及电脑画面文件，通过专用播放器播放。可播放时双用播放器播放。可播放时双击教师画面，教师画面和电击教师画面，教师画面和电脑画面交换位置，也可以将脑画面交换位置，也可以将任意一个画面放大到全屏观任意一个画面放大到全屏观看，用户具有很强的选择性看，用户具有很强的选择性PPT索引n 单文件电影模式（单文件电影模式（ASF）单文件电影模式录制课件时，教师画面、学生画面、教师电脑单文件电影模式录制课件时，教师画面、学生画面、教师电脑VGA画面都呈画面都呈现电影观看方式。当是老师主讲时，画面为教师画面，学生回答问题时，画现电影观看方式。当是老师主讲时，画面为教师画面，学生回答问题时，画面自动从教师画面切换到学生画面，老师操作电脑时，画面自动切换为录制面自动从教师画面切换到学生画面，老师操作电脑时，画面自动切换为录制电脑电脑VGA画面。画面。教师画面 学生发言画面VGA画面单文件画中画录单文件画中画录制模式录制为标准制模式录制为标准ASF文件，策略自文件，策略自动切换窗口画面叠动切换窗口画面叠加方式显示。根加方式显示。根 据不同。窗口有老据不同。窗口有老师、学生、师、学生、VGA，可以任意调整装口可以任意调整装口现实状态现实状态n 画中画模式画中画模式叠加小窗口大画面n 单文件三画面录制模式单文件三画面录制模式 单文件三画面录制模式录制的课件为标准单文件三画面录制模式录制的课件为标准ASF格式，录制为一个文件保存。格式，录制为一个文件保存。当主显为老师时，主画面为教师画面。操作电脑时，主面画自动切换变成电当主显为老师时，主画面为教师画面。操作电脑时，主面画自动切换变成电脑画面。学生发言时，主画面切换为学生发言画面脑画面。学生发言时，主画面切换为学生发言画面（主画面为教师画面）（主画面为教师画面）主画面为主画面为VGA画面画面主画面为学生画面主画面为学生画面n 网络视频直播网络视频直播高清录制、标清直播，采用高清录制、标清直播，采用H.264格式播放器观看，分辨格式播放器观看，分辨率为率为720*576，网络直播用户，网络直播用户可以选择教师画面、可以选择教师画面、VGA画面画面、学生画面可自动切换模式。、学生画面可自动切换模式。支持局域网、互联网直播，局支持局域网、互联网直播，局域网内不限并发数量，根据学域网内不限并发数量，根据学校的网络带宽情况自动调节。校的网络带宽情况自动调节。作互联网直播时，需要开放学作互联网直播时，需要开放学校网络端口，需要服务器带宽校网络端口，需要服务器带宽支持直播码流，做互联网直播支持直播码流，做互联网直播时，建议采用标清方式。时，建议采用标清方式。用户观看直播时，可选择采用用户观看直播时，可选择采用“单画面单画面”“”“画中画画中画”“”“多画多画面面”等方式。可以同时观看到等方式。可以同时观看到教师视频、学生视频、教师电教师视频、学生视频、教师电脑脑VGA画面。画面。用户权限播放窗口n 网络点播网络点播v 用户可通过IE浏览器点播录制好存储在多媒体录播服务器上的文件。点播可观看到的内容包括视频、音频和计算机屏幕内容。v 系统配置资源管理平台，对直、点播资源进行有效管理。v 点播平台具备录制课件自动上传及发布。v 点播平台具备录制课件手动上传及发布。v 采用流媒体技术，实现多用户点播观看。n 人工导播人工导播人工导播控制系统主要用于课程录制过程中多个场景及多路视频信号源、视/音频文件和计算机画面之间的自动切换，配合课堂录播系统使用，有效实现带特效功能的人工导播，可替代传统导播及特技切换台。v 非线性编辑非线性编辑录制好的课件可通过非编软件进行必要的修饰和编辑，使课件录制好的课件可通过非编软件进行必要的修饰和编辑，使课件更加完美，呈现完整的精品课程。此非编软件非常强大，功能更加完美，呈现完整的精品课程。此非编软件非常强大，功能齐全，可对视频、音频等进行处理。齐全，可对视频、音频等进行处理。n 录制课件参数录制课件参数码流45分钟占用硬盘空间帧率分辨率300k bit/s99M27帧秒1024*768400k bit/s132M29帧秒1024*768500k bit/s165M30帧秒1024*768900k bit/s296M30帧秒1024*7681Mbit/s337.5M30帧秒1024*7682Mbit/s675M30帧秒1024*7684Mbit/s1.35G30帧秒1024*768 1280*720不同学校和用户拥有不同的网络资源，所以系统为用户提供可以根据自己的实不同学校和用户拥有不同的网络资源，所以系统为用户提供可以根据自己的实际情况，选择录制效果的参数。际情况，选择录制效果的参数。n 音频采集及扩音音频采集及扩音 介绍：介绍：录制一堂优秀的精品课不只有高清晰度的视频，还要有高保真的录音效录制一堂优秀的精品课不只有高清晰度的视频，还要有高保真的录音效果才是完美，而在录播系统中声音的录音采集往往被忽略，或使用调音台等音果才是完美，而在录播系统中声音的录音采集往往被忽略，或使用调音台等音频设备，实际操作非常复杂，在教学现场，要如实地记录老师讲课和学生互动频设备，实际操作非常复杂，在教学现场，要如实地记录老师讲课和学生互动声音场景，就需要一套专业的、完善的、操作简单的音频解决方案才能采集到声音场景，就需要一套专业的、完善的、操作简单的音频解决方案才能采集到高质量的声音。高质量的声音。我们针对教学现场的拾音技术上进行了深入地研究，设计出我们针对教学现场的拾音技术上进行了深入地研究，设计出新型的话筒智能混音器与强指向性麦克风配合使用的方案，让老师、学生在不新型的话筒智能混音器与强指向性麦克风配合使用的方案，让老师、学生在不携带无线话筒的情况下，同样能录制出高保真的现场声音效果。携带无线话筒的情况下，同样能录制出高保真的现场声音效果。教学录音系统主要有如下教学录音系统主要有如下3个问题个问题录播室由于离话筒位置不同，导致声音采集大小不一样录播室由于离话筒位置不同，导致声音采集大小不一样由于学生集体回答或播放素材声音时声音响度大，在这种情况下会出现由于学生集体回答或播放素材声音时声音响度大，在这种情况下会出现 录音失真，或录音声音过大的问题录音失真，或录音声音过大的问题由于要录制较远的声音，所以话筒灵敏度很高，就会出现录制的环境由于要录制较远的声音，所以话筒灵敏度很高，就会出现录制的环境噪音大，信噪比小，录音清晰度低的问题噪音大，信噪比小，录音清晰度低的问题A.配置方式 共布置了8支强指向话筒，教师的4个，学生的4 个，位置分布见图中所示，8支话筒要达到一个良好的录音效果，必须根据现场的情况不断的进行调整，由人来控制显然是不太现实的，使用我们的话筒智能混音器能很好地解决这一难题，它可以实现自动调整话筒音量、自动开闭话筒。实践证明，在不需要人员操作的情况下，能够出色的完成声音的拾取工作，实现了声音的完美采集，准确还原教学现场声音。B.方案优势方案优势八路麦克风具备声控自动开闭功能，根据音源的位置和声音的大小自动八路麦克风具备声控自动开闭功能，根据音源的位置和声音的大小自动打开相应的打开相应的1 1只或只或2 2只话筒，可有效的减少环境噪音的拾入，提高录音的清只话筒，可有效的减少环境噪音的拾入，提高录音的清晰度，保证教室内均匀拾音，同时采用无痕、无噪切换开关，避免了内部晰度，保证教室内均匀拾音，同时采用无痕、无噪切换开关，避免了内部噪音的产生噪音的产生采用自动压限技术，保证在不同距离内讲话，拾音的音量大小一致，采用自动压限技术，保证在不同距离内讲话，拾音的音量大小一致，同时也解决了现场声音过大时录制音频失真，和录制信号过大的问题同时也解决了现场声音过大时录制音频失真，和录制信号过大的问题使用强指向性话筒，采用语音滤波电路，可以降低人声外的频率成分，使用强指向性话筒，采用语音滤波电路，可以降低人声外的频率成分，提高信噪比，保证声音清晰干净提高信噪比，保证声音清晰干净采用先进的降噪技术，可有效的降低环境噪声的录入，可降低环境噪音采用先进的降噪技术，可有效的降低环境噪声的录入，可降低环境噪音10-15DB五、技术原理五、技术原理5.1 直播采用直播采用H.264技术技术H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码（Advanced Video Coding，AVC），而且它将成为MPEG-4标准的第10部分。因此，不论是MPEG-4 AVC、MPEG-4 Part 10，还是ISO/IEC 14496-10，都是指H.264。H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.52倍5.2 人脸识别跟踪技术v 人脸识别，特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。v 人脸识别技术是基于人的脸部特征，对输入的人脸图象或者视频流.首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份v 采用人脸识别技术实现教师及学生的识别跟踪，准确率高于目前所有跟踪技术 五、案例五、案例六安市委、市政府为统筹经济社会和谐发展，进一步加快六安中心城市建设步伐，促进城区教育合理布局，提升城区基础教育水平，市政府实施了城区义务段学校改扩建工程，在市教育局的直接领导下，于2006年创办了国有民办体制的市直属现代化寄宿制完全中学皖西中学学校教育教学设施全部按省级示范中学建制标准建造，其中科教楼、初中部、高中部教学楼各一幢；拥有理化生实验室、科技活动室等各种专用教室及设备；配置有先进的计算机网络、多媒体教学及通讯系统；建有可容纳2000余人的学生餐厅和男、女生公寓各一幢，学生公寓空调、热水等设备齐全。学校现有班级近100个，拥有包括省、市级“优秀教师”“师德标兵”、“教坛新星”、“先进教育工作者”等近300名品格优秀、业务精良的辛勤园丁、安徽省教育系统先进集体、六安市高中教育教学先进单位。为进一步提高学校信息化水品，落实安徽省电教馆教育信息化建设要求。于2012年4月在市教育局统一安排下，采购了一批先进高清自动录播设备。整个建设从设计、施工、培训、使用都严格把关。整个高清全自动录播教室在装修、灯光、桌椅、多媒体设备配置都充分考量，保证了整体的先进性和整体美观。