云计算技术与技术选型分析

云计算技术与技术选型分析云计算技术与技术选型分析 本文关键词：技术，选型，计算，分析云计算技术与技术选型分析 本文简介：一、前言目前公安工作在视频应用方面，仍普遍采用人工视频处理、人工视频检索、人工视频识别分析的传统模式，面对爆炸性增长的视频监控资源，查找难、采集难、传输慢、解码难、分析难等瓶颈问题愈发明显，人海战术已经无法处理、应用海量监控视频资源。为此，采用“云计算”等先进技术，开展应对大范围、高容量视频监控图像云计算技术与技术选型分析 本文内容：一、前言目前公安工作在视频应用方面，仍普遍采用人工视频处理、人工视频检索、人工视频识别分析的传统模式，面对爆炸性增长的视频监控资源，查找难、采集难、传输慢、解码难、分析难等瓶颈问题愈发明显，人海战术已经无法处理、应用海量监控视频资源。为此，采用“云计算”等先进技术，开展应对大范围、高容量视频监控图像综合的应用和管理，进行视频处理、管理、应用的综合服务平台技术研究，对海量视频资源进行自动化、智能化分析处理，为警务实战工作提供针对性、高附加值视频图像综合应用服务，提高视频处理能力和效率已经势在必行。二、视频图像应用中所面临的问题视频图像应用中面临的突出矛盾和难点主要有以下几个方面：（一）快速增加的视频监控图像与效率低下的人工检索应用方式之间的矛盾随着视频监控探头数量的增加、密度的提高和种类的丰富，视频监控“天网”逐渐覆盖了几乎所有重点区域和公共场所，利用视频监控拼接串联，还原犯罪嫌疑人整个行为轨迹链条，已成为目前案件侦办过程中的重要技术手段和可信的原始证据。但是，监控探头的增加也导致一起案件所涉及到的视频资源总量呈爆炸性增加，目前主要依靠人工检索、分析的应用模式导致视频分析、应用能力的提高远远落后于监控探头的建设速度，“视频在，找不到”、“找得到，找太久”、“服务在，成本大”、“看不清，用不上”等问题非常突出，严重影响了监控图像资源在实战中的应用效果。（二）监控视频价值密度低、应用单一由于视频分析主要依靠人力，目前监控视频应用比较单一，主要服务于案件倒查挖掘线索和重大活动现场应急指挥等，对治安管理、巡逻防控、基础工作等其他公安业务工作，尤其在大区域范围内的视频管理与应用中，缺乏视频资源提取、组织、管理的有效工具和手段，“视频多、挖掘浅、难应用”现象突出，大量的有价值视频资源逐渐沉淀、覆盖。（三）管理成本居高不下传统的视频资源分级分散存储模式，缺乏海量视频资源组织管理与集中的应用平台，资源分散、寻找相应视频资源困难，视频标准不统一导致跨区域分析、处理难度高、资源消耗巨大，给海量视频资源的快速识别、处理和大规模并发应用造成了极大的阻碍，推高了整体视频资源应用的成本，扩展难、维护贵、安全保障难等问题越来越突出。三、架构设计（一）技术目标本文提出的基于分布式云计算技术的视频图像综合应用技术，主要针对日常治安巡控、重特大案件联合侦办以及视频特征线索自动识别、采集等警务工作需求，利用公安主导建设的联网资源以及.单位和个体自建的视频资源，通过对视频进行结构化描述，对视频图像进行智能化分析处理，为各业务警种提供视频调阅、分析、处理与应用服务，提高视频监控图像的应用效率、为全警开展视频图像应用提供技术支持。系统采取SOA架构和“平台插件”模式，实现对视频资源的整合和对各类视频处理模块兼容，通过灵活配置的视频处理工具，满足日常视频巡逻防控、大要案侦办和培训教学等各类复杂应用场景；系统采用“云计算”技术的分布式并行数据库、分布式文件存储技术、全文标签索引和全文检索技术实现视频应用系统业务事物处理、海量视频文件存储、视频自动化分析的结构化标注智和智能检索；通过云计算技术的引入满足系统各层次的线性扩展需求，降低管理成本、保障信息安全。（二）工作流分析视频综合服务平台的工作流程分为实时在线分析模式和事后离线分析模式。其中，实时分析模式输入实时视频流进行智能分析、视频布防、视频布控、视频追逃分析，返回报警信息给各业务警种，主要用于具备视频侦控预案的日常治安防控应用；事后离线分析模式输入视频录像或图片，进行视频转码、浓缩、分析、检索以及处理等视频侦查服务，可用于各类视频线索的深度分析、串并、关联。（三）整体结构设计根据功能需求，平台可以分成基础视频库、视频资源库、应用平台三个部分。原始视频资源通过视频监控平台和离线采集等方式进入基础视频库，作为原始视频素材，通过平台集成的各类视频处理第三方工具对视频进行实时处理后存入视频资源库，对视频资源进行特征采集、结构化、标签化。各类视频处理工具经过评估测试后挂接在应用平台中，对终端用户、外部系统提供应用服务和接口服务。一个典型的视频监控图像综合应用服务平台硬件、网络拓扑结构可以通过图2表示。系统采用异构融合的体系结构，充分利用高性能CPU与GPU处理能力，面向高性能计算与事务处理的多路结点相融合；通过操作系统的异构协同功能、交叉编译环境和资源管理系统的异构资源协同管理、全系统异构体系结构运行支持等，实现异构融合的高效能体系结构设计，适应不同规模的并行应用模式，高效支持视频分析及视频识别计算与信息服务。一个典型计算处理系统可由20个异构结点组成，通过高速互连网络进行结点间的通信连接，提供超高计算能力和通信能力，并通过高速网络连接大规模存储系统，提供与计算和通信能力相匹配的高速并发I/O访问能力。通过合理搭配不同视频处理工具运算量的消耗和普遍的使用频率，单个处理工具可动态调整负载并可具备64线程以上的视频处理能力。（四）海量视频调度实现从警务工作实践经验来看，视频应用对支撑平台的数据库的存储系统要求较高，多用户并发条件下，平台数据库需要具备较高的持续I/O吞吐率、数据安全性和可扩展性。在省或市级平台应用中，由于视频监控节点多，清晰度高，视频流处理压力大，传统的IP-SAN集中存储模式不论是网络带宽、磁盘IO还是扩展性和稳定性，都难以负荷大并发条件多源视频流存储和处理所产生的巨大压力，需要引入新技术对原有体系进行改造或替换。从目前互联网技术发展潮流趋势看，基于开源Hadoop架构的分布式文件存储技术和MPP并行计算技术是较为理想的技术路线。为实现高并发，高可靠的视频资源存储需求，视频监控图像综合服务平台的视频存储部分可以采用分布式文件存储解决方案。在实际操作中，市级或省级可由多个分局通过HttpFS做代理，组成一个大的集群，主要好处是从应用程序角度来看，多个分布的HDFS集群成为了一个统一的分布式文件系统，提供了统一的访问界面，对外可以提供HTTP/REST访问方式或者NFS访问方式。市级或省级平台建设部分节点作为本地视频处理的缓冲池和重要视频资源的存储池。同时，在视频处理环节，也可以通过搭建分布式集群环境实现可伸缩、动态配置资源的计算资源池。在视频综合服务平台中，计算集群由一组计算服务和一个作业调度服务组成，用于并行处理视频资源加工任务，例如视频结构化、视频转码、图片检索等。计算集群处理任务可根据处理视频资源内容和任务要求应用不同的任务处理分配模板，动态调整计算资源的分配，视频资源动态分时加载处理，在闲时运行重载模块，对视频资源进行深度采样分析和信息挖掘，在忙时进行简单标记和快速处理，通过削峰填谷，提高硬件资源的利用效率，节约硬件和网络成本。比如在重大案件研判、区域封控、视频特征提取和重大活动安保等情况下，可以通过快速添加服务器、动态减少非重点区域、非重点模块的运算量，优先满足重点工作任务，提高平台效率。（五）面向应用的模块建设系统通过提供统一的用户管理、授权管理和资源服务总线、各类服务接口、接口构建工具和运行监控系统满足对各类应用模块的管理、集成和调度。常见的视频应用模块包括但不限于：（1）视频布控。对重点部位、重点目标进行事前布控，通过模式识别分析差异化和特殊情况，寻找蛛丝马迹，及时制止犯罪行为，降低暴恐事件的.危害性和破坏性。主要用于视频监控对事件的事前预防。（2）快速联动。基于PGIS警用地理信息平台和视频资源位置信息动态快速串联视频资源，对特定目标进行识别和多视频源过滤、筛选、拼接，形成基于位置的完整视频链。（3）视频巡逻。智能分析视频中的可疑行为和物品，如异常人员聚集、打架斗殴、游行、事故等。（4）特征分析。智能获取图像中的关键信息，并进行结构化标签标注。如人员正面照片提取、车辆特征提取、人流统计、车流统计等。（5）视频自动增强。对过曝、模糊、失真等图像进行重点部位智能增强或去卷积、锐化、通道过滤、再次白平衡等操作，提高图像质量，减少人工操作。（六）Docker模式插件容器对一些第三方插件可以采用Docker虚拟化容器和远程服务的方式，在最小限度修改插件的情况下兼容不同供应方的模块，插件统一采用文件对象的方式对视频进行处理，通过分配文件Docker存储空间存储分析处理结构，并利用定期计划处理分析结果，完成标签标注和检索。由平台统一配置相关插件处理的视频种类、处理时间、授权范围。这种方式可以实现动态的插件管理和应用，可以根据当前任务需要灵活配置视频处理的流程，避免了传统插件模式应用在部署、维护和管理上的消耗。四、技术选型视频监控图像综合服务平台应用的新技术主要有hadoop分布式架构文件系统、分布式平台管理、MPP并行数据库架构和分布式并行运算等。（一）分布式文件系统视频云存储系统采用开源hadoop基础架构，由视频云存储管理服务器和存储设备组成。视频云存储管理服务器负责系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等工作，是整个系统的控制指挥核心；视频云存储存储设备是前端数据取流、存储业务执行的基础设备。通过管理信息与存储数据分离的多平面设计，可以保证前端的数据流直接写入存储设备，以节省用户的流媒体服务器数量，同时优化存储结构、减少存储故障瓶颈。为满足对稳定性、安全性的要求，系统对调度节点、网络设施等关键环节采取了冗余设计。分布式视频云存储部分的原理描述如图5所示。（二）分布式平台管理集群化管理：视频录像索引采用集群方式进行一级索引管理，无单点故障，保证索引数据的安全性，并能根据用户的各种查询条件进行快速定位。负载均衡管理：集群前端采用虚拟IP技术，对外提供统一的入口IP形式。在集群中根据各种算法，系统将集群访问进行分摊，降低单个节点的访问压力；当单台压力过大时，系统将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理：将整个存储设备统一管理，虚拟化为存储资源池，且将虚拟资源划分为块进行管理；对用户重要数据，通过虚拟块之间的相互复制技术，达到多份备份目的。离散存储管理：将前端数据通过特定算法平滑分散至各存储设备上，从而降低大量回放对单台存储节点的压力。（三）MPP并行数据技术视频分析同样会产生大量的结构化信息，例如车牌号、人上半身颜色、时间等。存储此类信息可以采用两种方式：文件系统和关系数据库。将结构化信息存储在文件系统中对于信息检索会非常麻烦，效率极低，但存储量巨大；采用关系数据库对于检索会非常方便，效率也非常高，但是当记录数量超过千万时，效率会下降的非常明显，甚至无法应用。为了解决上述矛盾，云架构中采用分布式数据库。五、功能、性能分析（1）分布式、异构、并行、开放的计算平台，能够兼容第三方视频处理算法、技术与工具，极大提高了视频存储、管理、分析、检索的效率。（2）通过全文模糊文本搜索，向视频应用系统提供视频结构化信息的模糊搜索服务，尤其是搜索用户手动标注的信息，实现对视频结构化信息的大规模高效查询。（3）基于Docker的模块集成。提供统一/标准化工具集标准规范，任何符合工具集标准规范的算法（包括第三方算法）/工具均可以添加到视频综合服务平台的工具集中，工具集中的工具可以运行于云计算集群中，大大地提高了系统平台的通用性。六、警务应用本文论述的基于云计算技术的视频图像综合应用平台已经逐步在河北全省开展建设。目前，已经完成了省级平台和两个市级平台的初步搭建，省级平台依托公安信息网和视频专网作为网络基础支撑环境，在云计算中心基础上集中建设了视频云计算平台，整合接入视频资源50000路，为视频应用提供公共的技术环境和服务支撑，各市级平台作为省级云计算中心的分支节点，接入视频资源300010000路不等，为各市提供个性化视频综合应用服务。参考文献：1赵星,廖桂平,史晓慧,等.物联网与云计算环境下的农业信息服务模式构建J.农机化研究,2021,4:142-147.2张建勋,古志民,郑超.云计算研究进展综述J.计算机应用研究,2021,27(2):429-433.3蔡凤颖.基于云存储的手机数据备份系统D.河北科技大学,2021.4许诗,文翰,肖南峰.基于无线视频传输的道路灾害监控系统J.重庆理工大学学报:自然科学,2021(10):46-53.作者：连珂 何博文 王毅 单位：河北省公安厅科技信息化处 云计算技术与技术选型分析