智慧警务产品规划.ppt

陕西省社区警务系统建设方案 目录 四 社区警务 功能规划方案 三 三维GIS系统 二 虚拟现实系统分类 三 社区警务 架构规划方案 二 社区警务现状及面临新问题 社区警务信息最新趋势 社区警务 是指运用云计算 大数据 物联网等现代科技手段 实现视频数据采集全面化 数据加工处理智能化 治安防控群众化 管理服务应用深度化 社会安全服务更加全面 功能更加健全 管理更加科学的信息化平台 实现跨区域 跨部门的共建共享共用 充分发挥公共安全视频监控在服务居民群众 创新社会治理 平安城市和智慧城市建设 维护国家安全和社会稳定等多方面的重要作用 大数据处理技术代表了新一代的技术架构 这种架构通过高速获取数据并对其进行分析和挖掘 从海量形式各异的数据源中更有效地抽取出富含价值的信息 大数据主要被用于分析和决策 企业用以分析的数据质量越高 越全面 分析的结果就越接近于真实 大数据分析意味着社会能够从这些新的数据中获取新的洞察力 并将其与已知业务的各个细节相融合 对社会产生新的价值 处理需求 处理优点 并发性 数据增值 缓存 读写分离 负载均衡 用户特性 行为分析 社区警务趋势转变 互联网正在加速重构各行各业 大数据 人工智能迎来契机 业务模式 新技术企业化 目录 四 社区警务 功能规划方案 三 三维GIS系统 二 虚拟现实系统分类 三 社区警务 架构规划方案 二 社区警务现状及面临新问题 社区警务系统现状及挑战 未来挑战 当前现状 社区警务系统现状及挑战 公安社区警务工作具有很强的移动性 突发性 紧急性和时效性 对工作效率 反应速度 应变能力有着更高要求 方便社区民警 辅警和网格员开展社区警务工作 使 随采 随录 随用 成为现实 通过移动警务具备GIS 基站定位的特性开展矢量地图和影像地图的应用 如地址标注 附近地址 信息关联应用 需要提供存储各类文字 录音 摄像 拍照等信息 传统技术很难满足数据采集 数据处理 数据存储和数据挖掘等需求 提供数据仓库技术 物联网技术 视频平台技术 PGIS技术集成和协通工作方案 基于B S架构 ORACLE数据库平台 WEBSPHERE中间件平台 以JAVA为主要开发编程语言 系统使用范围局限于电脑端的访问 而社区网格民警的大部分的工作时间 地点是在访查现场 采集的数据无法在现场录入系统 需回到派出所或警务室使用社区警务系统进行二次录入 造成重复工作 主要问题系统互动性差 数据采集滞后 数据比对依赖人工 指令下达滞后 管理滞后 系统交互性差 存在信息孤岛 系统容灾型弱 系统依赖收费软件 数据oracle数据库 未来挑战 当前现状 社区警务系统问题 公安社区警务工作具有很强的移动性 突发性 紧急性和时效性 对工作效率 反应速度 应变能力有着更高要求 目前受网络 技术 工具等条件限制 信息大都处于离线状态 社区网格民警能在 第一时间 采集的信息无法实时进入公安网系统内 同时社区民警也无法在 第一时间 知道下发到其警务网格的指令 提醒等 直接导致的结果就是时过境迁 战机消逝 劳而无功 社区警务系统发展方向 社区警务发展阶段 基础建设 接入 联网 基本 附加 孤立 融入IT的新型治理和服务 内网手动录入 转型创新 外网智能录入 智慧的三秦云 基本在线服务 社区警务应用深度 智慧警务 智慧社区警务应用广度 智慧社区警务统一的网络平台 安全支撑体系 数据标准体系 孤立的数据云 三秦警务云 智慧社区警务成熟度 实时数据交换 实时数据采集 互联互通 智慧社区警务应用深度 实时数据通讯 物联网 云计算 人工智能 智慧社区警务统一的数据交换平台 智慧社区警务统一的业务处理云平台 大数据 社区警务发展愿景 全程电子化办公 待办事件及时推送 通过APP及时发布 接收各类警务通知 现有流程重新优化 各部门协调办公 社区警务发展愿景 无纸化一站式数据采集 社区警务发展愿景 通过指纹识别 视网膜识别取代原始的身份证识别 手机通过扫描指纹 视网膜特征来实现数据智能化采集 社区警务发展愿景 通过人脸识别技术 集视频分析 运动跟踪 人脸检测和识别技术在安防领域的全新综合应用 系统集高清人脸图像的抓拍 传输 存储 人脸特征的提取和分析识别 自动报警和联网布控等诸多功能于一身 并具有强大的查询 检索等后台数据处理功能及强大的通信 联网功能 可广泛应用于重要关卡的行人监控 系统布控灵活 变被动监控为主动监控 变事后处理为事中处理 变繁琐低效的人工查询为高效率的智能录像查询 有效的提高了视频监控的防护等级和效率 公安刑侦布控 人脸电子围栏 安全社区监控 技术架构面临的挑战 社区端 缺乏良好的数据交互能力 对上级代办指令响应严重迟缓数据采集及数据录入严重滞后 不能随时采集业务类型单一 难以满足不同用户需求 市服务端 数据关联性不强 存在信息孤岛依赖收费的中间件设备 数据存储受到严重限制系统容灾性差 单个主机故障影响整个系统使用数据交互能力严重不足 部分信息严重滞后缺乏数据上传下达的指令 数据交互不通畅 信息采集能力不足 数据存储交互不足 省中心端 系统比较分散 难以协通工作指令下达能力严重不足 导致市服务端严重滞后数据挖掘和分析能力严重不足 不能将数据有效串联 数据分析关联不足 目录 四 社区警务 功能规划方案 三 三维GIS系统 三 社区警务 架构规划方案 二 社区警务现状及面临新问题 目录 三 三维GIS系统 三 社区警务 架构规划方案 3 1 应用架构 3 2 技术架构 3 3 组件简介 基于云端的应用技术架构 APP WEB APP应用 SAAS 采集集群 提供分布式的服务架构 智慧警务的业务以及系统的相关告警服务和业务查询服务HTML5 提供良好的数据采集能力和消息交互能力PAAS HDFS Hbase SPARKSQL 提供海量非结构化数据的管理能力实时流处理云框架 提供事件流并行处理能力分布式集群计算框架 高并发 实时计算分布式集群缓存 提供高速的KV等读写能力 提高电子影票 账单查询的并发能力分布式集群队列 提高数据处理能力 提高系统的横向扩展能力 集群配置平台 提高系统的统一配置管理服务定位 提供所有服务的注册 查找定位能力Networkagent 提供云服务监控能力IAAS 提供相应的网络 存储 计算资源 社区警务平台应用技术架构 网络接入层 由硬负载均衡方式转换为软负载均衡方式 为企业节约成本用户接口层 替换掉原有的中间适配环节 利用当前流行的HTML5技术适配各种前端 减少维护成本集群服务层 增加分布式通信中间件 增加后台服务的并发能力 致力于提供高性能和透明化的RPC远程服务调用 将传统企业的SOA转变为可以伸缩的SOA治理方案 服务节点压力 复杂依赖关系 访问扩容 基础服务接入层 缓存 减轻数据库压力 提高手机端并发消息队列 将部分业务由同步转换为异步模式 提高系统的响应能力 其中配置 提供统一的配置管理搜索引擎 提高客户端的响应速度手机推送 提高服务的访问量和并发能力以及服务器端的资源消耗 业务应用层 技术优点 网路接入层 NGINX KEEPLIVE 利用反向代理和分发技术提高前端请求的访问量 服务中间层 DUBBO zookeeper 可伸缩性的SOA治理方案 以及提高业务的并发能力平台服务层 CODIS 减轻数据库压力 提高缓存及并发KAFKA 将部分业务由同步转换为异步模式 提高系统的响应能力 Zookeeper 统一的配置管理 将系统从冷启动转换为热启动模式 SPARKSQL 提高客户端的响应速度 将sql里面的like关键字替换为spark所提供的搜索功能 手机推送 Netty websocked 将传统的短连接转换为长连接模式 有客户端拉取的模式转换为有服务器端主动push模式 提高服务的访问量和并发能力以及服务器端的资源消耗 Mysql 采用读写分离的集群模式 提高数据库的吞吐量 社区警务平台技术架构方案 分布式通信中间件 DUBBO zookeeper 社区警务系统之间的流程图 app NGINX KEEPLIVE Appprotal Dubbo zookeeper 业务服务消费者 业务服务消费者 服务4 服务1 服务2 服务3 请求分发 请求分发 http请求 http请求 业务数据库 缓存 业务服务发布 业务服务发布 长连接 Rpc通信 长连接 Rpc通信 Json返回 Dubbo里面有三种负载均衡模式 1随机模式 2轮询模式 3权重模式 之所以能够分布式通信 最要通过zookeeper管理服务的发布 对于客户端来说 是无感做的访问 消息中间件 消息异步处理 平台前端应用开发技术 开发模式原生模式 Objective CorJavaWebAPP HTML5 bootstrap websocket混合模式 Native WebAPP混合开发模式优点开发成本低 门槛低开发过程灵活兼顾安全性和可变性 适应不同终端分辨率 平台前端应用开发技术 Native1 导航等常用功能 提升整体应用的性能体验2 摄像头等需要权限访问的功能 WebApp1 需要频繁调整页面显示内容2 频繁编写具有不同内容及功能的短寿命页面3 云端部署4 Trident Gecko Webkit U3 X5 Presto 平台前端应用混合开发技术 程序打包发布 消息推送 摄像头 重力感应调用 手机原生UI 稳定功能 优惠活动 易改版的云端页面 应用技术架构 dubbo架构 简介 分布式消息通信框架一个分布式服务框架 致力于提供高性能和透明化的RPC远程服务调用方案 以及SOA服务治理方案主要核心部件Remoting 网络通信框架 实现了sync over async和request response消息机制 RPC 一个远程过程调用的抽象 支持负载均衡配置 容灾和集群功能Registry 服务目录框架用于服务的注册和服务事件发布和订阅适用场景业务由粗颗粒度拆分为细颗粒度同一个业务场景可以部署到多台机器上 提高系统并发力极大提升了多应用服务的并发处理能力 1 2 3 应用技术架构 dubbo具体使用 dubbo作为典型的生产者和消费者模式 在 社区警务 里具体使用的流程如下 1 3 4 2 用技术架构 KAFKA介绍 高扩展性 基于kafka实现高度的前端业务平台的扩展能力 客户端数量可以做到无限量扩展 高并发性 基于kafka实现高并发消息集群能力 每个客户端可以根据订阅的消息不同 陆游到不同的主机上 打破了传统socket连接的访问瓶颈 支持超过百万并发用户的支持 高可用性 基于kafka实现消息的多副本备份能力 保证了消息的不丢失 应用技术架构 KAFKA使用 Kafka是一种分布式的 基于发布 订阅的消息系统 主要设计目标如下 以时间复杂度为O 1 的方式提供消息持久化能力 即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率 即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输 支持KafkaServer间的消息分区 及分布式消费 同时保证每个Partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 Scaleout 支持在线水平扩展 SharedNothing 代表数据库 MYCAT MYSQL 适合大数据量的OLAP应用 新型MPP数据库主要构建在x86平台上 为无共享架构 ShareNothing 依靠软件架构上的创新和数据多副本机制 实现系统的高可用性和可扩展性 负责深度分析 复杂查询 KPI计算 数据挖掘以及多变的自助分析应用等 支持PB级的数据存储 应用技术架构 分布式关系数据库 新型MPP分布式数据库基于开放平台x86服务器大规模的并发处理能力无单点故障 可线性扩展多副本机制保证数据安全支撑PB级的数据量支持SQL 开放灵活 应用技术架构 CODIS 简介 CODIS是一个使用ANSIC语言编写 支持网络 可基于内存亦可持久化的日志型 Key Value数据库 并提供多种语言的API特点 支持多种数据结构例如string list 双向链表 dict hash表 zset 排序set Hash类型支持发布订阅 队列场景支持数据AOF和RDB两种持久化性 适用场景 高频查询场景 一致性要求低场景 更新比较频繁场景 应用技术架构 CODIS具体使用 CODIS是一个分布式缓存代理中间件 可以实现多个redis集群 作为key value结构的内存数据库 在 社区警务 里有很多的使用场景场景 如用户权限信息查询 具体流程如下 应用技术架构 手机推送方案 传统模式 客户端采用轮训方式从服务器段获取请求数据 资源消耗大 时效性差新模式 基于服务器端 由服务器端主动向客户端推送的功能IOS端推送利用APNS的推送机制 服务端推送Android端推送由于google被墙 所以在国内无法使用google所提供的基于Android平台的推送服务 在国内目前存在第三方推送服务厂商或者原生的推送服务 目前基于android的主要推送技术1 基于NETTY协议实现Android推送 采用NETTY协议实现Android推送NETTY是一个轻量级的NIO无阻塞通讯 它是实现基于手机客户端的消息服务端推送服务器的理想解决方案 2 同时也可以使用HTML5的websocket 也可以实现用户在界面下的数据交互 3 解决方案在此基础上增加HBASE将离线消息存储 在客户进行下次开启服务的时候 进行推送 保证消息的不丢失 应用技术架构 警务终端采集方案 警务终端 大数据业务应用 业务侧应用 系统侧应用 用户推荐 排名分析 告警推送 任务下发 考勤管理 线索上报 可视化展示 行为日志 线索日志 受理日志 FLUME 数据清洗 GDIP KAFKA 大数据平台 SPARK SPARKSTREAM HADOOP sparksql mysql HBASE 业务数据ETL 数据服务层 RESTSERVER mapreduce 数据采集 DB NOSQL DATAX 采集日志 采用微服务架构方案进行模块化设计 提升模块可用性 降低模块耦合度 采用消息中间件技术提升系统吞吐量降低业务处理复杂度 清洗 转换后的ODS加载到分布式数据库规划保存1月 在分布式数据库内完成明细数据和轻度汇总数据加工生成 规划保存3个月 通过数据比对分析 有效关联图像数据与实名关系数据 非结化数据分析处理在Hadoop平台完成 产生的结果加载到分布式数据库 生成KPI和高度汇总数据加载到主数据仓库 Hadoop平台 主数据仓库 轨迹数据 关联数据 指令数据 信息子层 设备关系数据 用户关系数据等 非结构化数据 数据明细数据层 DW 数据汇总层 MK 高度汇总层 MK 应用库 分布式数据库MPP 数据访问 挖掘 SQL FTP HSQL API ETL 消息中间件 互联网 GN口 非结构化数据 省终端 警务端 视频端 采集端 监控端 业务平台 结构化数据 数据源 获取层 1 2 3 4 6 5 业务应用通过数据访问接口获取所需求数据 7 精细化营销 其他应用1 其他应用2 在逃数据 应用技术架构 数据处理流程 HDFS 分布式文件系统有较强的容错性可在x86平台上运行 减少总体成本可扩展 能构建大规模的应用HBase 非结构化NoSQl分布式数据库基于分布式文件系统HDFS 保证数据安全列式存储 节省存储空间提供大数据量的高速读写操作SPARKSQL 分布式关系型数据库数据可保存在HDFS 可提供海量的数据存储类SQL的查询语句 提供大数据的统计和分析操作 适合海量数据的批处理通过MapReduce实现大规划并行计算MapReduce 大规划并行计算引擎可将任务分布并行运行在一个集群服务器中 Hadoop平台提供了海量数据的分布式存储与处理的框架 基于服务器本地的计算与存储资源 Hadoop集群可以扩展到上千台服务器 同时 Hadoop在设计时充分考虑了硬件设备的不可靠因素 在软件层面提供数据和计算的高可靠保证 应用技术架构 数据仓库方案 HBase MapReduce SPARKSQL HDFS 快速的数据读取 大数据存储统计 复杂计算并行处理 应用技术架构 基于数据仓库技术的图像存储 图像灰度处理 图像采集表 1 图像特征算发编码 图像差异算法 2 图像索引算 图像文件目录存储 3 实名关系分析 图像及实名关系存储 4 深度算法学习 最优比对算法 5 图像数据仓库 应用技术架构 数据库选型 内存数据库 关系型数据库结合 HBASE SPARKSQL相结合关系型数据库根据用户要求制定 一般互联网上都采用mysql 企业级应用 尤其是关键性数据还是ORACLE数据库 内存数据库codis优点 减少数据库io的消耗 请求通过codis进行业务操作 提高系统的相应时间 利用redis丰富的数据结构 构建实时查询业务场景 支持持久化模式 如果采用持久化模式 codis的内存一般为物理机内存的30 40 左右 目的在于防止内存溢出 AOF持久化原理 codis将数据库做个快照 遍历所有数据库 将数据库中的数据还原为跟客户端发送来的指令的协议格式的字符串 然后Redis新建一个临时文件将这些快照数据保存 待快照程序结束后将临时文件名修改为正常的aof文件名 原有的文件则自动丢弃 由于在快照进行的过程中可能存在新增的命令修改了数据库中的数据 则在快照程序结束后需要将新修改的数据追加到aof文件中 后续的从客户端过来的命令都会不断根据不同的安全级别写到磁盘里面去RDB持久化原理 Rdb的主要原理就是在某个时间点把内存中的所有数据的快照保存一份到磁盘上 在条件达到时通过fork一个子进程把内存中的数据写到一个临时文件中来实现保存数据快照 在所有数据写完后再把这个临时文件用原子函数rename 2 重命名为目标rdb文件 这种实现方式充分利用fork的copyonwrite 另外一种是通过save命令主动触发保存数据快照 这种是阻塞式的 即不会通过生成子进程来进行数据集快照的保存 HBASE介绍 HBase是一个分布式的 面向列的NOSQL数据库 同时是一个高可靠性 高性能 面向列 可伸缩的分布式存储系统 利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群 存储海量轨迹数据 SPARKSQL介绍 ApacheSparkSQL如何用熟知的SQL查询语法提供与Spark数据交互的SQL接口 SparkSQL是一个功能强大的库 组织中的非技术团队成员 如业务分析师和数据分析师 都可以用SparkSQL执行数据分析 平台新技术点规划 本次架构中除了增加了分布式通信中间件 dubbo 缓存 codis 技术外还增加了其它新技术点 新技术点如下 基于Netty或者websocked为网络通信的手机推送功能 由短连接改为长连接方式 由客户端PULL的模式转换为由服务器端主动PUSH到客户端的实时高效模式 基于队列将部分业务由同步模式转换为异步处理模式 如通过队列 来延缓第三方接口的性能问题 增加搜索引擎 解决模糊查询所带来的并发访问问题 基于solr将文本全文检索转换为搜索引擎模式 提高文本检索速度 增加NGINX keeplive 将现有的单机模式转换为软负载均衡模式 降低成本 增加zookeeper 将现有的配置进行统一管理 由传统的系统的冷启动模式转换为热启动模式 增加Kafka消息中间件 是 它一种高吞吐量的分布式发布订阅消息系统 它可以处理消费者规模的网站中的所有动作流数据 实现多系统数据系统工作 增加hadoop大数据技术 实现海量数据的存储 分析 挖掘和快速查询 基于flume实时日志分析技术 实现对用户行为的实时分析 基于图像比对算法 实现人员真实身份补充 便于进行人员轨迹回放和重点人员监控 视频大数据平台 实现对案发现场的快速还原和跟踪 社区警务平台功能规划 三 三维GIS系统 四 社区警务平台功能规划方案 3 1 社区警务整体规划 3 2 社区警务服务平台设计 3 3 社区警务平台安全设计 三秦云 公安 企业 公众 社区民警 社区警务平台整体规划 社区 智慧社区警务 安全体系 访问权限 数据传输 资源储存 标准体系 应用标准体系 技术标准体系 消息中心 公共服务 门禁管理 人口管理 房屋管理 单位管理 治安防范 网上办公 警民互动 流动人口 辖区概况 安全检查 访客管理 情报采集 视频联动 实名登记 数据采集管理 代办任务管理 重点事项跟踪 公告安全管理 网络层 互联网 警务网 虚拟化的中间件 服务化的中间件 协同化的中间件 信息整合中间件 人口 数据 监控 互动 案件 社区警务平台整体功能规划 基础警务平台 社区警务平台移动警务规划 协同工作套件 统一通信协同插件 协同数据交换插件 系统集成插件 企业社区 远程指挥 数据统计 数据维护 任务下发 案件受理 远程监控 数据更新 警员考核 接警服务 即时通讯 程序共享 IP电话 短信服务 工作汇报 线索搜集 数据维护 单位管理 虚拟身份 代办处理 访客信息 人员管理 智能门禁 实名认证 重点人员 智能安防 视频监控 行业软件 数据提供 数据分析 数据加工 指令下发 智慧社区警务协同工作平台 社区警务平台整体规划 社区警务信息化建设目标 服务设计 服务准备 信息化主管部门统筹 社区终端 社区平台 服务使用 充分利用现有资源 避免新一轮重复建设 盘活存量资产以需求为牵引 以云计算为基础技术框架 以顶层设计为指导 以支撑各部门业务应用建设为目标 以服务为主线 服务实施 社区警务平台服务平台 社区警务服务平台整体基础设施 社区警务服务平台三纵三横 一体化应用 基础云架构 社区警务服务平台云架构 根据承载的业务特征 弹性调整资源占用 支持与省级平台的互联互通 支持数据的双向交互 保障公共治安的正常工作 平台承载的警务安全性要求极高 保障警务业务的顺利扩展 具备良好的自我管理机制 实现监控预警 秉承 一切皆服务 的理念 综合利用资源 向用户提供不同类型不同级别的多种服务 提供统一的接口 可以由第三方服务提供商将服务部署在平台上 再提供给用户使用 实现服务的多元化 社区警务应用服务平台 服务安全架构设计 主要规定安全保障措施 保障各子架构的运行安全和机构用户的数据安全 具体内容可以参见基于云计算智慧社区警务公共平台安全类标准 社区警务平台安全设计 谢谢