北京市政务大数据平台顶层设计框架及应用方案

北京市政务大数据平台顶层设计框架及应用方案 本文摘自穆勇在中关村大数据产业联盟上所做的演讲 一 大数据在政务领域应用的概述 说起大数据技术的应用 首先是在互联网行业起步并逐步拓展到电信 金 融 工业等多个领域 产生了巨大的社会价值和产业空间 现正拓展到政务领 域 一 大数据技术在互联网行业的成功应用 那些地方是值得我们关注的 第一 应该是思维观念和运作方式的变化 所谓的互联网思维 其核心理 念包括 体外互动 邮件 电话 信件互动 服务导引 服务外包 购买服务 简单服务 让渡社会 众包 自助服务 边界开放 数据开放 创造服务 第二 是其技术演进 针对数据处理的技术 首先是传统数据分析处理阶段 该阶段是面向结构化数据 非结构化处理 效率低 硬件成本高 平台兼容性差 其次是基于云计算的大数据处理阶段 该阶段总体有了很大的改进和提升 主要体现在 具备结构化 非结构化混合分 析的能力 基于消费级硬件 不依赖高性能 高可靠性硬件 从而保障系统性 能和可靠性 平台兼容性好 扩展性高 进而业界又提出去 IOE 的思路 第三 是数据挖掘分析技术 画像技术以及各类数据融合 分析 挖掘 预测等 这些都是政务领域需要学习与借鉴的 为此 我认为 大数据在政务领域 应用即包括用新的思维 模式与技术来解决电子政务需求 也包括了政务大数 据新的应用 对于第一个方面比较容易理解 对于第二个方面需要对政务大数 据给出定义 有些人认为政府没有大数据 只有传统的小数据或中数据 这个 问题我们将在下一节专门中进行讨论 政务领域是大数据应用崭新的领域 它将极大的改变政府的管理模式 有 利于节约政府投资 提高政府决策能力 提升公共服务和社会管理能力 开展 大数据在政务领域的应用是大势所趋 势在必行 同时 政务大数据本身也不 同于其他领域或行业的数据 其复杂程度和需求的多样化比互联网行业大的多 也难的多 二 政务大数据的定义及特点 按照政府管理的数据来源和种类 可以分为下三类 第一类业务数据 业务办理过程中采集和产生的数据 第二类民意社情数据 对社会企业个人对象进行统计调查获得的数据 第三类环境数据 通过物理设备采集获得的气象 环境 影像等数据 在以前的电子政务建设阶段 政务信息资源开发利用更多的是集中在前两 种类型和结构化数据上 而对第三类数据 特别是实时的 非结构化 半结构 化数据的开发利用相对较少 随着政府业务在互联网 移动互联网 物联网等 领域广泛和深入的应用 第三类数据的数据量和价值都在迅速增长 相关数据 处理技术也逐步成熟 便于区别不妨把包含第三类数据的政务信息资源叫做是 政务大数据 政务大数据与其他领域大数据相比具有鲜明的特点 体积大 增速高 涵盖经济社会管理的方方面面 数据积累量巨大 每年 处理的数据呈指数级增长 种类多 价值大 以宏观经济基础数据为例 涵盖经济 社会 医疗 环 境 工农业 教育 旅游等社会关键领域数据 具有极为重要的社会和经济价 值 垄断性 难获得 政府部门及公共企事业单位采集数据有些是专营的业务 一般企业是采不到 也买不到 通过以上可以看出 政务大数据同传统数据相比 不仅包括结构化数据 更包括大量非结构化数据 且具有数据量大 应用价值大 速度快 种类繁多 等特点 我们要高度重视大数据应用对政务工作正在带来和将要带来的各种影响 充分认识推进大数据应用的必要性和紧迫性 加强顶层设计 分专业分步骤实 施 开展政务领域的大数据应用首先是观念 思路的转变 转变电子政务建设 主体 由政府营造创新发展环境 引导企业为主体开展电子政务建设 同时 我们政府也需要在实际工作中给予支持和指导 一方面采用给予适当的政府补 贴和协助优秀电子政务解决方案的推广应用等方式 帮助初创企业快速成长 另外 在社会服务领域 政府退到后台 提供数据和基础服务 让企业直接面 向社会提供贴近需求的服务 大数据在政务领域的应用可以涉及到政务领域方 方面面 今天因为时间有限 就领导决策 社会管理 公共服务等几个方面做 简单说明 领导决策 大数据的包容性将打开政府各部门间 政府与公众间的边界 信息孤岛现 象大幅消减 数据共享开放成为可能 而数据开放使得公众更多的参与决策 这势必直接影响组织怎样作决策 谁来决策 甚至将改变决策过程和结果 同 样会带来如下本质的改变 直觉的判断被迫让位于精准的数据分析 人类必须依靠数据作决策 甚至 将决策权完全交给数据 公众多途径参与 必将深入影响政府决策 社会管理 政府数据与互联网数据相结合 分析艾滋病 公共服务 通过对政府面向市民的互动数据的分析 为市民提供更精细化和个性化的 服务 如对政府呼叫中心海量非结构化的语音数据 服务过程和服务问题的分 析处理 深度挖掘客服语音数据价值 可以更好的支撑服务和营销 进一步改 进政务呼叫中心工作 另外通过大数据搜集和分析民众关心的问题 包括舆情 口碑等 为市民提供更好的服务 二 政务大数据应用基础和前提 开展政务大数据应用 需要具备哪些基础工作和必备条件 在政务领域开 展大数据应用并不是从零开始 我们各级政府开展电子政务工作已经多年 在 很多领域都做了很多工作 为政务大数据应用奠定坚实的基础 归纳起来有以 下几个方面 在信息资源管理的规章 制度 标准方面 国家和北京市政府相应制定并 出台一系列规章制度 如 关于加强信息资源开发利用工作的若干意见 中 办发 2004 34 号 中华人民共和国政府信息公开条例 国务院令第 492 号 2007 关于加强政务信息资源管理的若干意见 京信发 2009 2 号 北京市信息化促进条例 2007 第三章为信息资源开发利用 政务 信息资源共享交换平台管理办法 京信办发 2008 13 号 等 强化政务信息资源管理的基础工作 如为加强电子政务基础工作 2006 年 市信息办发布 关于加强部门电子政务基础工作的通知 要求全市各部门按 照 四清两统一 要求 做好业务 服务和信息资源梳理与目录编制工作等基 础工作 信息资源基础建设设施方面 包括建立了完善的市共享交换平台 物联网 应用支撑平台 移动管理平台 政务云 四大基础库 各类重要信息系统及信 息资源库 350 余等基础设施及核心业务信息方面工作 这些工作为开展政务领域大数据应用奠定坚实的基础 三 北京市市级大数据平台顶层设计框架 大数据在政务领域应用 区别于以往重要一点是 更加强调的事政务大数据 的开放和共享 一是委办局之间政务数据资源的共享 二是面向社会公众开放 政务数据资源 政府部门及相关公共企事业不但要尽可能地开放数据资源 还 要以购买服务或资源换投资等方式引入政务应用与服务 发挥社会与市场的力 量改善政府服务能力 政府数据的开放共享是大数据在政务领域应用的条件或 前提 一些单位 如北京 上海分别建立了专门的网站 汇集各政府部门可开 放的 有经济和社会利用价值的数据资源 为社会企业或个人服务开发者提供 各类实时与非实时数据的下载和服务 目前已经取得了一些的成效 并举办了 推广活动 如北京市政务数据资源网 成功举办了 2014 年北京市政务数据资 源网应用创意大赛 得到了社会公众广泛的关注 也涌现出了 晒公益平台 优质幼儿园 中小学招生地图 掌上交通综合信息服务 等一批优质 服务产品 作为北京来说我们已经有了共享交换平台 物联网平台还有政府数据开放 网站等重要的信息化基础设施 为什么还需要重新规划一个市级的大数据平台 它与现有的这些平台和系统是什么关系 与各委办局的大数据应用系统又是什 么关系 这是由他的功能定位来确定的 这个平台不同于以往的共享交换平台 强调的是数据的融合 使用 落地 有些数据比如涉及政府内部数据如人口数 据 医保数据等是买不到的 还有视频数据不是可以随便安摄像头采集的 还 强调了对现有平台 系统及数据资源的调度管理 一 平台定位及与其他系统关系 与委办局大数据应用系统关系 首先 各委办局或区县可以按照自身业务 需要建设大数据系统 也可以为市级大数据平台提供部分数据 并可以从市级 政务大数据平台获取各类大数据资源 其次 各专项大数据应用是在各委办自 己大数据应用系统中完成 与现有信息化基础设施与系统关系 市级政务大数据平台充分利用原系统 和平台已经实现的功能 并融合现有数据和新数据 具有现有系统无法实现的 海量数据快速处理能力 二 市级政务大数据平台的功能目标 提供各类数据的融合与共享服务 提供空间 法人 人口基础融合数据资 提供大数据目录的注册 发布 查询 获取 应用等服务 向各委办局大数据应用平台提供大数据服务支撑 通过首都之窗 Data 网 站等办公门户向政府部门和社会公共提供数据使用服务 为需求单位提供大数 据处理通用接口及工具 并统一实现与外部数据的接入服务 通过物联网平台 互联网平台 共享交换平台等信息化基础设施和系统汇集 存储 分析相关数 据资源 强调了对各类数据的处理能力 包括对结构化的 非结构化的 音频 视频 包括各种结构的数据处理能力 特别是有来自于物联网的实时数据 和 互联网的日志数据等 下面我们来看一下 市级大数据平台的业务模型框架 数据模型框架 技 术模型框架 三 总体功能架构 四 核心功能 1 对基础库 物理网数据 互联网数据 外部数据的采集汇聚 2 对以结构化数据为主的传统数据的融合处理 3 对以非结构化 音频 视频等新型数据为主的融合处理 4 数据质量管控 通过对数据 应用 系统综合管理 构建标准化 流 程化 自动化 一体化的数据管理体系 5 跨平台调度实现数据互联互通 统一管控 提供跨系统跨平台的任务 调度功能 与各子系统紧密接合 涵盖接口子系统 维护子系统 云平台 接 口分发平台 五 技术架构 政务大数据平台的技术架构采用混搭模式 一方面不改变已有的原始数据 的存储和管理方式 另一方面 采用大数据新技术处理原有方式不能处理的新 数据 重点是对非结构化 新数据的处理 首先 各委办局通过市级大数据平台可以实现数据的共享和融合 并在此 基础上开展各自的大数据应用 如北京市有很多部门负责并参与中小企业数的 统计工作 如地税 海关 工商 经信委等 这些部门均有各自数据采集的渠 道和途径 但是北京市到底有多少中小企业 每个部门都很难说清楚 也无法 统一 对于这个问题 通过市级政务大数据平台数据比对 分析 处理 再经 过一定的算法得出大家一致认可的统一的中小企业数和清单 并在此基础上进 行数据分析 数据查重等融合处理 使得原有单纯交换来的数据 产生了本质 的变化 其次 市级政务大数据平台具备新数据 非结构化数据的处理能力 各单 位不具备通用数据的处理以及非结构化数据的处理能力和基础设施 而市级政 务大数据平台 充分利用市共享交换平台 四大基础库 一系列门户和网站实 现数据的统一调度和管理 促进数据交换和共享 综上所述 市级政务大数据平台不仅可以自带基础数据 同时还可以汇集 新数据如音频 视频等非结构化数据 并对数据进行分析 处理 可以为各委 办局提供更有价值的多维度的融合数据资源 四 智能交通大数据应用示范 一 新一代智能交通系统对数据整合需求 交通共享交换数据中心 交通委与交管局 建设应列入日程 并统筹全市 域的政府交通路况信息发布 政府部门之间数据融合共享 各类数据包括交通 领域 城市规划 人口分布 法人及空间地理等数据融合共享 以从整体 系 统上 研究缓解交通拥堵 保护环境的治本措施 政府 TO 企业 企业 TO 企 业数据共享机制 加大交通数据资源向社会开放共享力度 二 交通领域数据与其他相关数据融合 1 交通信息分散 碎片化情况 市交通委掌握的浮动车实时路况信息 一卡通信息 道路基础设施等信息 主要覆盖范围五环内城市道路 交管局掌握的固定检测器实时路况信息 视频 信息 交通事件 事故 施工等信息 覆盖范围为环路及城市快速路 经信委 及其他局掌握的公众出行相关的地理空间 位置图层 应急物联网信息 人口 法人等信息 电信运营商的信令数据及互联网等信息 覆盖范围为全市域 来 自交通台的广播信息 来自相关互联网微博 微信信息 2 各类交通信息融合 采用最新的大数据融合处理技术 通过市级政务大数据平台 由大数据应 用需求单位负责具体实现各方数据的汇聚 加工融合与共享交换 形成更为全 面 准确 及时的完整 全市域道路实时路况及出行位置信息服务 以上工作研究团队成员有亚信 北航 中兴 数贝 太极等 现在正在搭 建北京市政务大数据平台及应用示范的原型系统 下面我们看一下基于这个平 台我们做的应用方案 三 应用案例示范 示范 1 交通多源异构数据融合模型 场景化的空间 时间 主题的数据 融合 示范 2 北京市中心区域各公交站点的居住强度和就业强度 示范 3 北京市地面公交高峰期客流量分布 示范 4 城市范围出租车聚集分析 示范 5 天通苑住户流量分析 住户主要通往市 38 个区域 仅有 8 个区域具有高聚集特征 五 小结 大数据政务应用环境和相关技术还不是十分成熟 具体表现在 在政府方面亟需出台的制度应包括 政府数据资源开放共享 政府数据资 源安全与个人信息保护以及以市场手段推动信息资源的社会化开发利用 如 北京市国家机关个人信息保护管理办法 送审稿 北京市政务信息资 源开放管理办法 送审稿 政务信息资源资产化管理研究报告 在企业相关准备工作也未就绪 如在使用政府数据 用户信息资源管理政 策还未建立 特别是涉及个人隐私保护政策方面还是很难让人放心 有些企业 的信息使用商业色彩过于浓厚 一些人以为有了大数据什么都可以做 国际著名学者 Michael I Jordan 表 示 现在大家炒作大数据过了头 大数据可能只是一场 空欢喜 有些大数 据技术还需要 10 到 20 年的时间才能成熟 政务大数据应用也要知道什么我们 现在还做不了 一些传统 IT 企业 号称地派 利用熟悉的政府业务及运营管理的系统资源 开始向上互联网政务大数据应用领域发展 一些互联网企业 号称天派 也利 用自身的大数据技术 数据资源及经验向下电子政务领域延伸 在政务及公共 服务领域大数据应用 替代你 和你没关系 在这一新的领域不适用 互联 网企业与传统 IT 企业各有优势 关键是看谁动作更快 今天我分享的内容已经完了 欢迎大家就感兴趣的事情进一步交流 再次 感谢颜总提供这么好的交流和分享平台 祝大家万事如意