新型智慧城市大数据应用解决方案-智慧城市时空信息课件

新型智慧城市LOGO新型智慧城市城市大数据应用解决方案LOGO新型智慧城市新型智慧城市前言党的十八届五中全会强调“创新、协调、绿色、开放、共享”五大发展理念，为城市发展赋予了新的内涵。中华人民共和国国民经济和社会发展第十三个五年（2016-2020）规划纲要要求加快新型城市建设，建设智慧城市，为新型智慧城市建设提出了新的要求。针对智慧城市建设特征与面临的挑战，依托具有自主知识产权的核心技术、产品以及丰富的行业应用服务经验，提出“优政、兴业、惠民”的新型智慧城市建设理念，把新型智慧城市作为城市发展的全新模式，构建智慧城市新生态圈，拓展新空间，优化新治理，触达新生活，从而重构人与服务、人与城市、人与社会、人与资源环境、人与未来关系的可持续化经济社会发展新形态。前 言党的十八届五中全会强调“创新、协调、绿色、开放、共享”新型智慧城市新型智慧城市架构随着云计算、城市大数据、移动互联网等技术的发展，由城市运行产生的交通、环境、市政、商业等各领域数据量巨大，这些数据经过合理的分析挖掘可产生大量传统数据不能反映的城市运行信息，已成为智慧城市的重要资产。在城市大数据时代，数据信息之间的融合、关联、挖掘与应用是建设新型智慧城市的核心与基础。时间与空间是所有数据共有的唯一标识，所有数据都是在一定的时间与空间中产生的，与时间、位置直接相关联。因此，时间与位置信息是新型智慧城市建设中所有信息数据关联、融合的唯一指针。以城市多元、多时态信息为基础，在原有城市基础设施上，通过建设智慧城市时空信息云平台、北斗高精度位置服务云平台、城市大数据中心三大基础设施，将各类数据互联互通，为新型智慧城市提供精准、高效的时空位置服务，真正实现城市大数据时代城市由“信息烟囱”（信息孤岛）向“信息连通器”（信息共享互通）转变。新型智慧城市架构随着云计算、城市大数据、移动互联网等技术的发新型智慧城市新型智慧城市时空信息云平台智慧城市时空信息云平台，为智慧城市建设提供数据共享、应用支撑及LBS位置服务，是城市信息化不可或缺的基础性信息基础设施，在智慧城市建设中扮演着基础性、先行性角色，是其他信息共享交换与协同服务的载体，同时又提供智能化信息服务。智慧城市时空信息云平台通过提供基于位置的信息服务，带动个人消费、城市应用、行业应用和公共管理等领域的技术创新、业务创新和应用创新，为智慧管网、智慧管廊、智慧城管、智慧交通、智慧环保、智慧农业、智慧旅游等各智慧城市专业领域提供基础信息服务，是智慧城市发展的信息载体。新型智慧城市时空信息云平台智慧城市时空信息云平台，为智慧城市新型智慧城市新型智慧城市数据共享服务新型智慧城市数据共享服务新型智慧城市新型智慧城市应用支撑服务新型智慧城市应用支撑服务新型智慧城市北斗高精度位置服务云平台基于北斗卫星导航定位技术建设的综合性高精度位置服务体系，吸纳所有与位置相关的资讯，为政府、城市和社会公众提供位置分析决策支持服务。北斗高精度位置服务云平台基于北斗卫星导航定位技术建设的综合性新型智慧城市新型智慧城市城市大数据中心对内搭建实现整合的一体化数据采集、数据资源管理和信息服务的业务服务平台，将不同来源、不同类型、不同应用的数据进行集中、规范、整合；对外提供统一的数据共享和信息服务，形成智慧城市的“知识库”。新型智慧城市城市大数据中心对内搭建实现整合的一体化数据采集、新型智慧城市新型智慧城市公共信息服务平台新型智慧城市公共信息服务平台新型智慧城市新型智慧城市智慧城市运营中心运用城市大数据挖掘技术，以时空信息标签为唯一标识，对所有城市运营数据进行融合、挖掘、应用与创新，并保持系统开放性，满足新型智慧城市未来发展需求，从而为城市管理者提供高效的城市管理手段和途径，为城市提供优质服务和广阔的创新发展空间，为市民提供更好的生活品质。新型智慧城市智慧城市运营中心运用城市大数据挖掘技术，以时空信新型智慧城市Page 11目录城市大数据分析平台综述城市大数据分析平台综述1 1城市大数据分析平台总体架构城市大数据分析平台总体架构2 2城市大数据分析平台演进路线城市大数据分析平台演进路线3 3城市大数据分析平台一期实施重点城市大数据分析平台一期实施重点4 4城市大数据质量管理平台城市大数据质量管理平台5 5目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市新型智慧城市Page 12城市大数据管理分析类应用建设现状基本分析关注的内容关注的内容关注的内容关注的内容存在的问题存在的问题存在的问题存在的问题基本的现状基本的现状基本的现状基本的现状l城市数据仓库累积数据没有充分利城市数据仓库累积数据没有充分利用用l缺乏面向整个城市大数据的统一、缺乏面向整个城市大数据的统一、完整的数据视图；完整的数据视图；l缺乏支撑城市大数据日常业务运转缺乏支撑城市大数据日常业务运转的风险评估体系；的风险评估体系；l缺乏城市大数据客户缺乏城市大数据客户360度视图，人度视图，人员行为分析和预测无法实现；员行为分析和预测无法实现；l缺乏面向城市大数据运营管理的关缺乏面向城市大数据运营管理的关键绩效指标体系；键绩效指标体系；ll城市已建立面向整个城市业务的数据城市已建立面向整个城市业务的数据仓库，整合了前台业务运营数据和后仓库，整合了前台业务运营数据和后台管理数据，建立了面向城市的管理台管理数据，建立了面向城市的管理分析应用；分析应用；l城市大数据已开展智慧园区、智慧社城市大数据已开展智慧园区、智慧社区和智慧市政等多种业务，积累了一区和智慧市政等多种业务，积累了一定量的业务数据，同时也从人员管理、定量的业务数据，同时也从人员管理、风险评级和经营规模预测等方面，提风险评级和经营规模预测等方面，提出了大量分析预测需求；出了大量分析预测需求；l数据平台、数据应用、数据管控数据平台、数据应用、数据管控数据平台、数据应用、数据管控数据平台、数据应用、数据管控基础数据平台和基础数据平台和基础数据平台和基础数据平台和BIBI应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！应用建设是未来一段时间的重点！l数据平台整体架构；数据平台整体架构；l 数据平台各层建设的标准；数据平台各层建设的标准；l 较成熟的金融业数据模型；较成熟的金融业数据模型；l 数据质量治理；数据质量治理；l 元数据管理；元数据管理；l 数据标准建设数据标准建设l 数据整合；数据整合；l 数据应用建设；数据应用建设；l 数据平台的软硬环境数据平台的软硬环境l城市大数据管理分析类应用建设现状基本分析关注的内容存在的问题新型智慧城市Page 13城市大数据分析平台建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI 应用自定义报表工具自定义报表工具行列的简单定义方式行列的简单定义方式多种格式报表多种格式报表社会决策层社会决策层社会职能管控社会职能管控层层各级业务操作层各级业务操作层关注社会关注社会主要经营主要经营指标指标业务人员使用业务人员使用BIBI应用应用实现业务协作和创新实现业务协作和创新BI BI 分析工具分析工具智慧园区系统POP系统其他业务系统云数据推送平台已实现了主要城市及城市大数据系统数据清洗、整合，为未来城市大数据数据平台提供了丰富的数据源。通过数据平台和BI应用建设，城市大数据将搭建统一的城市大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为社会各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门查看职能部门的业务经营情的业务经营情况况城市大数据分析平台建设目标外部非结构化数据统一制定目标和分析新型智慧城市Page 14城市大数据分析平台建设预期收益2.加强业务协作加强业务协作实现分散在智慧园区、智慧社区、智慧市政等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的城市级视图，有效促进业务的集成和协作，并为城市级分析、交叉销售提供基础3.促进业务创新促进业务创新城市大数据业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为城市大数据创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量改善数据质量从中长期看，数据仓库对城市大数据分散在各个业务系统中的数据整合、清洗，有助于城市整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保城市大数据各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为城市重要资产的业务价值1.实现数据共享实现数据共享城市大数据分析平台建设预期收益2.加强业务协作实现分散在智慧新型智慧城市Page 15目录城市大数据分析平台综述城市大数据分析平台综述1 1城市大数据分析平台总体架构城市大数据分析平台总体架构2 2城市大数据分析平台演进路线城市大数据分析平台演进路线3 3城市大数据分析平台一期实施重点城市大数据分析平台一期实施重点4 4城市大数据质量管理平台城市大数据质量管理平台5 5目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市新型智慧城市Page 16城市大数据分析平台总体架构历史数据查询数据交换平台应用集市数据区城市城市智慧园区智慧社区系统基金系统系统城市内外部半结构化、非结构化数据城市大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层城市大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品城市数据供应链数据增值产品数据区主题数据区用户访问层客户汇总账户汇总机构汇总社交媒体移动互联用户评价访问日志处理后城市大数据待处理城市大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理外部用户贴源数据区内部管理分析内部用户历史归档数据区IT人员风险管理城市大数据分析平台总体架构历史数数据交换平台应用集市数据区城新型智慧城市Page 17城市大数据分析平台总体架构数据产生层l内部业务系统产生的结构化数据内部业务系统产生的结构化数据v城市日常城市业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水城市日常城市业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水v城市大数据日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水城市大数据日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水l城市内部非结构化数据城市内部非结构化数据v日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评l城市外部数据城市外部数据v城市外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息城市外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息 源数据内容源数据内容l在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据l城市和城市大数据业务系统的数据城市和城市大数据业务系统的数据v增量数据识别、获取由云数据推送平台负责，增量数据识别、获取由云数据推送平台负责，云数据推送平台采用云数据推送平台采用分析、对比源系统日志方式实现分析、对比源系统日志方式实现v对于无法通过上述方式获取增量的源系统数据对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量，则采用某一个时间范围内的全部数据作为增量v初始数据加载均采用全量模式初始数据加载均采用全量模式源数据增量源数据增量城市大数据分析平台总体架构数据产生层内部业务系统产生的结新型智慧城市Page 18城市大数据分析平台总体架构数据交换层数据交换层设计目标数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转高速流转保证数据交换过程中不失真不失真保证数据交换过程中不丢失不丢失保证数据交换过程安全可靠安全可靠数据区数据交换组件数据库数据交换组件城市大数据交换组件城市大数据系统城市大数据系统数据服务层外外部部城城市市大大数数据据城市系统城市系统Hadoop元数据云数据推送平台云数据推送平台数据平台导入临时区数据平台导出临时区NAS 存储ETL程序区城市大数据分析平台总体架构数据交换层数据交换层设计目标传新型智慧城市Page 19城市大数据分析平台总体架构数据交换层NAS存储HadoopHadoop集群元数集群元数据区据区数据平台数据平台ETLETL数数据处理程序区据处理程序区数据平台临时数数据平台临时数据区据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据社会数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射城市大数据分析平台总体架构数据交换层NAS存储Hadoo新型智慧城市Page 20城市大数据分析平台总体架构数据交换层城市大数据交换组件l城市内部非结构化、城市内部非结构化、半结构化数据，如：半结构化数据，如：音频、视频、邮件、音频、视频、邮件、Office文档、抵押文档、抵押品扫描件等品扫描件等l城市外部非结构化、城市外部非结构化、半结构化数据，如：半结构化数据，如：微博、贴吧、论坛、微博、贴吧、论坛、用户点击流、用户用户点击流、用户移动位置等移动位置等l批量采集：城市大批量采集：城市大数据源以数据源以SFTP协协议批量传输数据议批量传输数据文文件件l在线访问：开发在线访问：开发Java或或C应用，调应用，调用大据源用大据源API，或，或以网络平台爬虫方以网络平台爬虫方式抓取源系统非结式抓取源系统非结构化、半结构化数构化、半结构化数据据l组件以实时和批量组件以实时和批量两种模式实现下列两种模式实现下列功能：功能：v数据采集数据采集v数据传输到数据交数据传输到数据交换平台（接口服务换平台（接口服务器）器）NAS指定目录指定目录v存储数据到数据平存储数据到数据平台城市大数据区指台城市大数据区指定定HDFS目录目录l定时抽取用户访问定时抽取用户访问日志，加载到数据日志，加载到数据平台城市大数据区平台城市大数据区HDFS指定目录，指定目录，MR程序加工处理程序加工处理l开发网络爬虫程序，开发网络爬虫程序，扫描用户微博，抓扫描用户微博，抓取用户微博内容，取用户微博内容，社交圈信息，存入社交圈信息，存入城市大数据区城市大数据区处理对象处理对象实现技术实现技术实现功能实现功能应用场景应用场景城市大数据分析平台总体架构数据交换层城市大数据交换组件城新型智慧城市Page 21城市大数据分析平台总体架构数据交换层数据库数据交换组件l城市内部业务系统产城市内部业务系统产生的结构化数据，包生的结构化数据，包括两大来源：括两大来源：v城市城市业务数据，城市城市业务数据，数据存储在数据存储在Oracle、SQLServer、MySQL和和MongoDB四类数四类数据库据库v城市大数据互联网城城市大数据互联网城市大数据数据，数据市大数据数据，数据存储在存储在MySQL数据库数据库lPerl程序程序v数据采集，数据采集，调用调用Perl文件模块相关文件模块相关函数，轮询指定目函数，轮询指定目录，获取数据文件录，获取数据文件v数据核查，数据核查，Perl执执行文件级数据质量行文件级数据质量检查检查v数据加载，调用数据加载，调用Hive Load数据命令数据命令，加载到数据平台，加载到数据平台临时数据区的临时数据区的Hive Tablel组件以实时和批量模组件以实时和批量模式实现下列功能：式实现下列功能：v数据采集，轮询数据采集，轮询NAS集群指定目录，获取集群指定目录，获取数据文件（数据文件（LZO压缩）压缩）v数据核查，对数据文数据核查，对数据文件进行质量校验件进行质量校验v数据加载，加载数据数据加载，加载数据到临时数据区到临时数据区l云数据推送平台连接云数据推送平台连接智慧园区系统数据库，智慧园区系统数据库，分析智慧园区分析智慧园区MySQL数据库日志，数据库日志，识别增量数据，存储识别增量数据，存储到金融平台到金融平台NAS存储存储的指定目录，金融平的指定目录，金融平台加载数据文件到数台加载数据文件到数据平台临时区据平台临时区Hive表表处理对象处理对象实现技术实现技术实现功能实现功能应用场景应用场景城市大数据分析平台总体架构数据交换层数据库数据交换组件城新型智慧城市Page 22城市大数据分析平台总体架构数据交换层数据区数据交换组件l数据平台计算层各数据平台计算层各数据区数据区v贴源数据区贴源数据区v主题数据区主题数据区v集市数据区集市数据区v沙盘数据区沙盘数据区v城市大数据区城市大数据区v归档数据区归档数据区lSqoop实现集市数实现集市数据区与数据平台其据区与数据平台其他他Hadoop数据区数据区的数据交换的数据交换lHadoop 命令、命令、Hive外部表、外部表、MR程序实现数据平台程序实现数据平台Hadoop数据区间数据区间的数据交换的数据交换l组件以批量方式实组件以批量方式实现下列数据交换功现下列数据交换功能：能：v贴源数据区和主题数贴源数据区和主题数据区到集市数据区据区到集市数据区v城市大数据区到主题城市大数据区到主题数据区和集市数据区数据区和集市数据区v主题数据区、贴源数主题数据区、贴源数据区、集市数据区到据区、集市数据区到沙盘数据区沙盘数据区v各个数据区数据归档各个数据区数据归档l数据集市的数据按数据集市的数据按照据生命周期规划，照据生命周期规划，统一将过期数据归统一将过期数据归档到历史数据归档档到历史数据归档区区处理对象处理对象实现技术实现技术实现功能实现功能应用场景应用场景城市大数据分析平台总体架构数据交换层数据区数据交换组件数新型智慧城市Page 23城市大数据分析平台总体架构流程调度层批量处理流程l批量数据处理由流程调度层部署的批量数据处理由流程调度层部署的自定义开发自定义开发WorkFlow组件调度运组件调度运行行l整个流程主要完成如下工作：整个流程主要完成如下工作：1.1.获取业务系统结构化数据，存获取业务系统结构化数据，存入临时数据区入临时数据区2.2.获取城市内外部非结构化数据，获取城市内外部非结构化数据，并进行结构化处理，存入主题并进行结构化处理，存入主题或集市数据区或集市数据区3.3.按照贴源数据模型整合数据按照贴源数据模型整合数据（标准化、数据更新（标准化、数据更新/追加）追加）4.4.按照主题数据模型整合数据并按照主题数据模型整合数据并生成汇总生成汇总5.5.数据加工计算后，结果交付到数据加工计算后，结果交付到数据集市，支持分析类应用数据集市，支持分析类应用城市大数据分析平台总体架构流程调度层批量处理流程批量数据新型智慧城市Page 24城市大数据分析平台总体架构流程调度层实时数据处理流程l实时数据处理强调的是实时或准实时获实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技取并处理数据，通常采取消息队列等技术构建术构建“数据流数据流”l整个处理流程由流程调度层部署的自定整个处理流程由流程调度层部署的自定义开发义开发WorkFlow组件调度运行组件调度运行l整个流程主要完成如下工作：整个流程主要完成如下工作：1.1.通过数据库数据交换组件获取增通过数据库数据交换组件获取增量数据，加载到实时数据区量数据，加载到实时数据区2.2.通过城市大数据交换组件获取非通过城市大数据交换组件获取非结构化数据，并利用结构化数据，并利用Storm处理数处理数据，加载到实时数据区据，加载到实时数据区3.3.针对实时数据区数据执行标准化针对实时数据区数据执行标准化处理和贴源整合处理和贴源整合城市大数据分析平台总体架构流程调度层实时数据处理流程实时新型智慧城市Page 25城市大数据分析平台总体架构流程调度层归档数据处理流程l数据归档的对象包括业务系统数据文件、贴源数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、城市大数据区数据区数据、主题数据区数据、城市大数据区数据和集市数据区数据数据和集市数据区数据l数据按照生命周期规划存储到归档区数据按照生命周期规划存储到归档区Hadoop集集群，归档后原数据区删除此数据群，归档后原数据区删除此数据l整个处理流程由流程调度层部署的自定义开发整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行组件调度运行l整个流程主要完成如下工作：整个流程主要完成如下工作：1.1.数据文件通过数据文件通过HDFS命令行命令行copyfromlocal进行归档进行归档2.2.贴源、主题和城市大数据区通过贴源、主题和城市大数据区通过HDFS命命令行令行distcp或自定义开发的或自定义开发的MR程序执行程序执行归档归档3.3.集市数据区通过集市数据区通过Sqoop或数据库提供的或数据库提供的Hadoop集成技术（如：外部表）执行归集成技术（如：外部表）执行归档档城市大数据分析平台总体架构流程调度层归档数据处理流程数据新型智慧城市Page 26城市大数据分析平台总体架构数据存储层l业务系统前日增量数据业务系统前日增量数据l缓存数据，支持后续缓存数据，支持后续ELT数据处理数据处理数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求l贴源数据模型贴源数据模型l保存最近保存最近7天数据天数据l贴源数据区和主题数据区批量作业访问贴源数据区和主题数据区批量作业访问l无最终用户访问无最终用户访问lI/O敏感，连续小批量的数据抽取和加载敏感，连续小批量的数据抽取和加载l少量量数据使用少量量数据使用Hive的的Load命令，大量数据使用命令，大量数据使用MR程序程序l与主题区与主题区/贴源区贴源区/集市区构成一个集市区构成一个Hadoop集群（集群（Hive）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l主题数据区、集市数据区和沙盘演练数据区批量作业访问主题数据区、集市数据区和沙盘演练数据区批量作业访问l无最终用户访问无最终用户访问lI/O敏感，日终批量敏感，日终批量ETLl以以ELT形式通过形式通过Hive SQL执行执行l与主题区与主题区/贴源区贴源区/集市区构成一个集市区构成一个Hadoop集群（集群（Hive）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l贴源数据模型贴源数据模型l不保存历史不保存历史l业务系统前日快照数据和一段时间的流水数据业务系统前日快照数据和一段时间的流水数据l数据标准化，为后续主题模型、集市和沙盘演练提供数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区城市大数据分析平台总体架构数据存储层业务系统前日增量数据新型智慧城市Page 27城市大数据分析平台总体架构数据存储层（续）l城市内外部非结构化、半结构化数据城市内外部非结构化、半结构化数据l采集并存储数据，进行结构化处理，最终得到结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求l数据按照数据按照HDFS文件存储文件存储l建议保留建议保留1年年l集市区集市区/沙盘区沙盘区/增值产品区增值产品区/主题区主题区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行城市大数据分析少量高级业务人员进行城市大数据分析lMapReduce 分布式计算，半分布式计算，半/非结构化数据的结构化处理非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）（包括文本检索、语义分词、图像识别、音频识别等）l与主题区与主题区/贴源区构成一个贴源区构成一个Hadoop集群（集群（HDFS）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l集市区集市区/沙盘区沙盘区/增值产品区增值产品区/主题区主题区/高时效区批量作业访问高时效区批量作业访问l业务人员执行历史数据查询业务人员执行历史数据查询lMapReduce分布式计算，分布式计算，HDFS命令实现命令实现Hadoop集群内归集群内归档，档，Sqoop实现数据库归档，通过实现数据库归档，通过Hive提供历史查询提供历史查询l独立的独立的Hadoop集群（集群（HDFS+Hive）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l数据按照数据按照HDFS文件存储文件存储l数据文件按照数据区划分目录，建议保留数据文件按照数据区划分目录，建议保留7年年l其他各数据区历史数据其他各数据区历史数据l按数据生命周期规划归档平台过期数据，支撑历史数据查询按数据生命周期规划归档平台过期数据，支撑历史数据查询城市大数据区历史归档数据区城市大数据分析平台总体架构数据存储层（续）城市内外部非结新型智慧城市Page 28城市大数据分析平台总体架构数据存储层（续）l业务系统历史明细数据业务系统历史明细数据l打破业务条线整合数据打破业务条线整合数据数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l第三范式模型第三范式模型l保留长期历史，需要根据主题细化保留长期历史，需要根据主题细化l主题区主题区/集市区集市区/沙盘区沙盘区/增值产品区增值产品区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/O敏感，日终批量敏感，日终批量ETL（合并、拉链、关联、汇总等等）（合并、拉链、关联、汇总等等）l以以ELT形式通过形式通过Hive SQL执行，复杂处理使用执行，复杂处理使用MR定制定制UDFl与城市大数据区与城市大数据区/贴源区构成一个贴源区构成一个Hadoop集群（集群（Hive）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l集市区集市区/沙盘区沙盘区/增值产品区增值产品区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/O敏感，日终批量敏感，日终批量ETL（连接、聚合、汇总等等）（连接、聚合、汇总等等）l以以ELT形式通过形式通过Hive SQL执行，复杂处理使用执行，复杂处理使用MR定制定制UDFl与城市大数据区与城市大数据区/贴源区构成一个贴源区构成一个Hadoop集群（集群（Hive）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l逆范式宽表逆范式宽表l依赖于集市数据需求依赖于集市数据需求l对主题数据预加工后的结果数据对主题数据预加工后的结果数据l针对应用需求进行数据预连接、预汇总，为集市提供数据针对应用需求进行数据预连接、预汇总，为集市提供数据主题数据区明细主题数据区汇总城市大数据分析平台总体架构数据存储层（续）业务系统历史明新型智慧城市Page 29城市大数据分析平台总体架构数据存储层（续）l按沙盘演练需求，准备的明细或汇总业务数据按沙盘演练需求，准备的明细或汇总业务数据l为数据科学家的挖掘预测操作提供数据服务为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l模型依赖于沙盘演练需求模型依赖于沙盘演练需求l在整个沙盘演练周期内保留在整个沙盘演练周期内保留l集市区集市区/沙盘区沙盘区/归档区批量作业访问归档区批量作业访问l少量高级业务人员进行灵活查询、挖掘预测少量高级业务人员进行灵活查询、挖掘预测lI/O敏感，终批量敏感，终批量ETL（合并、拉链、关联、汇总等等）（合并、拉链、关联、汇总等等）l以以ELT形式通过形式通过Hive SQL执行，复杂处理使用执行，复杂处理使用MR定制定制UDFl独立的独立的Hadoop集群（集群（HDFS）l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l沙盘区沙盘区/归档区批量作业访问归档区批量作业访问l决策人员、管理人员、业务人员访问决策人员、管理人员、业务人员访问lI/O敏感型，敏感型，BI工具提交的报表、查询、分析工具提交的报表、查询、分析SQL命令和日命令和日终批量终批量ETL（汇总、聚集等操作，以（汇总、聚集等操作，以ELT形式通过形式通过SQL执行）执行）l基于开放平台的完全无共享基于开放平台的完全无共享 MPP 数据库集群数据库集群+内存数据库内存数据库l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l维度数据模型维度数据模型l依赖业务需求依赖业务需求l面向城市内部管理分析类应用需求的汇总数据面向城市内部管理分析类应用需求的汇总数据l为客户、运营等管理分析主题和数据增值产品提供数据服务为客户、运营等管理分析主题和数据增值产品提供数据服务沙盘演练数据区应用集市数据区城市大数据分析平台总体架构数据存储层（续）按沙盘演练需求新型智慧城市Page 30城市大数据分析平台总体架构数据存储层（续）l根据外部用户的数据使用需求数据平台加工计算的结果数根据外部用户的数据使用需求数据平台加工计算的结果数据据l为部署在数据平台上的城市内外部增值产品提供数据支持为部署在数据平台上的城市内外部增值产品提供数据支持数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求l应用模型，依赖于用户业务需求应用模型，依赖于用户业务需求l依赖于依赖于用户业务需求用户业务需求l城市外部人员，如：京东客户城市外部人员，如：京东客户l通过自己部署在通过自己部署在Paas平台上的应用访问平台上的应用访问lI/O敏感型，敏感型，BI工具提交的报表、查询、分析工具提交的报表、查询、分析SQL命令和日命令和日终批量终批量ETL（汇总、聚集等操作，以（汇总、聚集等操作，以ELT形式通过形式通过SQL执行）执行）l独立的独立的Paas平台，部署平台，部署Hadoop集群集群l无单点故障，无单点故障，724小时小时+非工作日有限停机非工作日有限停机l城市业务人员城市业务人员l高时效、高并发、高可靠性的联机交易类查询高时效、高并发、高可靠性的联机交易类查询lCPU敏感，敏感，BI工具或业务系统高并发、高时效查询，以及准工具或业务系统高并发、高时效查询，以及准实时连续实时连续ETL处理处理+SQL批量处理批量处理l独立的内存数据库集群独立的内存数据库集群l无单点故障，无单点故障，36524小时不停机小时不停机l贴源数据模型贴源数据模型l依赖用户业务需求依赖用户业务需求l面向应用的业务系统快照数据和一段时间的交易流水面向应用的业务系统快照数据和一段时间的交易流水l为实时获准实时分析应用提供数据服务为实时获准实时分析应用提供数据服务增值产品数据区实时数据区城市大数据分析平台总体架构数据存储层（续）根据外部用户的新型智慧城市Page 31城市大数据分析平台总体架构数据存储层数据流数据集成层数据集成层操作型聚合数据临时数据区实时数据区实时数据区公共汇总数据主题明细数据结构化数据非结构化&半结构化数据沙盘演练数据区沙盘演练数据区实验室数据集市数据区集市数据区POP自营数据贴源数据区贴源数据区城市大数据数据主题数据区主题数据区客户管理集市财务管理集市运营管理集市风险管理集市集市大物流系统数据供应链系统数据财务审计数据财务研发数据操作型明细据归档数据区归档数据区城市大数据区城市大数据区源系统数据文件贴源数据主题数据集市数据高时效数据城市大数据增值产品数据区增值产品数据区城市大数据分析平台总体架构数据存储层数据流数据集成层操作新型智慧城市Page 32城市大数据分析平台总体架构数据应用层城市大数据城市大数据平台应用平台应用l针对公检法查询需求、内外部审针对公检法查询需求、内外部审计需求和最终用户的历史交易查计需求和最终用户的历史交易查询需求，以贴源存储的归档数据询需求，以贴源存储的归档数据为基础，实现的查询类应用为基础，实现的查询类应用l历史查询类应用通常使用历史查询类应用通常使用BI 工具工具或自主开发实现或自主开发实现l客户经理等最终业务人员针对当客户经理等最终业务人员针对当前业务的发生（如：用户交易、前业务的发生（如：用户交易、用户访问日志），进行实时查询、用户访问日志），进行实时查询、分析的应用分析的应用l管理分析类应用主要实现了社会管理分析类应用主要实现了社会客户管理、运营管理、财务管理、客户管理、运营管理、财务管理、风险管理、监管信息披露五大分风险管理、监管信息披露五大分析体系功能析体系功能l管理分析类应用通常采用套装软管理分析类应用通常采用套装软件和件和BI工具（工具（MicroStrategy等）等）实现实现l业务人员根据业务需求或自己对业务人员根据业务需求或自己对业务的理解，设计计算模型，准业务的理解，设计计算模型，准备各类明细或汇总数据，导入模备各类明细或汇总数据，导入模型运算，验证业务结果型运算，验证业务结果l沙盘演练类应用通常使用沙盘演练类应用通常使用R语言语言在在Hadoop分布式体系下实现分布式体系下实现l城市大数据数据科学家根据自己城市大数据数据科学家根据自己对业务需求的理解或者对市场的对业务需求的理解或者对市场的判断，设计并运行模型，发掘数判断，设计并运行模型，发掘数据价值，并封装成商业产品据价值，并封装成商业产品l数据增值产品通常采用数据增值产品通常采用R语言和语言和BI工具实现，面向城市内外部用工具实现，面向城市内外部用户户管理分析类应用管理分析类应用1沙盘演练类应用沙盘演练类应用3历史查询类应用历史查询类应用4高时效类分析应用高时效类分析应用5数据增值类产品数据增值类产品2l实时分析类应用通常使用实时分析类应用通常使用CEP、ESB等技术实现等技术实现城市大数据分析平台总体架构数据应用层城市大数据针对公检法新型智慧城市Page 33城市大数据分析平台总体架构平台发展不同阶段对应应用工作负载复杂度城市大数据平台发展阶段划分操作为主阶段什么正在发生？动态数据仓库阶段 让正确的事情发生！分析为主阶段为什么会发生报表为主阶段发生了什么预测为主阶段将会发生什么？批量随机查询数据分析持续更新加载/短查询基于事件的动态触发数据量增长用户数增长查询复杂度增长ETL处理复杂度增长管理分析类应用管理分析类应用历史查询类应用历史查询类应用实时分析类应用实时分析类应用沙盘演练类应用沙盘演练类应用数据增值类产品数据增值类产品城市大数据分析平台总体架构平台发展不同阶段对应应用工作负新型智慧城市Page 34城市大数据分析平台总体架构管理分析类应用r总账分析*资产负债表分析*损益表分析*现金流量表分析*财务指标分析r盈利分析*机构贡献度*产品贡献度*客户细分贡献度*渠道绩效r资产负债分析*主要指标报告，如：净利息收入、净收入、净现值、市场价值等*头寸报告*现金流报告*风险价值（VaR）计算r财务预算与计划*财务预算*财务计划执行监控*执行过程分析*年末财务计划执行分析r预测与场景分析*业务规模预测*收益预测rr领导管理驾驶舱r机构绩效考核r客户经理考核*客户经理工作量评估*客户经理服务客户收益评估r产品绩效考核r业务量考核*智慧园区业务*智慧社区业务*保理业务*基金业务*其它中间业务*r渠道成本与收益rr风险监控报表/信息披露*流动性报表*利率敏感性报表*资本充足率报表*r市场风险*市场风险暴露值*流动性管理、利率管理r信用风险*信用风险暴露值计算*信用风险控制 （贷前控制、贷中监控、贷后分析）r操作风险*异常交易预警*后督差错检查*r防欺诈/反洗钱*定义欺诈交易模型*可能性欺诈交易预警*欺诈交易分布分析r全面风险管理rr目前监管机构没有明确要求r客户单一视图*公司客户信息管理*个人客户信息管理*同业客户信息管理r目标客户搜索*重点客户*关怀客户*风险客户*异动客户r客户细分*个人客户细分*公司客户细分r客户行为分析*客户轮廓分析*产品交叉销售分析*百分比分析*渠道偏好分析r营销活动管理*营销活动规划*营销活动定义*营销活动执行*营销活动苹果r营销活动自动化*渠道接口与集成*流程自动化r客户管理运营管理财务管理风险管理监管披露示例城市大数据分析平台总体架构管理分析类应用总账分析领导管理新型智慧城市Page 35城市大数据分析平台总体架构数据访问层l即席查询：即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看l多维分析：多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等l主动问题发现：主动问题发现：通过事件触发、规则匹配等方式发现城市运营中的问题，通过手机、邮件等方式报警决策层管理层业务人员即席查询即席查询静态报表静态报表多维分析多维分析仪表盘仪表盘挖掘预测挖掘预测l仪表盘仪表盘：通过仪表盘及其它展现方式对城市关键绩效指标进行展示，为领导层决策提供直观的数据支持l静态静态报表：报表：按照预先定义格式，批处理报表，在线查询报表等 lOffice集成集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度问题发现问题发现Office 集成集成Web服务服务l挖掘挖掘预测预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值数据科学家业务系统lWeb 服务服务：将分析应用的功能发布为Web服务，注册在城市服务总线上，供其它业务系统或分析应用调用，获取分析结果多种展现形式满足各层级用户及应用系统使用需求城市大数据分析平台总体架构数据访问层即席查询：通过即席查新型智慧城市Page 36城市大数据分析平台总体架构数据管控层金融数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台组织架构、评价与考核、管控流程、管控平台四个域。数据标准管理数据质量管理元数据管理工作流管理组织数据与信息标准化委员会数据管理人数据所有人数据生产人数据使用人IT 支持团队考核指标责任评价标准执行评价政策执行评价评价标准数据类型数据格式业务分类真实性定义及时性定义完整性定义技术元数据流程评价与考核流程考核指标建立/维护流程标准建立/维护流程组织建立/维护流程评价与考核业务含义一致性定义数据认责平台安全等级权限定义数据停用数据共享数据移动数据存储数据创建业务元数据管理元数据数据全生命周期数据安全管理数据标准数据质量元数据数据安全审计定义保留策略城市大数据分析平台总体架构数据管控层金融数据管控体系涵盖新型智慧城市Page 37城市大数据分析平台总体架构数据管控体系内部运转机制管控组织q数据管控委员会q数据所有人q数据认责人qIT支持q管控流程q数据接入流程q数据变更流程q数据授权流程q数据退役流程q标准/政策制定流程q评价考核流程q评价与考核q标准（数据标准、质量要求、安全要求）q遵守标准所需要的政策q政策与标准遵从考评定义qq数据产生者q数据使用者q流程支撑流程支撑制定管控平台工具支撑 明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。考评制定 通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。管控综合管理q标准/规范管理q流程管理q考核仪表盘q元数据管理q业务元数据管理q技术元数据管理q管理元数据分析q数据质量管理q稽核规则管理q数据稽核q质量报告q工具支撑组织架构、评价与考核、管控流程、管控工具组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。城市大数据分析平台总体架构数据管控体系内部运转机制管控组新型智慧城市Page 38城市大数据分析平台总体架构数据管控组织l数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。寻标准所必须的政策，监测正在进行的数据管控行动。l数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。的关键。l典型的数据管控组织如下所示：典型的数据管控组织如下所示：数据管控负责部门岗位角色数据管控主导方信息管理委员会信息管理委员会 数据标准管理员数据质量管理员数据产生部门数据管控参与方业务协调人数据分析员数据主管数据使用部门业务协调人数据分析员数据主管数据拥有部门业务协调人数据分析员数据主管数据管理部门运维组织实施项目组数据安全管理员数据管控经理元数据管理员城市大数据分析平台总体架构数据管控组织数据管控组织是数据新型智慧城市Page 39城市大数据分析平台总体架构数据标准管理l消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。理流程中，进行数据标准的更新、发布、使用监督等工作。l数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。标准管理的考评。数据标准建立和维护数据分类数据结构关键业务对象关键代码数据维度代码映射客户类数据标准产品类数据标准。类数据标准数据标准执行数据标准管理的考评定性考评定量考评数据标准分析报告数据标准理念推广归档系统ODS城市大数据分析平台总体架构数据标准管理消除一数多义，提升新型智慧城市Page 40城市大数据分析平台总体架构数据质量管理l数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：v数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；v数据质量考评，对数据质量的量化评价数据质量考评，对数据质量的量化评价v制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量提升数据质量数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求数据及时性要求数据质量标准数据质量验证规则数据质量考核指标数据质量提升数据补录手工修正自动修正数据质量考评数据质量监控不定期数据质量检查数据质量分析报告城市大数据分析平台总体架构数据质量管理数据质量管理框架蓝新型智慧城市Page 41城市大数据分析平台总体架构元数据管理l业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述数据进行描述l管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息的状态信息l技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述城市大数据分析平台总体架构元数据管理业务元数据：面向业务新型智慧城市Page 42城市大数据分析平台总体架构数据安全管理l数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：v数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。中实施数据安全保护和访问提供数据安全控制的基础。v数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。数据安全分级数据敏感度数据安全等级定义数据访问授权数据重要性数据使用需求数据使用者权责数据访问授权规则安全技术城市大数据分析平台总体架构数据安全管理数据安全管理可分为新型智慧城市Page 43城市大数据分析平台总体架构高阶工作流程l业务数据规划管理高阶流程业务数据规划管理高阶流程 v数据认责流程数据认责流程v数据治理考核体系数据治理考核体系数据治理考核流程数据治理考核流程数据治理考核指标体系数据治理考核指标体系l数据标准管理管理高阶流程数据标准管理管理高阶流程 v数据标准建立流程数据标准建立流程v数据标准维护流程数据标准维护流程l数据质量管理管理高阶流程数据质量管理管理高阶流程数据质量要求确定流程数据质量要求确定流程l元数据管理高阶流程元数据管理高阶流程v元数据变更流程元数据变更流程l数据安全管理管理高阶流程数据安全管理管理高阶流程v数据安全审批流程数据安全审批流程数据认责流程数据认责流程数据标准、质量、元数据、安全管理流程数据标准、质量、元数据、安全管理流程协调会议协调会议考核流程考核流程城市大数据分析平台总体架构高阶工作流程业务数据规划管理高新型智慧城市Page 44城市大数据分析平台总体架构数据管控平台l数据数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口功能在展现层提供用户接口首页标准管理主菜单指标速递待办事项信息地图标准浏览标准维护工作管理流程管理绩效指标系统管理用户管理权限管理规范管理数据管控平台统一用户集成界面数据管控平台统一用户集成界面数据标准知识库数据管控平台知识库元数据管理元数据采集元数据知识库质量管理规则配置质量稽核库数据数据层层应用应用层层展现展现层层城市大数据分析平台总体架构数据管控平台数据管控平台从总体新型智慧城市Page 45城市大数据分析平台总体产品框架非结构化/半结构化数据管理分析平台（X86MPP集群）京东业务系统结构化数据基础计算平台（贴源数据区+主题数据区+城市大数据区）（Hadoop集群+Hive）数据交换平台（自主开发交换组件+NAS存储）实时分析平台（内存数据库）沙盘演练平台（Hadoop集群）数据管控平台FTPSFTP/HTTP/APICopyfromloalQueue京东云