智慧城市交通行业大数据平台课件

智慧城市交通行业大数据平台技术创新 变革未来2城市交通大数据技术应用与发展09年开始建设交通行 业数据中心，2014启 动大数据基础设施建 设基基础设础设施施可视化数据应用3基基础础平台平台Step1（十一五）Step2（十二五）Step3（十三五）数据采集和存储数据管理与应用平台化数据服务09年北京探索建设交通行业数 据中心，实现从无到有突破1.以关系型数据库为主2.数据接入与共享3.梳理信息资源元数据标准4.形成初步资源管理平台升级行业数据中心为交通行业大数据 中心1.大数据存储与计算2.智能动态监测与管理3.规范化管理体系（ISO20000）4.初步的数据服务和定制服务全面打造开放数据服务平台，数 据开放共享不再以“搬家式”为 主，更强调以服务的形式1.数据服务开放平台2.定制可视化平台3.信息服务资源平台4交通行交通行业业大数据中心大数据中心建设交通行业大数据中心高技术、强管理管理、重服务！以接入、管理和以接入、管理和应应用大数据用大数据为为主；主；存存储储方式更多方式更多样样化；化；处处理和存理和存储储能力达到能力达到较较高水平；高水平；更更强强调调数据数据应应用与服用与服务务；数据中心发展的目标以技术和管理为基础，以服务为核心！5基基础础平台平台服务创新资源目录定制化服务大数据处理平台信息服务资源发布管理创新可视化管理与监测全流程规范化管理技术创新集约化大数据中心整体框架、分布式数据存储与处理平台6基基础础平平台台-技技术创术创新新结合主流技术架构打造交通行业大数据中心框架，构建大数据存储、大数据计算、共享交换、应用服务和管理支撑五大平台。截止目前共接入业务系统41个，数据量40T，处理速度可达3.3亿条/5分钟，日接入量26G。7虚虚拟拟化平台化平台对对前置前置器器、中中间间库库、处处理理服服务务器器进进行行 虚虚拟拟化化管管理理提提高高服服 务务器利器利用用率率和和管管理理精精细细化化水水平；平；SAN存储网络安全管理域VCENTER互联网域集群4 ESXI主机559G 内存100GHz CPU外部应用域集群4 ESXI主机575G 内存165GHz CPU外部数据域集群3 ESXI主机487G 内存108GHz CPU共享交换域集群2 ESXI主机127G 内存50GHz CPU内部应用域集群5 ESXI主机319G 内存159GHz CPU内部数据域集群3 ESXI主机 190G 内存 95GHz CPU8数据存数据存储储EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁带库交互区存储0-1年数据整合区存储0-3年数据近线区存储3-10年数据归档区存储大于10年数据存 储 池业务库历史库备份库数据生命周期创新数据存贮管理技术应 用，一是历史库与业务库二元 模式，对存储进行合理划分和 功能定位；二是，实现数据的 分级及周期管理，实现存储介 质的池化管理，最大化利用空 间资源；三是实现对关系数据 库数据和文件数据的统筹管理，根据数据应用特点选择合理的存储方式。9技技术创术创新新之分布之分布式式处处理平理平台台分布式处理技术创新，基于 开源平台在数据 安全、故障恢复、性能优化、中 间件和工具、平 台化服务。10管理管理创创新新之可之可视视化化监测监测管理管理11管理管理创创新之新之规规范化全流程管理范化全流程管理线线下下审审批批流程流程与运与运维维考考核核建立规范化流程,每年完成批办50余项，形成巡检报 告300300余篇，平均处理故障125125个！并于2014年4月通 过获得ISO20000认证，同年12月规范化管理软件平台 投入试运行，实现线上线下全流程管理。线线上上规规范范化流程化流程12基基础础平平台台-服服务创务创新新结构定制权限发布资源识别智能检索配置向导信息展示数据报表定制分析图表定制在线分析定制科学数据下载服务页面定制发布权限定制业务规则定制大数据综合查询流程实例介绍API二次开发数据处理集群环境管理信息服务管理权限配置服务发布AK 密钥申请API 样例说明SDK 下载定制化服务大数据开放平台数据资源目录信息服务发布13城市城市交通大数据技交通大数据技术应术应用与用与发发展展围绕交通监测与 信息服务，致力 于大数据处理与 应用技术研究基础设施可视化数据数据应应用用14处处理理应应用案例分用案例分享享-出租出租车车出租行业数据计算主要涉及GPS数据、交易数据、司机合同数据、审批数据、电召数据等，总数据 量1.11.2亿条/天，存储量约17-20G/天。这些数据主要用于计算运营指标（50余项字段）、设备 完好率、小时出车率、重点区域小时出车数量、电召日均订单数量等，主要服务于行业考核、监管 与监测。计算能力得到提升：计算33亿条出租车数据，计算耗时由原来20小时缩短到20分钟，提高 60倍。15处处理理应应用案例分用案例分享享地面公交地面公交地面公交数据与地理信息数据在线匹配 实时计算公交 走廊运行速度、预测公交到站时间和预测公交客流分布；基于稳态理论的信号交叉口均衡延误模型、速度缺失 路段填补算法，实现对每个路口、路段的预测预报，提 高信息的准确度。16处处理理应应用用-移移动动信令技信令技术术研究基于移动终端定位数据的居民出行调查方法，处理每日数据总量100G的移动信令 数据。完成居民出行OD、出行时空分布分析，实现居民出行行为的自动、及时、准 确获取，为交通政策制定、交通规划、设计和管理等提供数据支持和决策依据。17城市城市交通大数据技交通大数据技术应术应用与用与发发展展依托交通行业大数据中心，打造交通映像平台，让数据会说话基础设施可可视视化化数据应用18数据可数据可视视化化将大数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息 的处理过程。直直观观化：直化：直观观形象地呈形象地呈现现数据数据关关联联化：挖掘、突出呈化：挖掘、突出呈现现数据之数据之间间的的关关联联 艺术艺术化化:增增强强数据呈数据呈现现的的艺术艺术效果效果交互性：交互性：实现实现用用户户与数据的交互，与数据的交互，增增强强用用户户对对数数据据的控制的控制19数据可数据可视视化化D3.JS+R语言+Google Charts+ProcessingOD分布分布图图公交路网路况公交路网路况轨轨道道换换乘乘图图轨轨道客流分布道客流分布出租汽出租汽车热车热点点图图在数据空在数据空间间中描中描绘绘城市交通城市交通出租数据+地铁客流分布数据+地面公交分布数据+手机信令与OD数据+省级客运实名制客流20创创新新在在省省际际客客运运量量分分布布、公公交交客客流流 分分布布等等方方面面开开展展可可视视化化研研究究工工 作作公交全路网运行速度省际客运客流分布公共交通客流21数据可数据可视视化平台化平台以WebGIS的形式将统计对对外开放外开放，用户对数据进行自配置和展自配置和展现现区区块层块层数据数据层层谢谢聆听！