交通大数据管理与分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,2014/11/20,0,交通大,数据管理与分析,云,计算,数据获取、组织存储、分析挖掘、可视化,研究背景,2,“十二五”规划中明确指出，将大力推进交通信息建设，大力发展智能交通，,提升,交通运输的现代化水平。,“十二五”期间智能交通投入,研究现状,3,城市智能交通行业“十二五”期间预计,增速,30%,。,东部沿海城市,的智能交通系统已经初具规模，智能交通系统逐渐向,软件系统升级和信息服务方向过渡。,中西部地区,是城市化进展最快的地方，催生了大批千万级整体解决方案的出现。,行业整体成长期，,需求增长明显。,存在问题,4,数据存储能力,；数据存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构成为关键,数据挖掘能力,；算法最优,时效性,；分析处理的时间越来越长，时效性要求越来越高,信息安全,；保密、隐私、安全,构建智能交通一站式云平台,5,智能交通大数据云平台整体构架,6,技术实现,7,平台技术实现思路是：,大数据技术处理和存储,云计算技术,数学,模型多维度分析与挖掘,可视化技术,采用,大数据技术,处理和存储交通数据，结合大数据与,云技术,，利用专家数学模型对海量交通数据进行多维护的,分析和挖掘,，并通过,云发布服务,，将分析结果传达至,各类终端,，提高人们对路桥状态、交通情况的感知能力，使交通参与者能快速、全面、准确的完成交通评估和决策，实现交通智能化管理。,基础服务层的技术实现,8,该层采用,OpenStack,建立云,平台，即把存储于个人计算机、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同合作，整合交通数据源。,交通时间信息（事件类型、发生地点、时间）,基础设施运行状态（路面性能等）,交通运行状态（车流量等）,气象、环境信息（温度、噪声等）,车辆运行状态（位置、速度等）,驾驶员、货物状态（事件类型等）,数据分析层的技术实现,9,主要采用大数据技术来存储、分析和挖掘,ETL,数据众包,（,CrowdSouring,）,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,云计算和云存储,实时流处理,A/B Testing,关联规则分析,分类,聚类,遗传算法,神经网络,预测模型,模式识别,时间序列分析,机器学习,MapReduce,R,语言,数据采集,/,获取,数据存储与管理,数据分析与挖掘,数据可视化,数据存储,NoSQL(,非关系型数据库,),10,高,并发性,读写,对海量数据,高效率存储和访问,对数据库,高可扩张性和高可用性,数据存储,-HBase,技术,11,采用,HBase,技术使交通数据可存储在多个数据中心，用户所见的虚拟的单一数据中心，,每个数据中心互为备份,。这样使得平台具有对海量交通关系型数据和非关系型数据（如交通视频、音频、各类应用文档等）的,高吞吐能力，实现数据的快速存储。,数据分析与,挖掘,-Hadoop,技术,12,Hadoop,是一个分布式系统软件框架，由,Apache,基金会开发。用户可以在不了解分布式底层细节的情况下，发布分布式程序，充分利用集群的威力快速运算和存储。,Hadoop,实现了一个分布式文件系统（,Hadoop Distributed File System,）,简称,HDFS,。,Hadoop,软件堆栈及其组件,13,数据分析,-MapReduce,14,MapReduce,是,Google,提出的一个软件架构，,用于大规模数据集（大于,1TB,）的并行运算,。它使程序人员在不了解分布式并行编程的情况下，能将自己的程序运行在分布式系统上。,MAP=,映射，,Reduce=,规约或化简。,数据分析,-R,语言,15,R,是,用于,统计分析、,绘图,的语言和,操作环境。,R,是,属于,GUN,系统,的一个自由、免费、源代码开放,的,软件,，,它是一个用于统计计算和统计制图的优秀工具。,R,语言擅长在,Hadoop,分布式文件系统中存储的非结构化数据上的分析,。,R,现在还可以运行在,HBase,这种非关系的数据库以及面向列的分布式数据存储之上。,终端发布层的技术实现,16,采用云计算服务将路桥状态、交通情况等海量数据分析后所得的交通状态进行多终端、多类型的发布服务。支持,PC,、,Pad,、智能手机（,IOS/Android,）等各类终端。,可视化技术,17,SPSS,：,Statistical,Product and Service,Solutions,“,统计产品与服务解决方案,”软件，,为,IBM,公司推出的一系列,用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的,总称。,Gephi,：,Gephi,是一款开源免费跨平台基于,JVM,的复杂网络分析,软件，,可用作：探索性数据分析，链接分析，社交网络分析，生物网络分析,等，,是一款信息数据可视化,利器,。,Matlab:MathWorks,公司,出品的,商业,数序软件,于,算法开发,、数据可视化、数据分析,以及数值计算的,高级技术计算语言和交互式,环境。,可视化技术展示,18,参考文献,19,20,