L省交通厅-大数据项目V1vxs

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,L,省交通厅大数据平台规划,议题,1,我们对交通大数据平台的理解,建设思路,1,2,应用,规划与部署,4,总体,规划,3,智慧交通,-,大数据,方案优势,实时监测、智能监控交通信息，轻松处理海量数据,应用负载适应性强，广泛兼容，易于扩展,交通信息智能处理，及时发布,动态数据整合与共享,高可用性、高稳定性,客户价值,海量数据处理和实时分析,全网、全天候覆盖,动态监控、智能导航,交通拥堵侦测与预警,跨地区信息共享、资源整合,显著降低软硬件购置成本,Hadoop,家族,大数据服务,交通数据源,浮动车计算分析,出租汽车客流分析,议题,7,我们对交通大数据平台的理解,建设思路,1,2,应用,规划与部署,4,总体,规划,3,文件,存储,分析,搜索,挖掘,数据高铁,交换,实时,数据库,监控,open-falcon,以,Hadoop,为核心，融合其他技术平台系统，实现超融合一栈式企业级数据分析解决方案。数据存储，数据分析，可视化，运维监控，机器学习，人工智能。全面的,一栈式,解决方案。实现平台级融合，所有平台一统底层数据交互格式，统一元数据管理，数据,治理。全面拥抱开源技术栈。,展现,大,数据,平台,具备的关键能力,基础的大数据平台能力,：,具备管理大数据平台主机集群的能力，能够按照需要，动态分配资源，具备多租户管理能力，数据安全管理能力；同时具备处理海量数据的能力，可以根据需要，对不同业务部门不同的应用，开放不同的数据。,能力一,大数据采集：,大数据,平台容纳百亿级数据量，能够从内部和外部的各种数据源中获取数据,能力二,大数据计算分析：,海量数据实时和离线分析计算，秒级响应。,能力三,关键能力一：基础大数据平台管理能力,大,数据总体架构,(,数据银行,+,数据高铁,),通过 八大类接口实现大数据平台存储能力和计算能力的开放。,查询,开发框架,访问服务,(DataBank UI),JDBC/ODBC,接口,数据服务,(DataBank API),实时数据,数据库,搜索引擎,认证管理,安全,/,管理,权限管理,审计管理,图形化安装部署工具,商业支持,报警,结构化数据,数据库,API,流,传感器,半结构化数据,非结构化数据,日志,网页,图片,二进制,视频,音频,管理API(安装/监控/配置),文档,HADOOP-HDFS/YARN/ZOOKEEPER,(,POWER/EC,),数据访问,REST-API,接口,HBASE,数据仓库,交互分析,数据挖掘,工作流,数据挖掘,Spark-SQL,kylin,phoenix,opentsdb,Solr,elasticsearch,MLlib,Spark-R,Redis,HIVE,SPARK,STORM,KAFKA,crate,文档解析,拼音提示,数据同步,搜索统计,实时接入,实时展现,统计分析,实时预警,ETL,工作流,权限控制,增强函数,工作流,深度学习,可视化,访问工具,开发框架,管理工具,交互工具,展现工具,sqoop,kettle,JAVA,webservice,kafka,flume,NIFI,结构化数据,半结构化数据,非结构化数据,关键能力二：大数据采集,数据来源,数据存储,实时地理信息,校验数据,拍照数据,基础数据,定期更新纬表,分布式消息队列,Kafka,sqoop/kettle/webservice/ftp/JAVA API/nifi/restapi,数据接入,文本数据,数据库,爬虫数据,网络数据接口,其它,flume,大数据,Cluster,大数据,集群,大数据集群,关键,能力三：大数据分析,数据来源,数据存储,实时地理信息,校验数据,拍照数据,基础数据,文件,其他,redis,消息,GPS,用户指标,数据适配转换,分布式预处理,消息解析,消息过滤,数据转换,数据落地,消息中间件,Storm,流处理集群,消息解析,策略匹配,数据清单,指标汇总,定期更新纬表,分布式缓存,定义数据,关系数据,规则数据,实时数据,外挂处理程序,数据处理,实时计算,应用层,统一接触平台,/,地理位置信息,电子大屏,汽车型号,用户特征,F5,代理,tomcat1,tomcat2,tomcat3,准时实时接口,用户位置,用户轨迹,疲劳驾驶,驾驶速度,文本数据,数据库,爬虫数据,网络数据接口,其它,sqoop/kettle/webservice/ftp/rdbms/JAVA API,数据接入,大数据集群,可视化,E,charts,议题,14,我们对运营商大数据平台的理解,建设思路,1,2,应用,规划与部署,4,总体规划,3,目录,15,1,2,3,架构规划,数据接入,规划,硬件与网络,规划,技术架构路线的,选型存在“开源”与“混搭”两种,策略,可结合各省情况进行选择,策略一,策略二,开源模式（,Hadoop,）,坚持开源技术，自主掌握核心技术,混,搭模式（,Hadoop+MPP+,传统数据仓库）,按场景选型，混搭,架构,技术特征,1,技术,特征,2,技术,特征,3,技术,特征,X,Hadoop,Mysql,DB2/Oracle,MPP,应用,场景,1,应用,场景,2,应用场景,N,特点：,1,，免费使用，拥有自主,的知识产权,，需要自建,运维团队,，有一定风险；,现有人员需要技术转型，存在技术,门槛,2,，符合互联网精神，汇集众人智慧，正在逐步完善,3,，,Hadoop,目前对于,多维度数据自助分析、,集市等应用场景下的表现逊于,MPP,4,，,Hadoop,适合大规模集群使用,特点：,1,，需购买闭源的商业软件,/,运维服务,；,2,，需要根据不同应用场景搭配组合，形成优势互补；,3,，,应用场景并不是,一成不变且异构,集群,将造成额外的数据冗余和数据同步，可能成为系统瓶颈,4,，,MPP,在大规模集群（超过,100,个节点）,下,的可用性还有待验证,适用：自主掌握核心技术,适用,：,对,海量数据的特定分析较多,大数据平台体系架构（,Level 1,）,借鉴互联网,架构，,引入成熟开源框架，基于,x86,平台构建分布式计算与存储平台,，,在,保障,系统可靠性（,High-Availability,）和,可,水平扩展,(Scale-Out,),基础,上,，,同时大幅降低,系统总,拥有成本（,TCO,）,。,技术选型及亮点,1.,采用,Kafka,消息队列,框架,，,实现,地理位置数据,采集,与,解析,，,30s,；,2.,采用,近似实时的,flume,框架对接,Kafka,、实现,位置,信息,实时,采集,入库,Hadoop,集群，周期性存储数据,。,3.,在,1,个集群上承载批处理和流处理，基于,hadoop,资源管理可最大效率利用资源，实现消峰填谷，实现异构集群架构。,4,.,在,Hadoop,基础上，引入,Spark,、,Storm,计算框架，通过,Hive,，,mllib,，,storm,实现,海量数据,实时,计算,和历史数据的统计分析；引入,Redis,内存数据库，结合,Storm,，实现基于,LBS,的实时动态感知用户地理位置以及用户统计行为数据，深度挖掘用户价值。,5,.,提供,Open API(JDBC/ODBC/,R,estAPI),，制定计算与存储资源共享与开放标准，结合丰富架构和运维经验，基于,O,pen API,构建,OCI API,，,为,后续数据资产运营奠定基础。,6,，,基于,echarts,的开源框架,展现,。,7,，支持弹性扩展架构，可有效保护现有投资；同时，积极的,引入,nosql,数据库,hbase,，,利用分布式数据库优势实现数据快速访问，为未来技术替换缩减投资奠定基础,。,技术架构设计,(,流计算场景，需求驱动,),技术架构,关键问题,解决方案,数据,整合,关键技术说明,1,、功能：,通过大数据计算高效计算、数据挖掘、复杂事件处理、用户行为识别,4,大功能模块满足各类业务场景,批量数据运算以及实时计算的需求,2,、技术,1,）开源技术,全面采用开源技术节省成本。依赖于开源社区保障系统安全，社区的高速发展针对现,场应用可以快速更新补丁，并且可以根据业务场景的需要有针对性的选择相应技术,2,）内存计算,引入,SPARK,实现基于内存的计算，通过灵活的,scala,语言实现小数据集的秒级查询，并于,Hadoop,完美结合,3,）统一框架,以,hadoop,技术为核心，基于统一资源调度框架,Yarn,，集成批处理（,hadoop,）、内存计算（,spark,）、实时计算（,storm,），机器学习（,mllib,），数据仓库,(SQL on Hadoop),，集群监控运维，数据可视化为一体，简化系统架构实现资源的统一管理。实现真正的一栈式大数据解决方案。,数据多样性、高效、高吞吐量、低延迟且支持高可靠性、水平扩展，弹性扩容,Hadoop,如何做到数据容灾,20,hadoop,把文件拆成不同的小块，一个块多个副本，分别部署在不同的机器上，而只使用其中的一个块。,datanode,定期向管理中心发心跳以确保可用，假如一台机器坏了，或硬盘坏了，调度中心会直接调用其中的一个副本块，同时快速随机选一台可用的机器复制副本。,因为走局域网带宽，可以灵活设置恢复时间，性能几乎不受任何影响,基于,Hadoop,框架的开放与共享,共享和开放的目的是为了充分利用平台的存储与计算资源，通过开放的,API,接口调用，实现不同平台的数据交互，满足不同业务的需求。,对共享于开放带来的任务管理复杂、多租户资源争用以及安全问题，分别通过任务统一管理、调度，对象管理和用户配合管理以及用户认证和用户权限管理来解决,平台（共享、开放）,Zookeeper,统一管理注销,接口统一封装,用户（组）操作权限封装,LADP,、,Sentry,封装,作业管理,配额管理,监控管理,对象管理,用户权限管理,用户认证,接口类别,关键技术要求,技术架构应对,作业管理,对作业进行统一操作管理,采用,Zookeeper,技术，实现批处理平台作业的统一注册和注销，并通过,Zookeeper,实现作业的提交执行和状态监控,对象管理,可针对,HDFS,文件、,MR,任务、,Hive,数据表和,Hbase,数据表等对象进行操作,通过对,HDFS,文件、,MR,任务、,Hive,数据表和,Hbase,数据表等对象原生态接口接口的统一封装，实现相关对象的对外操作开放,用户权限管理,支持用户、用户组创建，并能为用户和用户组分析针对操作对象的各类权限,提供创建、注销用户,/,用户组、加入、剔重、查询用户,/,用户组；,HDFS,文件、,MR,任务、,Hive,数据表、,Hbase,数据表授权和权限查询等对外服务接口，以此支撑大数据平台的用户统一权限管理。,用户认证,支持通过用户名和密码进行用户认证,提供,LADP,对外用户认证接口，平台通信采用,Kerberos,认证，同时结合,Hadoop,开源组件,Sentry,，实现操作对象的细粒度基于角色的安全控制。,配额,支持对用户,/,用户组的存储资源分析和计算资源分配,引入,Yarn,技术框架，对存储资源和计算资源的一调配，按用户（组）实现资源隔离，实现多任务高效地运行在一个的集群上,监控,支持针对设备、平台、作