工业大数据平台介绍v20

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,工业大数据平台介绍v20,什么是大数据及开展趋势,平台简介,2,什么是大数据及开展趋势,1,3,什么是大数据,大数据,指的是所涉及的数据量及数据范围规模巨大到无法通过目前主流软件工具，在合理时间内到达截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。,4,什么是大数据,大数据,处理技术代表了新一代的技架构，这种架构通过高速获取数据并进展分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。,分析：形成决策,深度挖掘,处理：数据抽取与集成,数据加工,大数据,云计算,结构化数据,半结构化数据,非结构化数据,加载：导入海量数据,信息交易数据 融合数据 行为记录数据,物联网 互联网 通信网 移动互联网,智能终端,5,什么是大数据,数据可以广泛获取，所稀缺的是如何从中挖掘出有价值的信息，为社会提供智慧和观点,有价值的数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果也就越接近于真实，意思着企业能够从这些新的数据中获取新的洞察力，并将其与业务的各个细节相融合，对企业产生新的价值。,6,大数据开展历史,原型创立,完成初形建立,2021,IBM,推出大数据系列产品,InfoSphere,BigInsights,、,Streams,HP,收购,Vertica,EMC,收购,Greenplnum,、与,MapR,合作、推出,Greenplnum HD,2012,华为集成,Hadoop,、,流处理、,MPP DB,、并推出大数据平台解决方案,2021 2021,2006,2003,2005,7,平台简介,2,8,平台的目标构架及定位,精细化管理,市场营销,供给链,物联网应用,指标应用,报表应用,主题分析,专题分析,应用层,根底分析报表,多维度,立方体,数据,挖掘,实时,分析,自助,分析,数据,共享,能力层,数据层,数据统一的效劳和开发SQL、FTP、WS、MDX、API.,Hadoop,平台,明细数据,汇总数据,M/R,HBase,Hive,分布式文件系统,HDFS,数据源,构造化数据,CPCE,企业,A,系统,企业,B,系统,企业,C,系统,主数据仓库,分布式数据库,数据采集,1,、负责源数据采集、清洗、转换、把原始数据加载到,Hadoop,平台,2,、把加工后的数据加载分布式数据库和主数据库,Hadoop,平台,提供并行的计算和构造化数据的处理能力，实现低本钱的存储和低时延、高并发的查询能力,分布式数据库,存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和,数据挖掘能力,，向主数据仓库输出,KPI,和高度汇总数据,主数据仓库,存储指标数据、,KPI,数据和度度汇总数据,数据开放接口,向大数据应用方提供数据接口，给社会进展使用实现众创,9,HDFS,Hadoop Ecosystem,Pig,Hive,Sqoop,.,Hbase,Avro,Zookeeper,MapReduce,10,Hadoop 并行计算模式,HDFS-Hadoop Distributed File System,HDFS-为了做到可靠性(reliability)创立了多份数据块(data blocks)的复制(replicas)，并将它们放置在效劳器群的计算节点中(compute nodes)，MapReduce.,MapReduce,Input,HDFS,Split 0,Split 1,Split 2,Split 3,Split 4,map,map,map,reduce,reduce,Output,HDFS,Sort/merge,copy,Part 0,Part 1,11,工业大数据平台,大数据,管理平台,建模、算法,(Noah,：,Lifelong Machine Learning/Human Computation etc),Native Api / SQL / App Engine效劳封装,流处理,非、半构造化处理,构造化处理,存储密集类：,MVX,集中存储与归档,计算密集类：,效劳器带本地硬盘,12,工业大数据平台-整体技术架构,UI,Widget UI,框架,Web效劳器,展示组件 (图表|图库|仪表盘|穿插表),通知模板,展现终端,告警监控,数据模型,数据集成,企业,A,系统,CPCE,企业,B,系统,XXX,系统,实时数据,ETL,集成,数据,Adaptor,二维业务事件分析,实时多维分析引擎,统一数据中心,业务规那么引擎,告警渠道,13,生产数据来源,供应侧,设计,支持,商务,产品,企业设施,运行设施,HR,ERP,FIN,SCM,CAD,CRM,MES,TMS,EAM,MI,CAM,WMS,MPM,E&A,客户侧,从企业生产管理系统中获取数据,14,社会公有云大数据,企业私有云数据,生产管理数据,大数据分析,企业能效目标,差异化性能/质量/本钱,大数据分类,产品多维度标签,数据采集,传感器,/RFID,大数据分析模型,实验模型,/,算法,/,迭代,模型价值变现,模型优化,/,迭代,现场,客户端,15,谢谢！,