智慧城市烟草行业云大数据平台解决方案-课件

Usethistitleslideonlywithanimage烟草行烟草行业云大数据平台方案云大数据平台方案Usethistitleslideonlywith一、国家局烟草宏一、国家局烟草宏观政策政策二、中国烟草二、中国烟草业务价价值三、烟草行三、烟草行业云大数据整体架构云大数据整体架构四、平台案例四、平台案例五、附五、附录一、国家局烟草宏观政策二、中国烟草业务价值三、烟草行业云一、国家局烟草宏一、国家局烟草宏观政策政策一、国家局烟草宏观政策4国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具精益营销精益生产精益物流烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交易数据350个地市级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”5市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性订单采集货款结算监督管理需求预测货源采购货源投放省级卷烟营销平台市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应6中国烟草在互中国烟草在互联网网+时代的新一代数据中心建代的新一代数据中心建设互互联网网+精准精准营销互互联网网+智能制智能制造造互互联网网+科学决科学决策策大数据+实时计算面向移动互联时代的新一代数据中心大：海量存储-Hadoop快：内存计算-HANA低：资源共享-Cloudq行业“互联网+”的市场化转型升级平台q成为“一号工程”升级版的专卖实时管控平台q打造未来的中国烟草“大众创业，万众创新”的平台中国烟草在互联网+时代的新一代数据中心建设互联网+精准营销大二、中国烟草二、中国烟草业务价价值二、中国烟草业务价值8大数据挖掘为核心实现精益营销消费行为预测数据挖掘货源精准投放数据挖掘产品生命周期数据挖掘客户聚类分析数据挖掘营销策略分析数据挖掘销售潜力分析数据挖掘培养大数据视野挖掘大数据价值推进大数据应用注重大数据引领大数据大数据挖掘为核心实现精益营销消费行为预测数据挖掘货源精准投9*Customer智能物流解决方案和架构Extended WarehouseManagement （扩展仓库管理）Track&Trace（追踪和追溯）TransportationResource Mgmt.（运输资源管理）Hub Logistics（枢纽物流）TransportationManagement （运输管理）仓库智能设备SAP MFS物料流系统SAP NWNetWeaverITSMobile/Gateway（移动/网关）SAP PCOPlantConnectivity（工厂设备连接）互联设备SAP NWNetWeaverProcessIntegration（流程集成平台）地理信息系地理信息系统（GIS）,电信服信服务提供商提供商,互联设备SAP HCPHANACloudPlatform（HANA云平台）电信服信服务提供商提供商*Customer智能物流解决方案和架构ExtendedW10端到端的一体化智能物流解决方案流程概端到端的一体化智能物流解决方案流程概览创建销售订单或交货单(SAPERP)自动创建运输需求(SAPTM)自动创建货运单元(SAPTM)订单处理(ERP)交互式/自动制定运输计划承运人选择承运人招标创建货运订单在ERP中自动生成交货单运输计划(TM)波次创建装箱计划拣货优化，包装，备货和装车管理增值服务提货单打印仓库执行(EWM)装运状态检查装运执行监控及事件追踪运输执行(TM)运费计算创建货运发票请求并传输到ERP货运订单结算(TM/ERP)集成的外向发货流程TMEWM端到端的一体化智能物流解决方案流程概览创建销售订单或交货单三、烟草行三、烟草行业云大数据整体架构云大数据整体架构三、烟草行业云大数据整体架构12中国烟草云数据中心的未来总体架构BOE平台业务主题层源系统分析主题SAPSLT实时获取分析应用财务分析原始数据层业务数据层业务数据层企业原始业务层企业业务数据分析整理层企业经营决策支持应用层SAPDS定时获取SAPIS元数据管理平台SAPHANA平台SAPBOE平台BO图表报表平台KPI管理工具管理驾驶舱门户企业门户项目分析采购分析网点分析成本分析生产分析关键指标分析用户自主配置工具烟草业务监控系统烟草业务运营/支持类系统EAMHRSRM外部输入数据主数据管理平台指标数据层指标数据层财务分析主题物资分析主题销售分析主题.SAPBW数据获取数据存储与处理数据分析Hadoop平台中国烟草云数据中心的未来总体架构BOE平台业务主题层源系统分13中国烟草云数据中心系统建设建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持中国烟草云数据中心系统建设建立统一数据采集平台进行数据管控、企业数据交互层企业数据交互层15超超过3000家企家企业客客户选择SYBASE RS搭建搭建关关键业务系系统的的实时复制复制环境，包括：境，包括：异地数据异地数据存存储，提高灾，提高灾备数据保数据保护提供关提供关键应用的用的业务连续性保性保护卓越的复制性能，卓越的复制性能，降低数据从源到目降低数据从源到目标的的时间灵活的定灵活的定义、不受限的、不受限的扩展性，展性，满足足业务扩展需求展需求应用分离方案，用分离方案，备点提供点提供报表、表、查询功能，减少生功能，减少生产点系点系统压力力SAP Sybase Replication Server 企业级数据复制服务器WallStreetPublicServicesRetail&Logistics超过3000家企业客户选择SYBASERS搭建关键业务系统16Replication Server(RS)的功能的功能连续，实时改改变数数据的据的抓抓取取基于日志基于日志 Log-based(对生生产系系统影影响响非常小非常小)在在复复制拷制拷贝中中维护完全的事完全的事务完整性完整性支持支持异构异构（异种异种）数数据据库双双向向复复制制(从从源到目源到目标且反之亦然且反之亦然)通通过Sybase实时事件事件触触发，发送改送改变的的数数据到消息据到消息总线 message bus可定制的冲突可定制的冲突检测/解解决决计划划具有存具有存储转发的容的容错机制机制管理和管理和监控工具控工具1001010101010101010110101010101010001信息量更大，信息量更大，传输速度更快速度更快ReplicationServer(RS)的功能连续，17复制服复制服务器的器的优势开放开放!支持Sybase,Oracle,SQL Server,DB2等各种主流的数据库灵活灵活!灵活的数据传输定义和订阅高效高效!最有效的传输内容,降低网络负载,提高传输效率可靠可靠!提供了丰富的数据传输保障机制,如断点续传等,保障传输可靠TCO!TCO!RS可独立运行在一台独立服务器上,不局限于数据库的平台限制复制服务器的优势开放!支持Sybase,Oracle,18智慧城市烟草行业云大数据平台解决方案-课件19智慧城市烟草行业云大数据平台解决方案-课件20智慧城市烟草行业云大数据平台解决方案-课件21智慧城市烟草行业云大数据平台解决方案-课件22SAP提供最佳EIM解决方案传递完整，准确，容易访问的信息DataIntegration&QualityManagement:nSAPBusinessObjectsDataServicesnSAPBusinessObjectsDataFederatornSAPBusinessObjectsTextAnalysisnSAPBusinessObjectsDataInsightnSAPDataMigrationservicesMasterDataManagement:nSAPNetWeaverMasterDataManagementnSAPMasterDataGovernanceforFinancialsnSAPDataMaintenancebyVistexEnterpriseDataWarehousing:nSAPNetWeaverBusinessWarehousenSAPNetWeaverBusinessWarehouseAcceleratornSAPBusinessObjectsRapidMartsnSAPBusinessObjectsMetadataManagementContent&InformationLifecycleManagement:nSAPNetWeaverInformationLifecycleManagementnSAPExtendedECMbyOpenTextnSAPDocumentAccessbyOpenTextnSAPArchivingbyOpenTextSAP提供最佳EIM解决方案传递完整，准确，容易访问的信息23101101001000010100011011101010101010100101011001101010001001010110100100110010101001001010100110010100110100101010110101整合改善洞察治理CustomerProductSupplierMaterialEmployee业务用户界面(信息管理)IT用户界面(数据服务)SAPBusinessObjectsDataServices4.0运行时间架构和服务统一的元数据抽取、转换、加载数据质量数据剖析文本分析统一的管理环境(作业安排，安全,用户管理)统一的源/目标数据连接第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台SAPBusinessObjectsDataServices数据整合、数据质量、和文本分析10110100100001010001101010100124数据整合(DataIntegrator)客户关系管理关系型数据库ExcelEmails普通文件，Excel和XML)Web大型主机ERP原始未经处理的数据以合适的格式或者结构装载到目标商务智能多维分析ERP客户关系管理数据集市数据仓库数据抽取&数据转换DataServices异构数据源一个或者多个目标数据整合(DataIntegrator)客户关系管理关系型25内建企业级数据和应用访问接口HANAOracleDB2(LUW,z-series,i-series)SybaseASESybaseIQSQLServerInformixMySQLTeradataODBCHPNeoViewNetezzaSAPBusSuiteExtractorsABAPBAPIIdocSAPNWBWJDEdwardsOracleAppsPeopleSoftSiebelSTextdelimitedTextfixedwidthEBCDICXMLCobolExcelHTTPJMSSOAP(WebServices)HADOOPADABASISAMVSAMEnscribeIMS/DBRMS包括直接的和变化的数据任何来自六种语言的文本文件类型扩展到31种语言扩展到docs,pdfs,ppts等等(4.1SP1)数据库应用程序文件/传输大型机(合作伙伴)非结构化内容SAPDataServices在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久的历史ReferenceDataServicesPAMforadditionaldetailshttp:/ HANA(High-Performance ANalytic Appliance)SAP HANAMDXSQLBICSSQL数据建模实时数据复制数据抽取SAP HANA其他应用SAP BusinessObjectsSybaseMainframe第三方系统内存计算引擎计算及计划引擎行/列存储什么是SAP HANA预置的分析设备基于内存的软件预装在硬件设备中软件-SAPIMCE包含数据建模、数据管理、安全管理及操作的工具数据复制服务器、ETL及SAPBOBJ协同工作支持多种客户端应用预置内容包（抽取器及数据模型）功能对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型减少数据重复新一代应用的基础SAPHANA是一项在本地内存中分析海量数据的技术，能够在刹那间获得复杂的分析与交易结果，实时完成业务决策，毫无延迟SAPHANA(High-PerformanceANal36增量数据处理+DiscreteSAP内存计算-技术的协同创新硬件n多核处理器架构(每台刀片8x8核CPU,Xeon7650)n64bit地址空间单台扩展到2TB,(理论达4EB)n100GB/s数据传输行+列存储压缩5-20倍分区：大量数据，复杂计算n多台服务器并行运行n每台服务器的价格低廉动态聚集软件今天未来n价格迅速下降，性能迅速提升CacheDisk+MemoryIn-MemoryDiskIntegrated增量数据处理+DiscreteSAP内存计算-技术37n 秒级处理实时决策RDBMS:行存储，速度取决于磁盘IO 慢HANA:行、列存储，完全存于内存 快n 大规模数据运算RDBMS:索引、优化、有经验的开发人员 难HANA:内存排序，无需考虑优化 易n 并行处理，低成本运行RDBMS:专门的数据库服务器 贵HANA:普通PC服务器 省HANAHANA比传统数据库具有极大的优势比传统数据库具有极大的优势快、易、省快、易、省HANA比传统数据库具有极大的优势快、易、省38HANA三大特点之一：极速速数据访问-比磁盘快1000000倍“到2012年,70%的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。”-Gartner传统数据库磁盘读取5毫秒内存数据库内存读取5纳秒基于主内存的并行处理是绩效改善的关键*“磁带已经死了，磁盘已经落伍，闪存成为存储，内存才是王道”数据库奠基人JimGray2006年12月HANA三大特点之一：极速速数据访问-比磁盘快1039HANA三大特点之二：分而治之、并行处理数据n本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器n节点间并行处理，不同的服务器之间也共享同一组数据n容灾性，单一的服务器的DOWN机将不影响任何计算HANA三大特点之二：分而治之、并行处理数据本地内存、多处40HANA三大特点之三：在内存中思考，在内存中行动最小化数据传输传统应用将数据密集型操作在应用层执行高性能的应用将数据密集型操作转移到内存中执行内存内存计算算-将数据密集型操作放到内存中-避免传输细节数据-先计算，而后传输结果HANA三大特点之三：在内存中思考，在内存中行动最小化41自2010年发布以来，HANA的卓越性能无与伦比提高1,000倍：许多分析流程（催款、账龄）提高10,000倍：农夫山泉、Essar、SAPIT、康奈尔大学提高100,000倍：Yodobashi或者从24小时以上减少到3.8秒:食品饮料/分销物流从15小时以上减少到4.8秒:项目管理/服务利润,绩效从30天减少到28秒:制造业订单到付款从3天减少到2秒:零售/保险奖金SAP的HANA架构，结合了云计算和内存计算技术，显示了先进的、具备潜在颠覆性的愿景高德纳咨询公司SAP用HANA引领下一代架构竞争，2011年10月在1.3TB的数据上，每小时运行1万个查询，并在几秒种之内返回结果。由WinterCorp公司独立审计和验证，2011年3月SAP客户实证：自2010年发布以来，HANA的卓越性能无与伦比提高1,0分析展现层分析展现层43SAP BI 产品概品概览一个满足各方需求的统一数据分析平台数据探数据探查(敏捷分析敏捷分析)仪表表盘报表与分析表与分析数据集市数据仓库HADOOP实时数据平面文件交易系统SAP BI 平台语义层系统管理(CMC)发布及共享安全安全审计移移动支持支持内容生命内容生命周期管理周期管理数据数据访问Software Development Kits访问:门户|办公公软件（件（Office）|浏览器器|移移动设备CloudHybrid On Premise支持多种设备接入支持多种部署模式Lumira数据探索（数据探索（Explorer*）分析（分析（Analysis*）Design Studio仪表表盘（Dashboards）即即时查询（Web Intelligence）水晶水晶报表（表（Crystal Reports）SAPBI产品概览一个满足各方需求的统一数据分析平台数44BI 应用用场景景敏捷标准分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视化、高交互的面向高层人员定制的高可视化、高交互的分析内容自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表数据探数据探查仪表表盘报表与分析表与分析Lumira数据探索（数据探索（Explorer*）分析（分析（Analysis*）Design Studio仪表表盘（Dashboards）即即时查询（Web Intelligence）水晶水晶报表（表（Crystal Reports）对应组件件专家家模式模式自助模式自助模式交付方式交付方式对应组件件对应组件件交付方式交付方式应用要求BI应用场景敏捷标准分析并可视化由多处获得的数据最终用户利45BI 平台平台HANARDBMSExcel/CSVhadoopBW*ClipboardBIsuite与Lumira的关系报表表仪表表盘分析分析水晶报表即席查询DashboardDesignStudio数据探索平台客户端BI工具数据源语义层数据源数据建模数据分析分析共享查看平台Lumira 服服务器器（基于（基于 HANA）Lumira 云云（基于（基于HANA）Lumira 桌面版桌面版Excel/CSVLumira 服服务器器（内存数据（内存数据库）BI平台HANARDBMSExcel/CSVhadoo46敏捷可视化的4个步骤敏捷可视化的4个步骤47SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学专业知识无业务分析师数据科学家业务用户低高97%3%1%SAP大数据预测分析SAPPA智能建模+Lumira自助探索SAPPA专家建模R语言SAPHANA分析函数包SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学48SAPIQ企业核心业务数据数据展现BO仪表盘Lumira自助探索其它应用系统SAPERPSAP大数据预测分析系统架构敏捷分析+内存数据库+自助探索移动可视化第三方数据SAPCRM历史数据扩展存储PredictiveAnalysisLibraries|BusinessFunctionLibraries|DataModels&StoredProceduresSAPPredictiveAnalytics数据挖掘自动化大数据内存分析平台数据驱动SAP HANA DataServices数据存储数据建模与分析/HadoopSAPIQ企业核49数据挖掘和数据挖掘和预测：直：直观的可的可视化化应用，丰富的用，丰富的预置置预测模型模型SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库直观地设计复杂的预测模型，可视化分析丰富的建模技术，可扩展的预测模型：关联分析聚类分析决策树分析神经网络分析例外分析回归分析时间序列分析概率分布聚类分析决策树分析神经网络分析例外分析时间序列分析多元回归分析数据挖掘和预测：直观的可视化应用，丰富的预置预测模型SAP50数据挖掘和数据挖掘和预测：高效的内存：高效的内存预测分析，支持分析，支持外部算法外部算法调用用SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：结合了SAPHANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘通过集成R语言，在SAPHANA中访问3,500种以上的开源算法内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力与BI平台的一体化设计，通过任何BI报表或仪表盘均可访问分析结果数据挖掘和预测：高效的内存预测分析，支持外部算法调用SAP51数据挖掘和数据挖掘和预测：自：自动数据准数据准备和探索和探索SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现选择变量准备数据变量编码缺失值处理奇异值处理匹配模型测试模型模型报告模型部署商业问题选择变量准备数据建模模型测试理解应用选择商业问题最相关的变量，以适合算法需要SAP：自动决定重要变量，多至几千个变量用不同算法进行建模，选择不同的参数SAP：结构风险最小化理论自动选优把数据语言转换成商业描述SAP：独特的专利技术准备数据：缺失值处理，异常值处理，函数变换SAP：自动化预处理数据挖掘和预测：自动数据准备和探索SAPPA大数据预测分52数据挖掘和数据挖掘和预测：精：精简的的预测分析分析应用函数建模工具用函数建模工具(AFM)SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：图形化用户界面，用于创建基于函数和PAL算法的程序模型将存为存储对象，可以在多个应用间重复使用可用函数放置在拖拽列表中简单选取输入/输出表、参数、以及过滤器，并生成程序无需编写SQL语句代码，就可创建基于PAL函数的程序快速开发和部署预测应用简单易学的编辑器，使应用开发过程更高效率、有成效、出成果数据挖掘和预测：精简的预测分析应用函数建模工具(AFM)四、平台案例四、平台案例四、平台案例54Real-Time Infrastructure Meets Real-Time Information 华为IT副总裁任志鹏与SAPCTOBernd在华为深圳总部，2013Q4201220132014l全球领先的ICT提供商l拥有业界最优秀的研发团队以及研发实力郑叶来(华为IT产品线总裁)与AlexAtzberger(SAPSVP)会面，建立正式合作伙伴关系JimSnabe(SAPCEO)到访华为总部，与任总(华为CEO)及徐直军(华为轮值CEO)会谈，确定了双方合作的方向和目标华为战略与Marketing总裁和SAPco-CEOJimSnabe,华为和SAP共同宣布双方新层次合作伙伴关系,CeBIT2014强强联手合作企业级软件的领导者商业智能软件的供应商Real-TimeInfrastructureMeets55性能至性能至强管理至管理至简优化IO融合管理体体验至至优华为SAP HANA解决方案解决方案IBM华为5X*5X更快性能，中国石油POC,201402全球最快的全球最快的SAPHANA解决方案解决方案性能至强管理至简优化IO融合管理体验至优华为SAPHA56SAPHANA优势总结唯一有超大规模HANA集群成功实践经验的厂家，华为积累了丰富的实施交付和运维经验。案例：中国石化9节点18T集群，SAP中国研究院15节点30T集群，华为2套*16节点16T集群，中国石油63THANA集群华为有基于本土更强的故障响应、服务保障团队，能深入到操作系统源代码级快速定位问题。其它国外厂家复杂问题需要升级海外处理，响应不及时。高可靠：采用分布式架构，计算和和存储分离，相互不影响，比IBM合一架构，华为方案更可靠；高性能：采用56GbpsInfiniband存储网络和NVDIMM内存缓存，整个方案端到端延时最低，吞吐能力较友商提升数倍。复杂查询较友商性能提升5倍，数据加载和生成性能提升1.5X省空间：HANA内存密度更高，节省机房空间近70%省Opex：采用融合基础设施，集中监控，自动化运维节省Opex30%SAPHANA优势总结唯一有超大规模HANA集群成功实践经57BeijingJiaotongUniversityPekingUniversityFutongTechGermanyHeliparkSpanishGAMOCNPCChinaHuanengGroupItalianRetailSINOPECChinaMinmetalsCorporationMircroPortSAPLabsChinaRuianTechSpanishSaptoolsFinlandBilotSpanishONOHuaweiChinaMinshengBankSpanishXanithospitalZimbabweRevenueAuthority教育&零售能源高科技银行&公共部门制造业SAPHANA解决方案全球参考案例BeijingJiaotongUniver