企业大数据平台建设方案课件

2智慧企业大数据解决方案建立在建立在PAASPAAS平台上的新一代平台上的新一代数据平台数据平台解决方案解决方案智慧企业大数据平台建设方案智慧企业大数据平台建设方案建立在PAAS平台上的新一代数据平台解决方案智慧企业大数据平3智慧企业大数据解决方案Agenda企业新一代数据平台的技术需求企业新一代数据平台的技术需求创新的技术平台建设思路创新的技术平台建设思路Agenda4智慧企业大数据解决方案面向大数据的分析面向大数据的分析Now What?So What?What?大数据分析大数据分析企业内、外部的结构化和非结构化数据数据量在TB级以上以数据挖掘、预测和实时分析为主，强调对业务驱动传统传统BI 分析分析企业内部的结构化数据，数据量在GBTB级以报表、查询和分析为主，反应当前业务现状面向大数据的分析Now What?大数据分析传统BI 分析5智慧企业大数据解决方案更丰富、更细致更丰富、更细致的客户管理的客户管理大数据分析在企业的应用大数据分析在企业的应用更准确、更及时更准确、更及时的营销管理的营销管理更高效、更全面更高效、更全面的风险管理的风险管理Customer 360o Single ViewKey Life Events&Next Best ActionStress Test&Credit Assessments更丰富、更细致的客户管理大数据分析在企业的应用更准确、更及时6智慧企业大数据解决方案通用银行业大数据分析平台通用银行业大数据分析平台管理分析类应用管理分析类应用数据交换平台数据交换平台应用集市应用集市数据区数据区核心系统总账系统国结系统网银系统系统企业内外部半结构化、非结构化数据数据数据产生层产生层数据数据交换层交换层数据传输数据稽核数据处理流程调度监控告警数据数据服务层服务层非结构化数据区非结构化数据区沙盘演练数据区沙盘演练数据区用户评价信息移动互联信息元数据数据数据应用层应用层历历史史归归档档数数据据区区 HDS客户主题协议主题产品主题事件沙盘演练应用沙盘演练应用实时分析应用实时分析应用数数据据管管控控层层POS增量财务增量库存增量采购增量增量临时数据区临时数据区实实时时数数据据区区核心数据总账数据国结数据数据主主题题数数据据区区社交媒体信息网银数据 客户管理财务管理风险管理管理客户管理财务管理风险管理管理运营管理用户访用户访问层问层决策人员管理人员数据科学家业务人员客户汇总账户汇总机构汇总产品汇总 通用银行业大数据分析平台管理分析类应用数据交换平台应用集市数7智慧企业大数据解决方案企业大数据平台数据内容及实现技术企业大数据平台数据内容及实现技术Page 7应用平台提交请求访问的数据，包括结构化和非结构化两类在线存储周期超过数据生命周期规划的数据适合适合Hadoop分布式架构管理分布式架构管理无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。支持分析型应用，时效性较低支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点按数据格式类别划分按数据格式类别划分按数据格式类别划分按数据格式类别划分按数据采集频度划分按数据采集频度划分大数据大数据 平台平台在线数据在线数据归档数据归档数据非结构化数据非结构化数据结构化数据结构化数据准实时数据准实时数据非实时数据非实时数据面向贴源数据查询和主题数据整合。数据区，适合数据区，适合X86MPP数据库集群数据库集群范式化模型数据范式化模型数据面向分析类应用。对应对应ADW和和CM数据区，适合数据区，适合MPP数据库数据库集群集群维度模型数据维度模型数据按数据模型划分按数据模型划分企业大数据平台数据内容及实现技术Page 7应用平台提8智慧企业大数据解决方案Page 8企业大数据平台架构原则企业大数据平台架构原则平台平台8 8技术-跨平台数据交换批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-平台内数据复制跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及数据转换。数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。Page 8企业大数据平台架构原则平台8技术-跨平台数9智慧企业大数据解决方案Page 9企业大数据平台架构原则企业大数据平台架构原则平平9 9数据-历史数据分级存储和访问近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。数据-非结构化数据管理对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理安全-数据访问安全对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。运维-系统日常运行性能管理在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。Page 9企业大数据平台架构原则平9数据-历史数据分10智慧企业大数据解决方案建设新一代数据平台的驱动力建设新一代数据平台的驱动力完整的大规模数据的快速捕获流程完整的大规模数据的快速捕获流程多种类型数据的存储多种类型数据的存储数据的实时共享与交换数据的实时共享与交换海量海量&剧增数据的支撑能力剧增数据的支撑能力传统数据仓库技术和新技术的结合传统数据仓库技术和新技术的结合Hadoop技术的合理运用与性能技术的合理运用与性能建设新一代数据平台的驱动力完整的大规模数据的快速捕获流程11智慧企业大数据解决方案Agenda企业新一代数据平台的技术需求企业新一代数据平台的技术需求创新的技术平台建设思路创新的技术平台建设思路Agenda企业新一代数据平台的技术需求12智慧企业大数据解决方案企业大数据战略定位为 什 么?做 什 么?企业全球大数据决策中心平台的IT支持如何做?IT支持117产品设计&研发应用策略企业全球大数据决策中心平台的业务应用策略生产应用策略供应链应用策略营销&销售&服务应用策略基于企业大数据应用转型框架，一切围绕做什么和如何做进行方案设计管控模式企业全球大数据决策中心平台的管控体系管控流程组织职能企业大数据战略定位做 什 么?企业全球大数据决策中心平台的13智慧企业大数据解决方案Haier 118 Copyright Capgemini 2013 All Rights Reserved企业集团未来7年网络化战略网络化的外部市场 数据 People 2.0&在线协作&企业社区 网络化的员工与企业Network&e-Commerce网络化的用户与市场Web 2.0&Social提 供 决 策 支 持 基于行业变化与发展 基于企业各业务部门的业务 发展及相应业务应用机会网络化的企业内部数据 基于企业外部数据、内部数据获取及处理分析 基于技术创新与互联网发展在战略定位层面，企业大数据应用要立足于网络化的外部市场与企业内部，为网络化战略提供决策支持，成为企业网络化战略的决策平台之一企业全球大数据决策中心平台Haier 118企业集团未来7年网络化的外部市场 数据14智慧企业大数据解决方案Haier 119 Copyright Capgemini 2013 All Rights Reserved企业级数据分析 提供BI&报表工具及服务 快速数据管理服务 数据分析流程外包 数据分析技术支持绩效指标设计 从整体战略导出大数据战略 大数据业务应用策略设计 大数据业务应用绩效目标设定智能分析与预测 预测建模及模型优化 分析模型设计与部署 实现原型设计 基于业务需求的定制化分析绩效管理与实施 建立绩效管理与追踪模型及工具 决策执行的持续监控 业务绩效的持续追踪 形成绩效反馈与决策闭环为了支撑大数据战略及定位的可执行性、可追溯性与可反馈性，需要统筹考虑数据分析决策与绩效管理，实现从数据到洞见、从战略制定到业务执行的贯通战略定位&目标Haier 119企业级数据分析绩效指标设计智能分析与预测15智慧企业大数据解决方案Haier 120 Copyright Capgemini 2013 All Rights Reserved在清晰明确的大数据战略与定位指导下，制定业务应用策略、管控体系与IT支持的设计指导原则指导原则描述业务应用策略管控体系IT支持 契合最佳实践：基于大数据的行业最佳实践应用 满足业务发展：基于企业行业特征与业务发展要求进行应用分析 匹配技术能力：基于技术发展与数据特征制定可落地的应用策略 端到端的价值应用：建立合适的管控模式，实现大数据端到端的业 务价值应用 决策绩效追踪反馈：设计合理的管控组织与流程，实现大数据决策的绩效追踪与反馈，保证决策收益 支撑业务应用要求：建设相应的技术能力，支撑大数据在各业务部 门的应用要求 顺应技术发展：结合前沿的大数据相关技术发展与技术应用，建设有前瞻性与适用性的IT支持能力Haier 120在清晰明确的大数据战略与定位指导下，制定16智慧企业大数据解决方案Haier 121 Copyright Capgemini 2013 All Rights Reserved基于大数据整体战略、定位和指导原则，结合最佳实践，实现端到端的大数据应用，使得大数据真正产生业务价值获取、组织和管理大 数据检测信号理解行为建立业务洞察流程整合 “即插即用”的通用连接器 无需IT投入 未知格式和系统 实可时量、化持且续无或限分制批的能力 系统整合和应用专长 160多位科学家，20多个方向 世界级高级分析和专有算法 前沿学习模型（神经网络，SVD，KNN,RBM等）互联服务持续的机会识别和报告 直观的可视化仪表盘 维护和业务模型 模型输出转化为价值实现的行动和策略快速的时间到价值转化个性化处理和建议（任何渠道）优秀的大数据颗粒度信号识别 4万多个信号的数据库v20v15 v14v21v51v32v8v33v19v11 v9 v44持续创造价值人员、流程和IT转型专长 精益交付架构（安全性、适应性）基于云，或以此为前提无IT投入 深刻的行业经验 市场营销与销售分析的项目实践 业务和IT专业能力的结合 有力的全球行业网络理解业务Haier 121基于大数据整体战略、定位和指导原则，结合17智慧企业大数据解决方案Haier 122 Copyright Capgemini 2013 All Rights Reserved在业务应用策略层面，要进行应用机会与数据源分析，并进行匹配，分析业务层面与技术层面的差距，基于差距提出技术要求，并指导实施规划，保证落地产品研发供应链营销销售服务客户业务分析生产产品运营大数据应用聚焦部分大数据应用非聚焦图示：数据分析数据质量评分数据类型标签数据量 外部数据来源内部数据来源应用机会数据源15 6234业务 VS.数据 匹配实施规划 根据差距分 析进行实施 规划 数据建模 分析工具差距分析 差距评估 定性定量分析技术要求 根据差距分析提出技术能力要求1324利用数据建模与分析 工具，进行应用实现Haier 122在业务应用策略层面，要进行应用机会与数据18智慧企业大数据解决方案123Haier Copyright Capgemini 2013 All Rights Reserved1.业务分析：根据企业业务价值链进行大数据的业务应用机会分析1企业业务价值链供应链大数据应用次要部分图示：产品客户洞见客户业 务 驱 动新型客户体验新产品/服务新平台成本管理运营效率优化大数据应用主要部分生产营销&销售&服务客户行为洞见客户动态细分客户体验管理产品更新换代产品定制互动式在线创新平台在线销售平台在线服务平台客户需求预测产品创新客户使用反馈产品优化产品研发缩减生产环节，降低成本改善生产工艺，提 高效率减少库存，降低库存成本准确进行供需预测提高周转率自助服务数字化营销精准营销降低缺货率1231.业务分析：根据企业业务价值链进行大数据的业务应用19智慧企业大数据解决方案Haier 124 Copyright Capgemini 2013 All Rights Reserved外部数据来源特定数据源内部数据来源特定数据源数据类型数据质量数据量获取难易全外网数据全内网数据文 本 图 片 音 频 视频文 本 图 片 视频文 本 图 片 视频文 本 图 片 视频文 本 图 片 音 频 视频文 本 图 片 音频音频文本 图片文本信号低/难图示：高/易2.数据分析：根据企业的数据现状与技术环境进行数据源的全面分析2可获取的数据来源Haier 124外部数据来源内部数据来源数据类型数据质量20智慧企业大数据解决方案Haier 125 Copyright Capgemini 2013 All Rights Reserved3实现分析从应用机会实现的角度，提出业务配套举措，选择相 应的数据建模方法与应用工具，明确数据来源与要 求，并进行收益分析业务应用机会 1业务配套举措分析选择数据建模方法与 应用工具业务&数据 匹配数据源新建/改造分析分析实现收益*3.业务与数据匹配：基于业务应用需求，匹配数据能力，并进行应用实现分析Haier 12533.业务与数据匹配：基于业务应用需求21智慧企业大数据解决方案技术实现差距1754113417228102 107 3832Haier 126 Copyright Capgemini 2013 All Rights Reserved小大小中业务实现差距大中142103791296151619202122247150825782684822733353618394043341344464748515756 586323645245676869887475767779808183856869611231219086915949211895971199141013110387701061007310461091051085311011111255596011411565116119120122124125126128127117数据源新建/改造分析业务配套举措分析4.差距分析：综合定性和定量方法，从业务实现和技术实现两方面进行应用机会的差距分析4选择数据建模方 法与应用工具2930 376293984249技术实现差距17 54417228Haier 126小大小22智慧企业大数据解决方案Haier 127 Copyright Capgemini 2013 All Rights Reserved企业可考虑的业务应用策略举例研发设计用 户购买研发 人员使用 建立基于物联网和云平台的家电运行分析平台，收集产品日常运行数据，从中抽取用户偏好、使用习惯、产品运行状态、产品故障信息 等数据运行记录 运行记录 运行记录 评价 通过大数据舆情分析工具，收集客户对产品功 能、性能、使用、维修过程中的各类信息并进 行综合分析，从中抽取用户偏好、功能需求、用户体验、意见评价、关注热点等信息相关评价相关评价相关搜索相关话题用户偏好用户使用产品运行习惯状态产品运行 故障信息功能需求用户体验用户意见 和评价用户关注 热点产品设计 功能实现需求分析研 发 设计大 数 据 应 用 分 析综合分析产品投入使用后从各数据源收集的产品运行及用户反馈信息，作为后续新产品设计、功能 研发，以及产品优化的重要输入和参考Haier 127企业可考虑的业务应用策略举例研发设计用23智慧企业大数据解决方案Haier 128 Copyright Capgemini 2013 All Rights Reserved收益提高设备利用率,改进生产管理过程提高设备维护 效 率，降 低维 护成本提高生产能 力，降低废品 率，降低总体 生产成本 生产 计划生产过程生产 故障 可视化过程 信息 传感器采集数据 流水线及各 岗位工作状 态 产量/时间信息 故障类别 故障/停 工原因 废品量 废品原因 企业可考虑的业务应用策略举例生产 合同数据通过生产数据的自动采集、汇总和分析，准确、统一的掌握和了解生产设备的状况、生产线和设备 的生产能力、负荷率、零部件质量和成品质量等数据，并对采集到的数据按照企业经营的指标进行 分析评判，打造精益生产的数字化工厂Haier 128收益 生产 计划生产生产 故障24智慧企业大数据解决方案表盘等形式呈现129Haier Copyright Capgemini 2013 All Rights Reserved企业可考虑的业务应用策略举例供应链采购制造分销物流库存销售制造行业 供应链计划执行执 行 层 大 数 据 应 用 基于二维码为每台产品定 义唯一的标识，并记录该 产品相应的品类、型号、生产批次等，通过全流程 二维码标签进行数据采 集，记录产品在一定时期 的位臵和动作流程，并就 可追溯可追踪的数据与历 史记录进行分析，形成分 析报告，通过图、表、仪收益 对产品分销、运 输、存储和销售状 态进行跟踪分析，并提出改善举措，使得供货时效得以 提高 优化库存效率，降低成本有效记录全程跟踪每一台产品的路径通过多种方式跟踪 和记录唯一标识计 划 层 大 数 据 应 用 挖掘和分析各 类社交媒体中 关于用户、产 品、企业、品 牌的数据，对 数据进行过 滤，从中提取 用户需求和消 费趋向相关洞 察收益 提升供应链各环节计划准确性 提升供应链前端反 应速度 提升选货和备货的 准确性，优化库 存，降低成本追踪社交媒体中对地点、用户和产品的提及信息，从中了解与位臵有关的用户消费趋向（如基于签到数据分析门店区域客流量），从而即时调整相关区域及产品库存通过对社交媒体的监控，针对用户需求进行提前生产和备货有效指导表盘等形式呈现129企业可考虑的业务应用策略举例供应链采25智慧企业大数据解决方案Haier 130 Copyright Capgemini 2013 All Rights Reserved企业可考虑的业务应用策略举例营销战略定位&目标 通过用户的网站、社交、位臵 等各类数据记录，挖掘用户特 征，洞察用户偏好，从而对用 户进行群类细分，并绘制出完 整的客户画像 将营销策略细化到针对细分客 群甚至个人客户的个性化和精 准化营销，并根据所有特征数 据的变动实时更新营销模式和 内容 基于对用户的理解和消费习惯 的分析，结合社交网络即时信 息的提取，密切关注用户的生 活阶段和状态，跟踪变化，预 测其未来的消费行为 根据对用户及其消费行为的理 解和预测，对不同的目标客群 设计更加具有针对性的营销策 略建立一个实时的社交媒体情报中心，捕获关于用户、事件、话题、产品、位臵和组织等方面的各种 关系和信息，充分挖掘全网的品牌、用户、产品相关的音频、文字、Logo视频的关键词信号，用以 精确地指导营销Haier 130企业可考虑的业务应用策略举例营销战略定26智慧企业大数据解决方案Haier 131 Copyright Capgemini 2013 All Rights Reserved企业可考虑的业务应用策略举例售后服务传统售后服务流程产品使产生服提出服享受服产品使确认服享受服基于产品大数据应用的售后服务流程产生收益 运营：提升售后服务工作效率和工作质量 客户：提升售后服务的客户满意度结合产品二维码及传感器运行数据，自动对每台设备进行故障监测和实时诊断，同时向客户提供主 动的服务选择用 户客用务需求务申请务提供服服务记用户客用服务需求数据收主动服务需求提供服务服务记服务录服人集务提供务录人员局限性员服务选项 被动等待客户提出服务要求 主动服务提醒 客户必须事先了解正确的服务申请渠道 潜在问题预警 客服人员对客户使用情况缺乏了解 实时故障识别 对工作量无法准确预测，难以精确地进行工作排期 主动服务预约 对各类产品问题只有事后记 Haier 131企业可考虑的业务应用策略举例售后服务传27智慧企业大数据解决方案Haier 134 Copyright Capgemini 2013 All Rights Reserved模型&算法库业务信号生成接入层分析层业务应用信号收集 转化处理优化处理需求分析数据源外部网络非结构化 数据语义数据第三方数据企业内部企业服务数据连接实时学习输入给人输入给机器信号库&信号收集实时企业数据仓库企业非结构 化数据可视化展示大数据的IT框架接触点推荐分析业务应用信号计算生命周期管理在IT支持层面，建立企业大数据决策中心平台的IT实现框架数据整合Haier 134模型&算法库业务信号生成接入层分析层业28智慧企业大数据解决方案Haier 135 Copyright Capgemini 2013 All Rights Reserved对大数据处理的各环节建议各类分析工具和实现技术数据获取数据抽取ETL实时整合oSOA/Web Services(如 Facebook)o事件o 企业服务总线（ESB）o 变化数据捕获（CDC）o RSS开放数据社交网络已存在数据数据整合Hadoop/MapReduce 其他使用类似SQL语言的分布式存储系统（如AsterData，Neo4J，MongoDB，MarkLogic等）大型数据仓库 大型内容管理解决方案内存（如Oracle Endeca,SAPHANA,caching）信息流(ESB/ISB)无用数据清理分析BI（SAP BusinessObjects,IBMCognos,Microstrategy,Exalyti cs）预测分析工具（SAS,IBMSPSS,R）数学模型（Mathematica）文本，音频和视频数据挖掘工具（Autonomy,Attensity）复杂事件处理工具 ETL工 具，如 Informatica,IBM Streams.行动BPM(Pega.)实时分析工具(Oracle RTD 实时决策,IBM SPSS,SAS)业务活动监控Push(邮件/移动电话商业智能)ESB,SOA.或者内部工具主数据管理+数据质量工具+元数据+数据生命周期管理Haier 135对大数据处理的各环节建议各类分析工具和29智慧企业大数据解决方案分布式服 务 框架Hadoop Mgr控、告警和访问控制安装、部署、配臵、监协 调 工作流MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口Haier 136R一种统计分析与可视化的语言 Copyright Capgemini 2013 All Rights Reserved基于Hadoop的数据仓库工具，提供类SQL语言，可以看成是SQL到MapReduce的转换器（尚未完全支持SQL 92），外部应用可以通过HiveHive客户端、JDBC、ODBC等方式访问Hive并形成大数据平台技术架构关系型数据库ETLSQOOPRDBMSHBase流计算分布式开源数据库MapReduce分布式计算框架ZooKeeperLanguage搜索引擎BI 分析报表JDBC语言PIGJSODBCHIVE重要部件Hadoop HDFS分布式文件系统HBaseHadoop MapReduce分布式计算框架PIG信息整合与信息治理说明是Google GFS存储系统的开源实现，主要是作为MapReduce的基础组件，同时也是Hbase的底层分布式文件系统，它以分布式存储非结 构化数据，可实现冗余备份，提升查询效率 是一个分布式、以列的方式存储结构化数据的数据库，可以减少I/O，增加新节点时自动线性扩展，使用Hbase命令而非SQL，可以通过Java，REST，thrift等接口访问HBase可在Hadoop系统上进行分布式计算，基于它编写的应用程序能够运行在大型集群上，它尽量使某个节点的计算任务主要面对本地存储的 数据，以减少跨节点的网络数据传送，并提升运算速度基于Hadoop的数据分析平台，它提供SQL-LIKE语言Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的Hadoop Database分布式数据库（HBase）分布式文件系统（HDFS）ETL工具分布式服 务 框架Hadoop Mgr协 调 工作流MapR30智慧企业大数据解决方案CONSUMER GRADE先行者先行者:服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构CONSUMER GRADE先行者:服务于海量客户的互联网31智慧企业大数据解决方案CONSUMER GRADE先行者先行者:服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构存储并且在非常大量的数据上进行分析CONSUMER GRADE先行者:服务于海量客户的互联网32智慧企业大数据解决方案CONSUMER GRADE先行者先行者:服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构快速应用开发存储并且在非常大量的数据上进行分析CONSUMER GRADE先行者:服务于海量客户的互联网33智慧企业大数据解决方案CONSUMER GRADE先行者先行者:服务于海量客户的互联网巨头企业服务于海量客户的互联网巨头企业MAINFRAMESoftware-Defined DatacenterNew Data-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-Defined DatacenterNew Data-fabrics私有的数据中心与基础架构快速应用开发存储并且在非常大量的数据上进行分析大规模自动化运维CONSUMER GRADE先行者:服务于海量客户的互联网34智慧企业大数据解决方案企业级的需求企业级的需求 快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMER GRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备,海量日志海量日志,多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics企业级的需求 快速MainframeClient-Serv35智慧企业大数据解决方案来自金融企业的独有需求来自金融企业的独有需求 快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMER GRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备,海量日志海量日志,多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics收集数量庞大的事件数据的同时对特定交易事件进行实时反应与传统应用和基础架构有机配合来自金融企业的独有需求 快速MainframeClient36智慧企业大数据解决方案来自金融企业的独有需求来自金融企业的独有需求 快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMER GRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备大量设备,海量日志海量日志,多种应用多种应用无处不在的数据采集无处不在的数据采集Software-Defined DatacenterNew Data-fabrics收集数量庞大的事件数据的同时对特定交易事件进行实时反应与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展.ETC来自金融企业的独有需求 快速MainframeClient37智慧企业大数据解决方案New ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER&WEBCONSUMER GRADEOperate at Scale in a highly automated way新一代 PaaS 平台Software-Defined DatacenterNew Data-fabrics快速应用开发收集数量庞大的事件数据的同时对特定交易事件进行实时反应存储并且在非常大量的数据上进行分析与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展.ETC新一代新一代Paas平台建设思路平台建设思路New ExperiencesInternet-of-thi38智慧企业大数据解决方案Software-Defined DatacenterNew Data-fabricsThe Software Defined Data CenterNew ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER&WEBCLOUD ERAOperate at Scale in a highly automated wayAWSVMW.ETCPivotal:面向数据的企业级面向数据的企业级Paas平台平台Pivotal PlatformFromVMwareFromEMCBigDataFastDataRapid Application Dev&IntegrationCloud Abstraction&App Automation存储并且在非常大量的数据上进行分析在收集数量庞大的事件数据的同时对特定事件进行实时反应快速应用开发配合不同云计算平台实现高效运维和水平扩展与传统应用和基础架构有机配合Software-Defined DatacenterNew39智慧企业大数据解决方案Software-Defined DatacenterNew Data-fabricsThe Software Defined Data CenterNew ExperiencesNew Biz Modelspioneered by new Consumer Internet giantsInternet-of-thingsPervasive telemetryMAINFRAMECLIENT-SERVER&WEBCLOUD ERAOperate at Scale in a highly automated wayAWSVMW.ETCPivotal:面向数据的企业级面向数据的企业级Paas平台平台Pivotal PlatformBigDataFastDataRapid Application Dev&IntegrationGemfirevFabricFromVMwareFromEMCCloud Abstraction&App AutomationSoftware-Defined DatacenterNew40智慧企业大数据解决方案.ETC支持开放标准并与开源有效互动强调以数据为中心 兼顾各种数据类型处理充分关注新一代开发人员和新一代企业级应用的需求为有效进行实时大容量信息处理而设计同时兼顾与传统应用的互操作性与传统技术的有效结合云支撑平台数据支撑架构数据支撑架构应用支撑架构应用支撑架构Scale-out storage:HDFS/ObjectLanguages&FrameworksIngest&Query:very high-capacity&in-memoryAnalyticsServicesCloud Abstraction(portability)Automation:App Provisioning&Life-cycleService RegistryPivotal One:重新定义企业级重新定义企业级 PaaS.ETC支持开放标准并与开源有效互动云支撑平台数据支撑架41智慧企业大数据解决方案Cloud FabricData FabricApplication FabricScale-out storage:HDFS/ObjectLanguages&FrameworksIngest&Query:very high-capacity&in-memoryAnalyticsServicesCloud Abstraction(portability)Automation:App Provisioning&Life-cycleService RegistryPivotal One:来自来自EMC和和VMW的技术体系整合的技术体系整合GemFirePivotal Data Science LabsCloud FabricData FabricApplica42智慧企业大数据解决方案创新：以数据支撑为中心创新：以数据支撑为中心Cloud StorageVirtualizationPivotal DataFabricPivotal Cloud&App FabricData-DrivenApplicationDevelopmentPivotal Data Science Labs.ETC创新：以数据支撑为中心Cloud StorageVirtua43智慧企业大数据解决方案完整的新一代企业的数据平台蓝图完整的新一代企业的数据平台蓝图AnalyticData MartsMPP DatabaseOperationalIntelligenceIn-Memory DBRun-TimeApplicationsIn-Memory ObjectEnterprise Data WarehouseRDBMSData StagingPlatformData IngestionSystemStreams完整的新一代企业的数据平台蓝图AnalyticData M44智慧企业大数据解决方案分析形数据集市分析形数据集市实时的数据处理实时的数据处理Run-TimeApplications企业级数据仓库企业级数据仓库大规模数据存储大规模数据存储实时的数据实时的数据捕获和共享捕获和共享Pivotal 数据支撑架构的解决之道数据支撑架构的解决之道分析形数据集市实时的数据处理Run-TimeApplica45智慧企业大数据解决方案Greenplum 数据库：极速分析平台数据库：极速分析平台并行处理架构并行处理架构MPP shared-nothing 架构，基于通用X86平台PB级以上海量存储，最大支持10000节点以上所有节点并发IO，实现超大IO吞吐，并行运行SQL自动化并行自动化并行自动化并行计算,实现超大计算能力使用同传统DB一样，加载和运行SQL数据多节点分布及高可用性都由DB自身实现极佳的横向扩展性极佳的横向扩展性在线横向扩展容量、加载和SQL查询性能随节点线性增加专为专为BI及数据分析优化及数据分析优化深度整合统计数学模块（SAS,SOLR,MADLIB,R）高性能并行SQL执行器MPP shared-nothing 架构构建在X86开放平台上的并行处理架构Greenplum 数据库：极速分析平台并行处理架构MPP 46智慧企业大数据解决方案Greenplum 数据库：数据库：行业最快的数据加载技术行业最快的数据加载技术SINGLE RACK COMPARISON每个Rack（16节点）,每小时16TB加载性能Scatter-Gather Streaming提供性能线性扩张支持大批量数据加载和持续化的数据加载Enable complex data transformations“in-flight”对GBK/UTF8/ISO8859字符集的原生支持Greenplum load rates scale linearly with the number of racks,others do not.For example,two racks=32TB/HGreenplumOracleExadataNetezzaTeradataLoadGreenplum 数据库：行业最快的数据加载技术Singl47智慧企业大数据解决方案Greenplum 数据库：高可用性数据库：高可用性ClientRedundantInterconnectMPSegmentServersPrimaryMaster1Sync&FailoverProcessesStandbyMasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全量备份和增量备份功能，保证系统级故障后的数据恢复对于任一设备的故障，系统数据不丢失、提供持续服务多个节点宕机后，系统性能只降低1/6Greenplum 数据库：高可用性ClientRedund48智慧企业大数据解决方案Greenplum 数据库：数据库：Gartner 的评价的评价 Gartner 公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告报告主要从个数据仓库厂商的执行力和远景两个方面评估评估对象包括传统的企业级数据仓库和新一代的MPP并行数据库厂商支持各种规模、有大量并发用户、能管理混合工作负载的数据仓库具备较高的客户满意度和强有力的服务支持在数据仓库市场有长久的生命力风险最低、产品成熟度最高Gartner对领导者象限的者象限的评价价采用前瞻性思维设计的数据仓库较小的市场领导者，缺乏全球性发展缺少较大的本地客户，因此不易证明其产品的功能和价值在产品技术领域，某些特性具备前瞻性，但综合能力需要完善Gartner对远见者象限的者象限的评价价Greenplum 数据库：Gartner 的评价 Gar49智慧企业大数据解决方案Load BalancerWeb and App ServersWebMiddwareDatabase LayOSAppOSAppWhat is GemFireOSAppOSAppOSAppOSAppOSAppOSAppMemory Compute Data Grid in Memory Load BalancerWeb and App Serve50智慧企业大数据解决方案Pivotal Hadoop HAWQ:性能测试结果对比性能测试结果对比4.21988.71612.04152.71,2852.81,81547X19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotal HDPivotal HDPivotal Hadoop HAWQ:性能测试结果对比451智慧企业大数据解决方案Pivotal Cloud and Application FabricCloud StorageVirtualizationPivotal DataFabricPivotal Cloud&App FabricData-DrivenApplicationDevelopmentPivotal Data Science Labs.ETCPivotal Cloud and Application 52智慧企业大数据解决方案PIVOTAL TECHNOLOGY MISSION A complete software-centric application+data platform.Driven by a strong open-source foundationHadoop-centric data infrastructure&services(spanning storage,real-time operational,&analytic)Integrated PaaS supporting applications developed in multiple languages&frameworksOpen model that enables the integration of self-service utilities to be plugged in and deployed within existing legacy environmentsAnalytics&visualization instrumented by defaultCloud enabled,whether deployed in the datacenter or the public cloudPIVOTAL TECHNOLOGY MISSION A 53智慧企业大数据解决方案Summary新的技术创造新的业务价值新的技术创造新的业务价值2大数据驱动业务转型大数据驱动业务转型1EMC/Pivotal 助力金融企业打助力金融企业打造完整的新一代数据管理平台造完整的新一代数据管理平台3Summary新的技术创造新的业务价值2大数据驱动业务转型1