《大数据解决方案》PPT课件.pptx

大数据 自助式分析解决方案 议程 大数据解决方案hadoop的优势实际过往案例自助式分析方案 大数据企业品牌腾飞的 肾上腺素 哪些是大数据 大数据解决方案 大型数据库 ORACLE 优势 技术人才可以复用 支撑总数据量100TB 且100GB以下数据实时多维度数据的分析 开发效率比较高 开发成本比较低 产品稳定 后期维护简单 劣势 技术储备要求高高昂的硬件投资并行扩展非常困难 对海量的实时多维度分析 基本不能支持 大数据解决方案 分布式数据库 Mysql 优势 技术人才储备可以部分复用 硬件投资成本可以控制 并行扩展比较方便 劣势 需要更高端的架构师 海量数据的处理架构需要重新开发 后期技术实现 维护成本高 大数据解决方案 业内通用解决方案 hadoop spark 优势 技术人才储备多硬件投资成本可以控制并行扩展比较方便后期结合业务开发 实现稳定 劣势 需要专业的方向性人才处理HDFSstormmahout 企业数据及商业智能平台的进化 未来 大数据存储 OA 视频 语音 图片 数据流 数据仓库 数据集市 多维度存储 数据服务 分析 应用 其他 CRM ERP Hadoop优势 丰富的组件 Hadoop优势 完善的处理流程 为大数据而建 新一代的性能和规模 Hadoop优势 洞察任意大小的数据 实际案例一智慧能源 背景 客户原来是从事硬件研发 每年营业额在5000万左右 随着企业规模的扩展 领导觉得对硬件设备的故障告警不够及时 对现有的历史数据没法进行数据整合与挖掘 导致决策迟缓 故障不能够预设告警 数据已结构化数据为主现在 新平台改造 Hadoop 10 redis 2 mysql 4 硬件故障从原来的半小时监控 提升到现在 故障预先告警 发生故障的2分钟告警到用户 分析决策效率大大提高支撑现在数据有50 采集点 500 采集源 每秒处理并发数实时数据2000条每天处理数据量实时数据200G 历史综合数据1T 实际案例一智慧能源背景简介 大数据存储 10 交换机数据源 监控设备数据源 数据流 mysql 4 数据仓库多维度存储 数据服务 分析 应用 其他 数据接入程序 redis 异常存储 2 实际案例二互联网舆情 背景 客户需要对互联网金融服务的服务企业和相关行业做到实时监控 并有效的挖掘互联网上的客户资源 数据已非结构化数据为主现在 我公司提供相关互联网数据的爬取 并对数据初步ETL后 传入到客户 客户平台构成 Hadoop 15 oracle 2 可以30分钟左右监控指定贷款客户的互联网舆情 可以对地区与行业进行综合评估与预测每天发送到客户数据100G 每天分析数据维度40个 综合处理1T数据 企业数据及商业智能平台的进化 互联网舆情 大数据存储 15 非结构化数据源 新闻 博客 BBS 微博 数据流 图像 视频 oracle数据仓库 数据服务 分析 应用 其他 类结构化数据 Hdfs Hbase MapReducehive 实际案例三大型国企 背景 客户是一个省级运营商 需要对历史的客户话单 LBS 流量信息进行分析 数据维度非常多 需要综合考虑的数据量比较大 现在 客户平台构成 Hadoop 40 oracle 4 mpi 6 每天分析数据维度100个 1T数据 要求2小时完成复杂数据挖掘分析 企业数据及商业智能平台的进化 某国企统计分析 大数据存储 40 话单数据源 LBS数据源 网络数据源 数据仓库oracle 数据服务 分析 应用 其他 其他数据源 MPI密集分布式计算 6 大数据解决方案 大数据的一些疑问 实时要求性是否高 数据应用满足什么样的要求 数据构成 数据运算维度数量 Hadoop BigData 思想 举例 决策分析 销售分析 为企业的整体发展战略创造价值 角色 数据挖掘 决策分析 销售分析 业务创新和算法能力 血液 举例 成熟的分析 视觉化以及数据管理的全新生态系统 角色 云计算 数据模型设计 数据建模和管理能力 骨髓 举例 Hadoop HPCC和NoSQL等 角色 硬件平台 集群部署 硬件存储和计算能力 大数据 能力 大数据平台总体架构 redis HadoopCluster strom MPI MapReduce MPI MPI 组件选型标准 节点计算公式 总结 大数据解决方案 业务能力 访问任意数据源 关系型数据库 Hadoop 非结构化数据 的数据整合平台低成本的数据价值洞察平台技术能力 结构化 半结构化 非结构化数据的处理能力