大数据发展跟踪研究报告课件

标题,Click to edit Master text styles,*,中国电信广州研究院,标题,Click to edit Master text styles,中国电信广州研究院,2012,年,10,月,大数据发展跟踪研究报告,大数据发展跟踪研究报告,目录,大数据发展趋势概述,大数据关键技术分析,电信大数据策略建议,目录大数据发展趋势概述,全球进入大数据时代，数据呈现爆炸式增长趋势,随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长,信息处理技术的发展使数据价值能够被更好地挖掘和利用,传统的数据处理技术已经无法应对新的挑战,来源：,IDC,数字宇宙研究报告，,2011.11,据,IDC,预测，未来,10,年全球数据量将以,40+%,的速度增长，,2020,年全球数据量将达到,35ZB,（,35,000,000PB,），为,2009,年（,0.8ZB,）的,44,倍,全球进入大数据时代，数据呈现爆炸式增长趋势随着互联网/移动互,大数据成为继云计算等之后的全球性新热点,“,大数据”关键词在全球范围内迅速升温,短短两年间，“大数据”关键词的搜索量指数双倍增长,数据来源：百度搜索量统计,大数据成为继云计算等之后的全球性新热点“大数据”关键词在全球,麦肯锡全球研究机构发布，认为,大数据是创新、竞争和生产力的下一个前沿领域,，数据将会给社会带来更大的价值,大数据将在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域得到广泛应用，并产生巨大的社会价值和产业空间,预测,2020,年，大数据应用,市场规模将达到近,2600,亿美元,公共管理,医疗,制造,位置服务,零售,大数据,市场前景,对欧洲的公共管理部门来说，大数据每年有,2500,亿欧元的潜在价值,-,比希腊的,GDP,还高,对美国医疗行业来说，大数据每年拥有,3000,亿美元的潜在价值,生产商可以利用大数据使产品研发、组装成本削减,50%,，人力成本削减,7%,利用全球的个人位置信息，每年可以取得,6000,亿美元的消费者价值,零售商可以利用大数据使经营利润取得,60%,的增长,大数据市场前景广阔，成为全球新的经济增长点,麦肯锡全球研究机构发布，认为大数据是创新、竞争和生产力的下一,各国政府高度重视大数据，上升到国家战略高度,美国：,奥巴马政府,3.29,宣布“,Big Data Research and Development Initiative”,将投入超过,2,亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对,超级计算和互联网,的投资相提并论,中国：,工信部,物联网十二五规划,信息处理技术作为4 项关键技术创新工程之一被提出,包括海量数据存储、数据挖掘,等,各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3,国外互联网公司走在大数据应用前沿,Google,开放,BigQuery,服务：,将企业,數據分析能力商品化，成為收費線上服務,；,统计机器翻译,(statistical machine translation),：,利用庞大的已经翻译好的文件输入电脑，然后由电脑通过识别库存的句式来进行翻译，而不是只通过语法规则和词库进行翻译。,Twitter,利用大数据技术，预测猪流感等流行性疾病爆发。,研究人员收集超过,5000,万条基于地缘位置的,twitter,消息，然后按区域与英国国家卫生服务部的官方禽流感数据进行了比较。通过从数据库中找出与禽流感相关的关键词，,Lampos,能够创造出一个将未来,twitter,消息中流感发病情况的关键词转化为某一特定地区流感严重程度的模型,国外互联网公司走在大数据应用前沿Google开放BigQue,国外运营商利用大数据已有初步应用,按流量种类的固定收费，解除用户流量后顾之忧,培养用户使用数据业务习惯，增强用户粘性,针对预付费用户群，扩大流量收入,面向智能终端用户,面向低端、高度同质化竞争市场,西班牙电信：包月流量套餐定制（根据客户访问内容和,SLA,要求，提供不同费率套餐）,T-Mobile,：应用大数据技术，降低客户流失率。,在多个,IT,系统中整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和,CRM,和计费系统中的交易数据进行综合分析，,T-mobile,在一个季度内将客户流失率降低了,50%,。,国外运营商利用大数据已有初步应用按流量种类的固定收费，解除用,国内公司：阿里巴巴要做中国数据分析第一平台,阿里巴巴的企业愿景是,要做分享数据的第一平台。,大数据时代“将阿里集团变成,一家真正意义上的数据公司,”,知道“你是谁，你想要什么”,阿里巴巴集团所,积淀的商业数据,，支付宝、淘宝、阿里金融、,B2B,的数据都会成为这个巨大的数据分享平台的一部分，将会获得,深度发掘和应用,。,国内公司：阿里巴巴要做中国数据分析第一平台阿里巴巴的企业愿景,国内运营商：中移动依托大云，试点经分,中国移动：,历时多年打造大云平台,集团组织技术验证,：基于大云平台，以经分为切入点,，,利用现有数据，探索大数据技术，已在河北等三省试点,应用探索：,尝试利用大数据技术识别异常话单,产品线：,分析型,PaaS,产品，大数据处理的一个主要产品，包括,Hadoop,基础平台。,基于,Hadoop,的大数据仓库。,并行数据挖掘工具。,搜索引擎系统，基于中国移动,“,大云,”,平台，推出面向公众的搜索业务,”,盘古搜索,”,。,国内运营商：中移动依托大云，试点经分中国移动：历时多年打造大,国内运营商：联通试点流量清单查询,中国联通：,以“流量清单查询”探索大数据技术,平台：英特尔至强平台及“,Hadoop,开发版,”,大数据解决方案。,功能：客户服务人员提供客户上网记录的快速查询服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。,上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年,10,月份正式发布。,建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公司，由集团公司统一处理。,”,国内运营商：联通试点流量清单查询中国联通：以“流量清单查询”,目录,大数据发展趋势概述,大数据关键技术分析,电信大数据策略建议,目录大数据发展趋势概述,大数据涉及的关键技术,需求,技术描述,关键技术,海量数据分布式处理,Hadoop,生态系统,针对大量数据进行分布式处理的系统框架,实时数据处理,Streaming Data,流计算引擎,非结构化数据处理,文本处理技术；自然语言理解；,多媒体处理技术,文本内容分词与分析；图像、音视频分析,可视化交互界面,通过交互式可视化界面辅助用户进行分析,交互式可视化探索分析技术,智能数据分析,大规模机器学习技术,计算机模拟人类学习行为，包括特征提取、图形生成等,保护隐私数据与信息个体的对应关系等安全技术,高效存储和管理大规模数据,数据存储备份技术、数据放置和调度技术、数据溯源,存储、放置、调度大规模的数据,数据隐私保护,数据隐私防范保护措施与数据安全技术,大数据采集处理,大数据分析,存储、组织、管理,大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理H,大数据技术处于快速成熟阶段,Gartner,新兴技术,Hyper,曲线,(,2012,年,),达到成熟期尚需时间,Gartner,新兴技术,Hyper,曲线,(,2011,年,),仅,一年,时间，大数据技术就取得,快速成长,。,仍,处于上升通道,，处于期望膨胀期（,Peak of Inflated Expectation,）,需,2-5,年才能达到成熟期，成为主要应用技术。,大数据技术处于快速成熟阶段Gartner 新兴技术 Hype,各IT厂家纷纷快速跟进大数据技术,“,大数据”对信息处理设施和技术提出了更高的要求,全球主流,IT,厂家纷纷加大在大数据领域的投入，行业价值快速增长,各IT厂家纷纷快速跟进大数据技术“大数据”对信息处理设施和技,目录,大数据发展趋势概述,大数据关键技术分析,电信大数据策略建议,目录大数据发展趋势概述,传统数据主要来自于业务运营支撑系统、企业管理系统等，比如财务收入、业务发展量等结构化数据；,当前爆炸式增长的新数据主要来源于互联网、移动互联网等，比如图片、文本、音频、视频等非结构化数据。,非结构化新数据和结构化传统数据一起构成大数据。,大数据,传统数据,客户资料,订单数据,产品数据,物资数据,财务数据,信令数据,网管数据,实时监控视频,传感器数据,即时通信数据,视频文件,客户账单,价值密度由高到低,网上交易数据,微博数据,上网行为数据,位置数据,图片,音频,网页,日志,结构化数据、非结构化数据定义：结构化数据是能够用数据库二维表来逻辑表达的数据；其他为非结构化数据。,大数据是传统数据的延伸，是对传统数据在深度和广度上的补充,传统数据主要来自于业务运营支撑系统、企业管理系统等，比如财务,对电信拥有的大数据，进行,全面深入、实时的分析和应用,，是电信应对新形势下的挑战，避免沦为管道化的的关键,大数据为电信带来新的机遇,同质化竞争严重,面临来自互联网公司的竞争：遭遇流量增加，但附加值没有增加的困境,运营商具有丰富的数据资源：掌握用户资源及用户访问互联网的入口,对数据的有效利用日益成为中国电信进一步发展的关键,发现需求,/,业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应,吸引和留住用户：快速满足用户个性化需求，成功吸引用户注意力和增加用户黏性,大数据将成为中国电信发展的核心驱动引擎,对电信拥有的大数据，进行全面深入、实时的分析和应用，,电信拥有丰富的数据来源,客户资料,产品信息,行为数据,位置数据,数据网络数据,完善,360,度客户视图,帮助我们回答我是谁？我是一个怎样的人？,帮助我们进一步的了解事物之间的内在联系,帮助我们了解周围有多少人和自己有相同特征，他们有什么有趣的新发现,行为,预测,行为理解,用户行为分析,大数据对电信的主要核心价值,客户深度洞察,电信拥有丰富的数据来源 行为预测 行为理解用,信息,获取,的,及时性和,价值,成正比，而及时性主要由数据处理速度和结果获取速度决定。,大数据,新的处理及应用技术有效提升信息获取及时性,流处理和分布式计算技术有效提升数据处理的速度,移动,BI,等能够将,各类图表直观快速的传递给用户,，提高决策的有效性,可视化技术提供了一种对已有预测进行检验，对未知信息进行探索，实现快速、可检验和易理解的评估的手段,大数据对电信的主要核心价值,及时有效决策支持,信息获取的及时性和价值成正比，而及时性主要由数据处理速度和结,流量经营,个性化服务,数据服务,网络优化,大数据应用,获取并处理,DPI,数据，分析用户行为特征等,根据用户行为偏好，推送相关业务,按照流量价值分级经营,优化产品、套餐等，提供个性化定制能力,根据用户等级提供差异化服务,实时采集处理信令据，监控网络状况,实现网络、应用和用户的智能指配,指导网络规划,将数据封装成服务，提供给企业所有用户,提供数据分析开放能力,电信大数据应用的主要场景,流量经营个性化服务数据服务网络优化大数据应用获取并处理DPI,大数据在管理、技术和应用上带来的挑战,大数据挑战,大数据如何有效组织和管理？,大数据时代如何保护数据安全？保护用户隐私？,大数据如何保障其数据质量？,如何从海量数据中发掘数据价值？,现有数据应用模式已经难以适应大数据持续优化的需求,大数据技术架构挑战,大数据应用挑战,大数据管理挑战,大数据对存储、网络等提出了更高要求；,多源异构大规模数据的采集、整合面临挑战；,大数据在管理、技术和应用上带来的挑战大数据大数据如何有效组织,中国电信大数据应对策略与建议,加强技术储备，有序开展大数据关键技术研究与验证,非结构化数据处理、交互式可视化分析、流计算,找准切入点，尽快推动大数据技术应用试验，为大规模应用、推广奠定基础,