大数据发展跟踪研究报告24

标题,Click to edit Master text styles,*,中国电信广州研究院,标题,Click to edit Master text styles,中国电信广州研究院,2012,年,10,月,大数据发展跟踪研究报告,目,录,录,大,数,数,据,据,发,发,展,展,趋,趋,势,势,概,概,述,述,大,数,数,据,据,关,关,键,键,技,技,术,术,分,分,析,析,电,信,信,大,大,数,数,据,据,策,策,略,略,建,建,议,议,全,球,球,进,进,入,入,大,大,数,数,据,据,时,时,代,代,，,，,数,数,据,据,呈,呈,现,现,爆,爆,炸,炸,式,式,增,增,长,长,趋,趋,势,势,随,着,着,互,互,联,联,网,网/,移,移,动,动,互,互,联,联,网,网,、,、,数,数,码,码,设,设,备,备,、,、,物,物,联,联,网,网/,传,传,感,感,器,器,等,等,技,技,术,术,的,的,发,发,展,展,，,，,全,全,球,球,数,数,据,据,生,生,产,产,在,在,高,高,速,速,增,增,长,长,信,息,息,处,处,理,理,技,技,术,术,的,的,发,发,展,展,使,使,数,数,据,据,价,价,值,值,能,能,够,够,被,被,更,更,好,好,地,地,挖,挖,掘,掘,和,和,利,利,用,用,传,统,统,的,的,数,数,据,据,处,处,理,理,技,技,术,术,已,已,经,经,无,无,法,法,应,应,对,对,新,新,的,的,挑,挑,战,战,来,源,源,：,：,IDC,数,字,字,宇,宇,宙,宙,研,研,究,究,报,报,告,告,，,，,2011.11,据,IDC,预,测,测,，,，,未,未,来,来,10,年,全,全,球,球,数,数,据,据,量,量,将,将,以,以,40+%,的,速,速,度,度,增,增,长,长,，,，,2020,年,全,全,球,球,数,数,据,据,量,量,将,将,达,达,到,到,35ZB,（,35,000,000PB,）,，,，,为,为,2009,年,（,（,0.8ZB,）,的,的,44,倍,大,数,数,据,据,成,成,为,为,继,继,云,云,计,计,算,算,等,等,之,之,后,后,的,的,全,全,球,球,性,性,新,新,热,热,点,点,“,大,数,数,据,据,”,”,关,关,键,键,词,词,在,在,全,全,球,球,范,范,围,围,内,内,迅,迅,速,速,升,升,温,温,短,短,短,两,两,年,年,间,间,，,，,“,“,大,大,数,数,据,据,”,”,关,关,键,键,词,词,的,的,搜,搜,索,索,量,量,指,指,数,数,双,双,倍,倍,增,增,长,长,数,据,据,来,来,源,源,：,：,百,百,度,度,搜,搜,索,索,量,量,统,统,计,计,麦,肯,肯,锡,锡,全,全,球,球,研,研,究,究,机,机,构,构,发,发,布,布,，,，,认,认,为,为大,数,数,据,据,是,是,创,创,新,新,、,、,竞,竞,争,争,和,和,生,生,产,产,力,力,的,的,下,下,一,一,个,个,前,前,沿,沿,领,领,域,域，,数,数,据,据,将,将,会,会,给,给,社,社,会,会,带,带,来,来,更,更,大,大,的,的,价,价,值,值,大,数,数,据,据,将,将,在,在,政,政,府,府,公,公,共,共,服,服,务,务,、,、,医,医,疗,疗,服,服,务,务,、,、,零,零,售,售,业,业,、,、,制,制,造,造,业,业,、,、,以,以,及,及,涉,涉,及,及,个,个,人,人,位,位,置,置,服,服,务,务,等,等,领,领,域,域,得,得,到,到,广,广,泛,泛,应,应,用,用,，,，,并,并,产,产,生,生,巨,巨,大,大,的,的,社,社,会,会,价,价,值,值,和,和,产,产,业,业,空,空,间,间,预,测,测,2020,年,，,，,大,大,数,数,据,据,应,应,用,用市,场,场,规,规,模,模,将,将,达,达,到,到,近,近,2600,亿,美,美,元,元,公共管理,医疗,制造,位置服务,零售,大数据,市场前景,对欧洲的公共管理部门来说，大数据每年有,2500,亿欧元的潜在价值,-,比希腊的,GDP,还高,对美国医疗行业来说，大数据每年拥有,3000,亿美元的潜在价值,生产商可以利用大数据使产品研发、组装成本削减,50%,，人力成本削减,7%,利用全球的个人位置信息，每年可以取得,6000,亿美元的消费者价值,零售商可以利用大数据使经营利润取得,60%,的增长,大,数,数,据,据,市,市,场,场,前,前,景,景,广,广,阔,阔,，,，,成,成,为,为,全,全,球,球,新,新,的,的,经,经,济,济,增,增,长,长,点,点,各,国,国,政,政,府,府,高,高,度,度,重,重,视,视,大,大,数,数,据,据,，,，,上,上,升,升,到,到,国,国,家,家,战,战,略,略,高,高,度,度,美,国,国,：,：,奥,巴,巴,马,马,政,政,府,府,3.29,宣,布,布,“,“,BigDataResearchandDevelopmentInitiative,”,”,将,投,投,入,入,超,超,过,过,2,亿美元推动大数,据,据提取、存储、,分,分析、共享、可,视,视化等领域的研,究,究，并将其与历,史,史上对,超级计算和互联,网,网,的投资相提并论,中国：工信部,物联网十二五规,划,划,信息处理技术作,为,为4 项关键技,术,术创新工程之一,被,被提出,包括海量数据存,储,储、数据挖掘,等,国外互联网公司,走,走在大数据应用,前,前沿,Google,开放,BigQuery,服务：,将企业,數據分析能力商,品,品化，成為收費,線,線上服務,；,统计机器翻译,(statistical machinetranslation),：,利用庞大的已经,翻,翻译好的文件输,入,入电脑，然后由,电,电脑通过识别库,存,存的句式来进行,翻,翻译，而不是只,通,通过语法规则和,词,词库进行翻译。,Twitter,利用大数据技术,，,，预测猪流感等,流,流行性疾病爆发,。,。,研究人员收集超,过,过,5000,万条基于地缘位,置,置的,twitter,消息，然后按区,域,域与英国国家卫,生,生服务部的官方,禽,禽流感数据进行,了,了比较。通过从,数,数据库中找出与,禽,禽流感相关的关,键,键词，,Lampos,能够创造出一个,将,将未来,twitter,消息中流感发病,情,情况的关键词转,化,化为某一特定地,区,区流感严重程度,的,的模型,国外运营商利用,大,大数据已有初步,应,应用,按流量种类的固,定,定收费，解除用,户,户流量后顾之忧,培养用户使用数,据,据业务习惯，增,强,强用户粘性,针对预付费用户,群,群，扩大流量收,入,入,面向智能终端用,户,户,面向低端、高度,同,同质化竞争市场,西班牙电信：包,月,月流量套餐定制,（,（根据客户访问,内,内容和,SLA,要求，提供不同,费,费率套餐）,T-Mobile,：应用大数据技,术,术，降低客户流,失,失率。,在多个,IT,系统中整合了大,数,数据应用，对客,户,户交易和互动数,据,据进行综合分析,，,，更准确地预测,客,客户流失率。通,过,过将社交媒体数,据,据和,CRM,和计费系统中的,交,交易数据进行综,合,合分析，,T-mobile,在一个季度内将,客,客户流失率降低,了,了,50%,。,国内公司：阿里,巴,巴巴要做中国数,据,据分析第一平台,阿里巴巴的企业,愿,愿景是,要做分享数据的,第,第一平台。,大数据时代“将,阿,阿里集团变成,一家真正意义上,的,的数据公司,”,知道“你是谁，,你,你想要什么”,阿里巴巴集团所,积淀的商业数据,，支付宝、淘宝,、,、阿里金融、,B2B,的数据都会成为,这,这个巨大的数据,分,分享平台的一部,分,分，将会获得,深度发掘和应用,。,国内运营商：中,移,移动依托大云，,试,试点经分,中国移动：历时多年打造大,云,云平台,集团组织技术验,证,证,：基于大云平台,，,，以经分为切入,点,点,，,利用现有数据，,探,探索大数据技术,，,，已在河北等三,省,省试点,应用探索：,尝试利用大数据,技,技术识别异常话,单,单,产品线：,分析型,PaaS,产品，大数据处,理,理的一个主要产,品,品，包括,Hadoop,基础平台。,基于,Hadoop,的大数据仓库。,并行数据挖掘工,具,具。,搜索引擎系统，,基,基于中国移动,“,大云,”,平台，推出面向,公,公众的搜索业务,”,盘古搜索,”,。,国内运营商：联,通,通试点流量清单,查,查询,中国联通：以“流量清单查,询,询”探索大数据,技,技术,平台：英特尔至,强,强平台及“,Hadoop,开发版,”,大数据解决方案,。,。,功能：客户服务,人,人员提供客户上,网,网记录的快速查,询,询服务，或为客,户,户本人提供高效,的,的异常大流量上,网,网记录自助查询,服,服务。,上线：完成北京,、,、黑龙江、浙江,、,、重庆试点，预,计,计将会在今年,10,月份正式发布。,建设模式：联通,的,的大数据平台是,建,建立在数据大集,中,中的基础之上，,“,“我们现在在集,团,团公司进行统一,部,部署，各个省分,仅,仅仅是做数据的,采,采集，按照业务,实,实时性将数据传,送,送到集团公司，,由,由集团公司统一,处,处理。,”,目录,大数据发展趋势,概,概述,大数据关键技术,分,分析,电信大数据策略,建,建议,大数据涉及的关,键,键技术,需求,技术描述,关键技术,海量数据分布式,处,处理,Hadoop,生态系统,针对大量数据进,行,行分布式处理的,系,系统框架,实时数据处理,Streaming Data,流计算引擎,非结构化数据处,理,理,文本处理技术；,自,自然语言理解；多媒体处理技术,文本内容分词与,分,分析；图像、音,视,视频分析,可视化交互界面,通过交互式可视,化,化界面辅助用户,进,进行分析,交互式可视化探,索,索分析技术,智能数据分析,大规模机器学习,技,技术,计算机模拟人类,学,学习行为，包括,特,特征提取、图形,生,生成等,保护隐私数据与,信,信息个体的对应,关,关系等安全技术,高效存储和管理,大,大规模数据,数据存储备份技,术,术、数据放置和,调,调度技术、数据,溯,溯源,存储、放置、调,度,度大规模的数据,数据隐私保护,数据隐私防范保,护,护措施与数据安,全,全技术,大数据采集处理,大数据分析,存储、组织、管,理,理,大数据技术处于,快,快速成熟阶段,Gartner,新兴技术,Hyper,曲线,(2012,年,),达到成熟期尚需,时,时间,Gartner,新兴技术,Hyper,曲线,(2011,年,),仅,一年,时间，大数据技,术,术就取得,快速成长,。,仍,处于上升通道,，处于期望膨胀,期,期（,Peak ofInflated Expectation,）,需,2-5,年才能达到成熟,期,期，成为主要应,用,用技术。,各IT厂家纷纷,快,快速跟进大数据,技,技术,“,大数据”对信息,处,处理设施和技术,提,提出了更高的要,求,求,全球主流,IT,厂家纷纷加大在,大,大数据领域的投,入,入，行业价值快,速,速增长,目录,大数据发展趋势,概,概述,大数据关键技术,分,分析,电信大数据策略,建,建议,传统数据主要来,自,自于业务运营支,撑,撑系统、企业管,理,理系统等，比如,财,财务收入、业务,发,发展量等结构化,数,数据；,当前爆炸式增长,的,的新数据主要来,源,源于互联网、移,动,动互联网等，比,如,如图片、文本、,音,音频、视频等非,结,结构化数据。,非结构化新数据,和,和结构化传统数,据,据一起构成大数,据,据。,大数据,传统数据,客户资料,订单数据,产品数据,物资数据,财务数据,信令数据,网管数据,实时监控视频,传感器数据,即时通信数据,视频文件,客户账单,价值密度由高到,低,低,网上交易数据,微博数据,上网行为数据,位置数据,图片,音频,网页,日志,结构化数据、非,结,结构化数据定