大数据平台服务的商机v

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2013-8-1,#,大数据平台服务的商机,报告人：舒 翼,讨论组成员：陈秋军、代小春、朱凤兰、丁颖琪、闫文波,朱雪菲、王建华、周 璇、贾玉萌、张海兵,大纲,大数据产生的背景及其概念,大数据平台服务的商业模式,大数据平台服务能为您做什么,大数据平台服务的技术准备就位,大数据平台服务的供应商就位,总结,GB,TB,PB,EB,ZB,大数据到底有多大,?,地球上至今总共的数据量,：,在,2006,年，个人用户才刚刚迈进,TB,时代,，全球一共新产生了约,180EB,的,数据,；,在,2011,年，这个数字达到了,1.8ZB,。,而有市场,研究,机构预测：,到,2020,年，整个世界的数据总量将会增长,44,倍，达到,35.2ZB,（,1ZB=10,亿,TB,）！,1PB,（拍字节,）,=,250,字节,1EB,（艾字节,）,=,260,字节,1ZB,（泽字节）,=270,字节,大数据产生的背景,:,信息大爆炸,大数据产生的背景,:,信息大爆炸,facebook,社交网络,微博,淘宝、,ebay,电子商务,手机、,Apps,移动互联,移动,互联网、社交网络、电子商务,等信息化发展极,大拓展了互联网的边界和应用范围,。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、,GPS,、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,传感器,RFID,从,2005,年的,1.3,亿增加到,2010,年的,30,亿,互联网,Google,每天处理大约,24PB,的数据,社交网络,Facebook,每天处理,25TB,的数据,Twitter,每天处理,7TB,的数据,电信,中国移动每天产生,10TB+,话单、,30TB+,上网日志和,100TB+,信令数据,金融,每交易周期，纽约证券交易所捕获,1TB,的交易信息,零售,沃尔玛每小时要处理,100,万笔电子交易记录,科研,欧洲核子研究中心的强子对撞机每秒产生,40TB,数据,政府,美国政府拥有,848PB,数据，居于美国第二位,网上一分钟，人间一万年,什么是大数据平台服务？,大,数据平台服务,=,海量数据导入,+,分析,软件,+,挖掘,过程,什么是大数据平台服务？,企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合,大数据技术将被设计用于在成本可承受（,economically,）的条件下，通过非常快速（,velocity,）的采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）的数据中提取价值（,value,）,，,将是,IT,领域新一代的技术与架构,以服务为核心的商业模式,卖,license,卖服务,从对,license,的需求到对整体解决方案、服务的需求,易复制、利润率高,边际成本为零,卖人头,盗版,客户粘度高,软硬一体化,利润率较卖,license,低，需要解决复用问题,因泛在计算而导致,行业需求变化,利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以数据服务为核心的新商业模式。,数据的价值链,数据的,价,价值链,大数据,平,平台服,务,务的盈,利,利模式,模式,1,：数据,存,存储空,间,间出租,模式,2,：客户,关,关系管,理,理,模式,3,：企业,经,经营决,策,策指导,模式,4,：个性,化,化精准,推,推荐,模式,5,：建设,本,本地化,数,数据集,市,市,模式,6,：数据,搜,搜索,模式,7,：创新,社,社会管,理,理,大数据,的,的价值,数据已经成,为,为可以,与,与物质,资,资产和,人,人力资,本,本相提,并,并论的,重,重要的,生,生产要,素,素,行业大,数,数据应,用,用契合,度,度矩阵,应用可,能,能性,电信,政府（,公,公共事,业,业）,交通,金融,医疗,教育,能源（,电,电力,/,石油）,纵轴契,合,合度：,表示该,用,用户的,IT,应用特,点,点与大,数,数据特,性,性的契,合,合程度,；,；,横轴应,用,用可能,性,性,：表示该,用,用户出,于,于主客,观,观因素,在,在短期,内,内投资,大,大数据,的,的可能,性,性；,注：,该位置,为,为分析,师,师访谈,的,的综合,印,印象，,为,为定性,分,分析，,图,图中位,置,置不代,表,表具体,数,数值,High,Mid,Low,Low,Mid,High,优先关,注,注行业,用,用户,应用特,点,点与大,数,数据技,术,术有较,高,高的契,合,合度，,在,在主客,观,观条件,上,上也有,较,较高的,应,应用可,能,能性。,值得关,注,注行业,用,用户,应有特,点,点与大,数,数据的,契,契合度,及,及应用,可,可能性,综,综合较,高,高,适当关,注,注行业,用,用户,两个维,度,度暂时,都,都不具,备,备优势,，,，可适,当,当给予,关,关注,互联网,（,（电子,商,商务）,契合度,流通,零售,制造,各行业,对,对大数,据,据平台,服,服务的,需,需求,零售商,减,减少,80%,的分析,查,查询的,时,时间,优化仓,储,储,股票交,易,易所原,本,本在,2PB,数据上,26,小时的,查,查询减,少,少到,2,分钟,政府机,构,构分析,声,声学数,据,据 从,几,几小时,减,减少到,70,毫秒,电力公,司,司通过,在,在若干,分,分钟分,析,析,10PB,数据避,断,断电,电信分,析,析流式,网,网络数,据,据减少,硬,硬件成,本,本,90%,Hospital,医院通,过,过分析,生,生命特,征,征流提,前,前,24hours,检测疾,病,病,大数据,平,平台服,务,务能为,您,您做什,么,么,？,行业分,析,析篇,大数据,平,平台服,务,务能为,您,您做什,么,么？,智慧地,球,球篇,2011,年,3,月,11,日日本,大,大地震,发,发生后,仅,仅,9,分钟，,美,美国国,家,家海洋,和,和大气,管,管理局,(NOAA),就发布,了,了详细,的,的海啸,预,预警。,NOAA,通过对,海,海洋传,感,感器获,得,得,的,的实时,数,数据进,行,行计算,机,机模拟,，,，制作,的,的海啸,影,影响模,型,型出现,在,在各大,网,网站。,1962,年，经,过,过“圣,灰,灰星期,三,三”风,暴,暴后，,美,美国陆,军,军工程,部,部和美,国,国国家,海,海洋与,大,大气管,理,理局共,同,同建设,了,了一个,传,传感器,监,监测系,统,统，对,兴,兴风作,浪,浪的海,洋,洋进行,监,监测。,2005,年，浮,标,标上安,装,装了更,高,高端的,传,传感器,，,，用来,监,监测海,浪,浪方向,。,。,2009,年，系,统,统再次,升,升级，,开,开始着,手,手建立,一,一个覆,盖,盖全美,海,海岸线,的,的精确,海,海浪监,测,测网络,。,。这些,传,传感器,以,以分秒,为,为单位,，,，将数,据,据源源,不,不断实,时,时传回,大数据,平,平台服,务,务能为,您,您做什,么,么？,语言文,字,字分析,奥巴马,和,和罗姆,尼,尼辩论,情,情况分,析,析。,大数据,平,平台服,务,务能为,您,您做什,么,么？,社交网,络,络分析,电信行业、,传,传媒业,借,借助社交网,络,络分析,，,，对客,户,户的通,话,话数据、,微,微博连,接,接进行分析，,能,能够识,别,别出这,部,部分“,影,影响者,”,”。社,交,交分析,并,并不是,分,分析单,一,一用户,的,的通话记录和,微,微博信,息,息，而是分,析,析各用,户,户所处,的,的社交,网,网络。,圈子识,别,别,关键成,员,员识别,传播影,响,响分析,重入网用,户,户识别,双机双,卡,卡用户,识,识别,六度空,间,间理论,关系强,度,度分析,大数据,平,平台服,务,务能为,您,您做什,么,么？,算法交,易,易、欺,诈,诈检验,欺诈检,测,测,：监控信用卡,使,使用,当检测,的,的信用,卡,卡在很,短,短的时,间,间内并且相距甚,远,远的位,置,置已连,续,续被使用，,检,检测到欺诈,行,行为,拒绝卡,的,的使用,算法交,易,易,：及时,发,发现存,在,在的交,易,易机会,，,，每次,一,一小笔,，,，毫秒,级,级交易,，,，每天,进,进行数,量,量众多,的,的交易,。,。已经,成,成为趋,势,势,金融交,易,易是最,能,能体现,大,大数据,的,的,Velocity,特性的,，,，机会,稍,稍纵即,逝,逝，甚,至,至券商,对,对连接,到,到交易,主,主机的,网,网线长,度,度都有,至,至关重,要,要的诉,求,求。算,法,法交易,成,成为趋,势,势，但,也,也导致,了,了一次,小,小型的,股,股灾。,大数据,平,平台服,务,务能为,您,您做什,么,么？,客户特,征,征交叉,销,销售,今年年,初,初，美,国,国一名,男,男子闯,入,入了他,家,家附近,的,的,Target,店铺（,Target,是一家,美,美国零,售,售连锁,超,超市）,。,。“你,们,们怎么,能,能这样,！,！”男,人,人向店,铺,铺经理,大,大吼到,，,，“你,们,们竟然,给,给我,17,岁的女,儿,儿发婴,儿,儿尿片,和,和童车,的,的优惠,券,券，她,才,才,17,岁啊！,”,”店铺,经,经理不,知,知道发,生,生了什,么,么，立,刻,刻向来,者,者道歉,，,，表明,那,那肯定,是,是个误,会,会。然,而,而，经,理,理没有,意,意识到,，,，公司,正,正在运,行,行一套,大,大数据,系,系统。,一,一个月,后,后，这,个,个愤怒,的,的父亲,打,打来电,话,话道歉,，,，因为,Target,发来的,婴,婴儿用,品,品促销,广,广告并,不,不是误,发,发，他,的,的女儿,的,的确怀,孕,孕了。,纽约时,报,报,报道,更多,：反恐（万,维,维信息触,角,角计划,与,与建言,计,计划）,，,，库存,管,管理（沃尔玛,的,的,RetailLink,）、卖,数,数据！,大数据驱,动,动市场,营,营销、,驱,驱动成,本,本控制,、,、驱动,产,产品和,服,服务创,新,新、驱,动,动管理,和,和决策,的,的创新,、,、驱动,商,商业模,式,式的创,新,新。,技术解,决,决方案,准,准备就,绪,绪,Gartner,新兴技术成,熟,熟度曲线,(2012,年,),Gartner,新兴技术成,熟,熟度曲,线,线,(2011,年,),仅一年,时,时间，,大,大数据,技,技术就,取,取得快,速,速成长,。,。,仍处于,上,上升通,道,道，处,于,于期望,膨,膨胀期,（,（,Peak of Inflated Expectation,）,需,2-5,年才能,达,达到成,熟,熟期，,成,成为主,要,要应用,技,技术。,技术解,决,决方案,准,准备就,绪,绪,海量存储,GFS,HDFS,Amazon S3,TFS,CEPH,Hadoop,离线计算,MapReduce,Tenzing,Hive/Pig,Dremel,Drill,Impala,Elastic MapReduce,在线计算,Spanner,BigTable,HBase,SimpleDB,DynamoDB,Redis,MongDB,流式计算,S4,Puma2,Storm,StreamBase,相关领域,Chubby,Zookeeper,Pregel,HAMA,Mahout,Spark,Caffine,ProtocolBuffer,Avro/Thrift,供应商,准,准备就,位,位,基于,SQL,语言,:,面对,OLAP,的传统,行,行和列,不基于,SQL,或,map-reduce,的,:,由谷歌,率,率先发,起,起,数据流,:,基于运,行,行商数,据,据直接,生,生成任,意,意图形,新平台技术,数据入,口,口,/,汇聚,数据平,台,台,分析,不同范围的服务,前提：,