大数据-时代的产物(MD)

按一下以編輯母片標題樣式,按一下以編輯母片文字樣式,第二層,第三層,第四層,第五層,*,*,BIG DATA,-Prepared By xindong,不知道,BIGDATA?,你,out,了,!,前瞻来看,，,，随着互,联,联网对网,民,民的理解,，,，网民对,网,网络的反,作,作用，互,联,联网将变,得,得越来越,智,智能。它,在,在满足你,需,需求的同,时,时，也在,创,创造新的,需,需求。前,者,者的代表,是,是,Google,，后者的,典,典型则是,Facebook,。,谷歌的盈,利,利在于所,有,有的软件,应,应用都是,在,在线的。,用,用户在免,费,费使用这,些,些产品的,同,同时，把,个,个人的行,为,为、喜好,等,等信息也,免,免费的送,给,给了,Google,。因此,Google,的产品线,越,越丰富，,他,他对用户,的,的理解就,越,越深入，,他,他的广告,就,就越精准,。,。广告的,价,价值就越,高,高。,这是正向,的,的循环，,谷,谷歌好用,的,的、免费,得,得软件产,品,品，换取,对,对用户的,理,理解；通,过,过精准的,广,广告，找,到,到生财之,道,道。颠覆,了,了微软卖,软,软件拷贝,赚,赚钱的模,式,式。成为,互,互联网的,巨,巨擘。,互联网越,来,来越智能,Google,精确掌握,用,用户行为,、,、获取需,求,求,微博为新,浪,浪带来巨,大,大价值,马云的判,断,断来自于,数,数据分析,“,2008,年初,阿里巴巴,平,平台上,整个,买家,询盘数急,剧,剧下滑,，,欧美对中,国,国采购在,下,下滑。海,关,关是卖了,货,货,出去以后,再,再获得数,据,据,;,而我们提,前,前半年时,间,间从询盘,上,上推断出,世,世界贸易,发,发生变化,了,了,。”,马云对未,来,来的预测,，,，是建立,在,在对用户,行,行文分析,的,的基础上,。,。,通常而言,，,，买家在,采,采购商品,前,前，会比,较,较多家供,应,应商的产,品,品，反映,到,到阿里巴,巴,巴网站统,计,计数据中,，,，就是查,询,询点击的,数,数量和购,买,买点击的,数,数量会保,持,持一个相,对,对的数值,，,，综合各,个,个维度的,数,数据可建,立,立用户行,为,为模型。,因,因为数据,样,样本巨大,，,，保证用,户,户行为模,型,型的准确,性,性。因此,在,在这个案,例,例中，询,盘,盘数据的,下,下降，自,然,然导致买,盘,盘的下降,。,。,腾讯在天,津,津投资建,立,立亚洲最,大,大的数据,中,中心；百,度,度也在投,资,资建立大,数,数据处理,中,中心；新,浪,浪推出企,业,业微博产,品,品，提供,精,精准的数,据,据分析服,务,务。,Gartner2011,年技術成,熟,熟度曲線,大數據處,於,於高速發,展,展期,技術演進,歷,歷史揭示,未,未來是大,数,数据驅動,的,的智慧型,經,經濟模式,什麼才是,大,大數據,?,指数型增,长,长的海量,数,数据,海量數據,就,就是大數,據,據嗎,?,大數據就,是,是雲計算,嗎,嗎,?,大数据的,4V,特性,体量,Volume,多样性,Variety,价值密度,Value,速度,Velocity,非结构化数据,的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能,(,咨询、报告等）,实时分析,而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,Value,價值,挖掘大数,据,据的价值,类,类似沙里,淘,淘金,从海量数,据,据中挖掘,稀,稀疏但珍,贵,贵的信息,.,价值密度,低,低,是大数据,的,的一个典,型,型特征,.,Variety,多樣性,企业内部,的,的经营交,易,易信息,;,物联网世,界,界中商品,物流信息,;,互联网世,界,界中人与,人,人交互信,息,息,位置信息,等,等是大数,据,据的主要,来,来源,.,能够在不,同,同的数据,类,类型中,进行交叉,分,分析的技,术,术,是大数据,的,的核心技,术,术之一,.,语义分析,技,技术,图文转换,技,技术,模式识别,技,技术,地理信息,技,技术等,都会在大,数,数据分析,时,时获得应,用,用,.,Velocity,速度,1s,是临界,点,点,.,对于大,数,数据应,用,用而言,必须要,在,在,1,秒钟内,形,形成答,案,案,否则处,理,理结果,就,就是过,时,时和无,效,效的,.,实时处,理,理的要,求,求,是区别,大,大数据,引,引用和,传,传统数,据,据仓库,技,技术,BI,技术的,关,关键差,别,别之一,.,Volume,数据量,PB,是大数,据,据層次,的,的临界,点,点,.,KB,-,MB,-,GB,-,TB,-,PB,-,EB,-,ZB,-,YB,-,NB,-,DB,对大数,据,据的進,一,一步理,解,解,大数据,比,比云计,算,算更为,落,落地,商业模,式,式驱动,应用需,求,求驱动,云计算本身也是大数据的一种业务模式,大数据,不,不仅仅,是,是“大,”,”,多大？,PB,级,比,大,更重要,的,的是,数据的,复,复杂性,，有时,甚,甚至大,数,数据中,的,的小数,据,据如一,条,条微博,就,就具有,颠,颠覆性,的,的价值,软件是,大,大数据,的,的引擎,和数据,中,中心（,Data Center,）一样，,软,软件是,大,大数据,的,的驱动,力,力,.,软件改,变,变世界,!,大数据,生,生态,:,软件是,引,引擎,大数据,的,的应用,不,不仅仅,是,是精准,营,营销,通过用,户,户行为,分,分析实,现,现精准,营,营销是,大,大数据,的,的典型,应,应用，,但,但是大,数,数据在,各,各行各,业,业特别,是,是公共,服,服务领,域,域具有,广,广阔的,应,应用前,景,景,消费行,业,业,金融服,务,务,食品安,全,全,医疗卫,生,生,军事,交通环,保,保,电子商,务,务,气象,管理大,数,数据“,易,易”,理解大,数,数据“,难,难”,目前大,数,数据管,理,理多从,架,架构和,并,并行等,方,方面考,虑,虑，解,决,决高并,发,发数据,存,存取的,性,性能要,求,求及数,据,据存储,的,的横向,扩,扩展，,但,但对非,结,结构化,数,数据的,内,内容理,解,解仍缺,乏,乏实质,性,性的突,破,破和进,展,展，这,是,是实现,大,大数据,资,资源化,、,、知识,化,化、普,适,适化的,核,核心,.,非结构,化,化海量,信,信息的,智,智能化,处,处理：,自,自然语,言,言理解,、,、多媒,体,体内容,理,理解、,机,机器学,习,习等,.,大数据,为,为什么,重,重要？,更高一,层,层数据,层,层面整,合,合企业,内,内外部,更高数,据,据层面,整,整合,利用用,户,户,”,行为指,纹,纹,”,创造新,商,商机,用户在,线,线的每,一,一次点,击,击，每,一,一次评,论,论，每,一,一个视,频,频点播,，,，就是,大,大数据,的,的典型,来,来源。,互,互联网,企,企业之,所,所以取,得,得令人,瞩,瞩目的,成,成绩，,其,其核心,的,的本质,就,就是包,括,括用户,网,网络操,作,作的大,数,数据，,进,进行记,录,录和分,析,析，形,成,成用户,“,“行为,指,指纹”,，,，从而,洞,洞悉用,户,户的潜,在,在的、,真,真实的,需,需求，,形,形成预,判,判。,这是传,统,统企业,花,花费重,金,金都难,以,以企及,的,的梦想,。,。所有,传,传统的,产,产品公,司,司都只,能,能沦为,这,这种新,型,型用户,平,平台级,公,公司的,附,附庸。,大数据,组,组成和,展,展現方,式,式？,基于,SQL,语言,:,面对,OLAP,的传统,行,行和列,不基于,SQL,或,map-reduce,的,:,由谷歌,率,率先发,起,起,数据流,:,基于运,行,行商数,据,据直接,生,生成任,意,意图形,新平台技术,数据入,口,口,/,汇聚,数据平,台,台,分析,不同范围的服务,传统交,付,付模式,-,单片或,基,基于设,备,备的解,决,决方案,云,:,能够充,分,分利用,物,物理设,施,施的弹,性,性，以,实,实现处,理,理快速,增,增长数,据,据的能,力,力,“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”,-Forrester analyst Jim Kobielus,新的传输方案,新模式,和,和新技,术,术,展现方,式,式,：大型,控,控制中,心,心、移,动,动终端,在多样,性,性、体,量,量、速,度,度三大,主,主要特,征,征的指,引,引下，,大,大数据,将,将有新,型,型的展,现,现方式,：,：大型,控,控制中,心,心和移,动,动终端,，,，实现,数,数据的,实,实时处,理,理和快,速,速决策,。,。,Thanks,