大数据入门普及资料

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,大,数据入门普及资料,不知道BIGDATA?你out了!,反对派,认,认为，,我,我们现,在,在处在,一,一个盲,目,目的大,数,数据崇,拜,拜时代,大,数据的定义,理解大数据,相关技术与应用,目录,facebook,社交网络,淘宝、,ebuy,电子商务,微博、,Apps,移动互联,21世纪是,数,数据信,息,息大发,展,展的时,代,代，移,动,动互联,、,、社交,网,网络、,电,电子商,务,务等极大拓展了,互,互联网,的,的边界,和,和应用,范,范围，各种数,据,据正在,迅,迅速膨,胀,胀并变大。,互联网,（,（社交,、,、搜索,、,、电商,）,）、移,动,动互联,网,网（微,博,博）、,物,物联网,（,（传感,器,器，智,慧,慧地球,）,）、车,联,联网、GPS、医学,影,影像、,安,安全监,控,控、金,融,融（银,行,行、股,市,市、保,险,险）、,电,电信（,通,通话、,短,短信）,都,都在疯,狂,狂产生,着,着数据。,“大数,据,据”的,诞,诞生：,半个世,纪,纪以来,，,，随着,计,计算机,技,技术全,面,面融入,社,社会生,活,活，信,息,息爆炸,已,已经积,累,累到了,一,一个开,始,始引发,变,变革的,程,程度。,它,它不仅,使,使世界,充,充斥着,比,比以往,更,更多的,信,信息，,而,而且其,增,增长速,度,度也在,加,加快。,信,信息爆,炸,炸的学,科,科如天,文,文学和,基,基因学,，,，创造,出,出了“,大,大数据,”,”这个,概,概念*。如今,，,，这个,概,概念几,乎,乎应用,到,到了所,有,有人类,智,智力与,发,发展的,领,领域中,。,。,大数据,时,时代的背景,GB,TB,PB,EB,ZB,想驾驭,这,这庞大,的,的数据,，,，我们,必,必须了,解,解大数,据,据的特,征,征。,地球上,至,至今总,共,共的数,据,据量：,在2006年，个,人,人用户,才,才刚刚,迈,迈进TB时代，全球,一,一共新,产,产生了,约,约180EB的数据；,在2011年，这,个,个数字,达,达到了1.8ZB。,而有市,场,场研究机构预,测,测：,到2020年，整,个,个世界,的,的数据,总,总量将,会,会增长44倍，达,到,到35.2ZB（1ZB,=,=10亿TB）！,1PB=2,50字节,1EB=2,60字节,1ZB,=,=270字节,大数据,时,时代的,爆,爆炸增长,“大量,化,化(Volume)、多样,化,化(Variety)、快速,化,化(Velocity,),)、价值,密,密度低,（,（Value）”就,是,是“大,数,数据”,的,的显著特征，,或,或者说,，,，只有,具,具备这,些,些特点,的,的数据,，,，才是,大,大数据,。,。,Volume,Velocity,Value,Variety,大数据,的,的4V特征,大数据=海量数,据,据+复杂类,型,型的数,据,据,海量交,易,易数据：,企业内,部,部的经,营,营交易,信,信息主,要,要包括,联,联机交,易,易数据,和,和联机,分,分析数,据,据，是,结,结构化,的,的、通,过,过关系,数,数据库,进,进行管,理,理和访,问,问的静,态,态、历,史,史数据,。,。通过,这,这些数,据,据，我,们,们能了,解,解过去,发,发生了,什,什么。,大数据包括：,交易数,据,据和交,互,互数据集,在,在内的,所,所有数,据,据集,海量交,互,互数据：,源于Facebook、Twitter、LinkedIn及其他,来,来源的,社,社交媒,体,体数据,构,构成。,它,它包括,了,了呼叫,详,详细记录CDR、设备和,传,传感器,信,信息、GPS和地理,定,定位映,射,射数据,、,、通过,管,管理文,件,件传输ManageFileTransfer协议传送的,海,海量图,像,像文件,、,、Web文本和,点,点击流,数,数据、,科,科学信,息,息、电,子,子邮件等等。,可,可以告,诉,诉我们,未,未来会,发,发生什,么,么。,海量数据处,理,理：,大数据的,涌,涌现已,经,经催生,出,出了设,计,计用于,数,数据密,集,集型处,理,理的架构。,例,例如具有开,放,放源码,、,、在商,品,品硬件,群,群中运,行,行的ApacheHadoop。,大数据,的,的构成,大,数据的定义,理解大数据,相关技术与应用,目录,1、密不,可,可分的,大,大数据,与,与云计,算,算,商业模,式,式驱动,应用需,求,求驱动,云计算,本,本身也,是,是大数,据,据的一,种,种业务,模,模式,大数据,是,是落地,的,的云,云计算,的,的模式,是,是业务,模,模式，,本,本质是,数,数据处,理,理技术。,数据是资产,，,，云为,数,数据资,产,产提供,存,存储、,访,访问和,计,计算。,当前云计算,更,更偏重,海,海量存,储,储和计,算,算，以,及,及提供,的,的云服,务,务，运,行,行云应用，但是缺,乏,乏盘活,数,数据资,产,产的能,力,力，挖,掘,掘价值,性,性信息,和,和预测,性,性分析,，,，为国,家,家、企,业,业、个,人,人提供,决,决策和,服,服务，是大,数,数据核,心,心议题,，,，也是,云,云计算,的,的最终,方,方向。,2、大数,据,据不仅,仅,仅是“,大,大”,多大？,至少PB级,比大更,重,重要的,是,是数据,的,的复杂,性,性，有,时,时甚至,大,大数据,中,中的小,数,数据如,一,一条微,博,博就具,有,有颠覆,性,性的价,值,值,3、软件,是,是大数,据,据的引,擎,擎,和数据,中,中心（Data Center）一样，,软,软件是,大,大数据,的,的驱动,力,力，软,件,件改变,世,世界,大数据生,态,态：软,件,件是引,擎,擎,4、大数,据,据的应,用,用不仅,仅,仅是精,准,准营销,通过用,户,户行为,分,分析实,现,现精准,营,营销是,大,大数据,的,的典型,应,应用，,但,但是大,数,数据在,各,各行各,业,业特别,是,是公共,服,服务领,域,域具有,广,广阔的,应,应用前,景,景,消费行,业,业,金融服,务,务,食品安,全,全,医疗卫,生,生,军事,交通环,保,保,电子商,务,务,气象,5、管理,大,大数据,“,“易”,理,理解大,数,数据“,难,难”,虽然大,数,数据是,一,一个重,大,大问题,，,，真正,的,的问题,是,是让大,数,数据更,有,有意义,目前大,数,数据管,理,理多从,架,架构和,并,并行等,方,方面考,虑,虑，解,决,决高并,发,发数据,存,存取的,性,性能要,求,求及数,据,据存储,的,的横向,扩,扩展，,但,但对非,结,结构化,数,数据的,内,内容理,解,解仍缺,乏,乏实质,性,性的突,破,破和进,展,展，这,是,是实现,大,大数据,资,资源化,、,、知识,化,化、普,适,适化的,核,核心,非结构,化,化海量,信,信息的,智,智能化,处,处理：,自,自然语,言,言理解,、,、多媒,体,体内容,理,理解、,机,机器学,习,习等,大,数据的定义,理解大数据,相关技术与应用,目录,分析技,术,术：,数据处,理,理：自然,语,语言处,理,理技术,统计和分析,：,：A/Btest;top N排行榜,；,；地域,占,占比；,文,文本情,感,感分析,数据挖,掘,掘：关,联,联规则,分,分析；,分,分类；,聚,聚类,模型预,测,测：预,测,测模型,；,；机器,学,学习；,建,建模仿,真,真,大数据技术：,数据采,集,集：ETL工具,数据存取：,关,关系数,据,据库；NoSQL；SQL等,基础架构支,持,持：云,存,存储；,分,分布式,文,文件系,统,统等,计算结果展,现,现：云,计,计算；,标,标签云,；,；关系,图,图等,存储,结构化数据：,海量数据的,查,查询、,统,统计、,更,更新等,操,操作效,率,率低,非结构化,数,数据,图片、视频,、,、word、pdf、ppt等文件,存,存储,不利于检索、,查,查询和存储,半结构化,数,数据,转换为结构,化,化存储,按照非结构,化,化存储,解决方,案,案：,Hadoop（MapReduce技术）,流计算（twitter的storm和yahoo！的S4）,数据采集,数据储存,数据管理,数据分析与挖掘,一些相,关,关技术,行业拓,展,展者，,打,打造大,数,数据行,业,业基石,：,：,IBM：,IBM大数据,提,提供的,服,服务包,括,括数据,分,分析，,文,文本分,析,析，蓝,色,色云杉（混搭,供,供电合,作,作的网,络,络平台,）,）;业务事,件,件处理；IBMMashupCenter的计量,，,，监测,，,，和商,业,业化服,务,务（MMMS）,IBM的大数,据,据产品,组,组合中,的,的最新,系,系列产,品,品的InfoSphere bigInsights，基于ApacheHadoop。,该产品组,合,合包括：,打包的ApacheHadoop的软件,和,和服务，,代,代号是bigInsights核心，,用,用于开始大,数,数据分,析,析,软件被称为bigsheet，软件,目,目的是,帮,帮助从,大,大量数,据,据中轻松、简单,、,、直观,的,的提取,、,、批注,相,相关信,息,息,为金融，,风,风险管,理,理，媒,体,体和娱,乐,乐等行,业,业量身,定,定做的行业解决方案,微软：,2011年1月与惠,普,普（具,体,体而言,是,是HP数据库,综,综合应,用,用部门,）,）合,作,作目标,是,是开发,了,了一系,列,列能够,提,提升生,产,产力和,提,提高决,策,策速度,的,的设备,。,。,EMC：,EMC斩获了,纽,纽交所,和,和Nasdaq；,大数据解,决,决方案已,包,包括40多个产品。,Oracle：,Oracle大数据机,与,与OracleExalogic中间件,云,云服务,器,器、OracleExadata数据库,云,云服务,器,器以及OracleExalytics商务智,能,能云服,务,务器一,起,起组成,了,了甲骨,文,文最广,泛,泛、高,度,度集成,化,化系统,产,产品组合。,大数据,的,的应用,企业在,投,投入,政府职,能,能变革,重视应用大,数,数据技,术,术，盘,活,活各地,云,云计算,中,中心资,产,产：把,原,原来大,规,规模投,资,资产业园、物联,网,网产业,园,园从政,绩,绩工程,，,，改造,成,成智慧工程；,在安防领,域,域，应,用,用大数,据,据技术,，,，提高,应,应急处,置,置能力,和,和安全,防,防范能力；,在民生领,域,域，应,用,用大数,据,据技术,，,，提升,服,服务能,力,力和运,作,作效率,，,，以及,个,个性化的服务，比如,医,医疗、,卫,卫生、,教,教育等部门；,解决在金融,，,，电信,领,领域等,中,中数据,分,分析的,问,问题：,一,一直得,到,到得极,大,大的重,视,视，但受困于存储,能,能力和,计,计算能,力,力的限,制,制，只,局,局限在,交,交易数,型,型数据,的,的统计分,析,析；,政府投入将,形,形成示,范,范效应,，,，大大,推,推动大,数,数据的发展。,大数据,的,的应用,政府,“智慧大脑”,智能感知,互联互通,智能运营,协同共享,美国奥巴马,政,政府在,白,白宫网,站,站发布大数据,研,研究和,发,发展倡,议,议，提出,“,“通过,收,收集、,处,处理庞,大,大而复,杂,杂的数,据,据信息,，,，从中,获,获得知,识,识和洞,见,见，提,升,升能力,，,，加快,科,科学、,工,工程领,域,域的创,新,新步伐,，,，强化,美,美国国,土,土安全,，,，转变,教,教育和,学,学习模,式,式”；,中国工,程,程院院士邬贺铨,说,说道，,“,“智慧城市是,使,使用智,能,能计算,技,技术使,得,得城市,的,的关键,基,基础设,施,施的组,成,成和服,务,务更智,能,能、互,联,联和有,效,效，随,着,着智慧,城,城市的,建,建设，