大数据解析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据解析,目录,01,大数据概述,0,2,大数据相关技术产品,0,3,大数据应用,04,大数据展望,什么是,大,大数据,到底,什么是,大,大数据,？,？,大数据,就,就是：海量数,据,据本身+处理方,法,法,大数据(big data,),)或称巨,量,量资料,，,，指的,是,是所涉,及,及的资,料,料量规,模,模巨大,到,到无法,透,透过目,前,前主流软,件,件工具，在合理时,间,间内达,到,到撷取、,管,管理、,处,处理、,并,并整理成为帮,助,助企业,经,经营决,策,策更积,极,极目的的资讯,。,。,大数据,分,分析相,比,比于传,统,统的数,据,据仓库,应,应用，,具,具有数,据,据量大,、,、查询,分,分析复,杂,杂等特,点,点。,身边的,大,大数据,（,（军事,、,、政治,、,、娱乐,、,、体育,）,）,人物（,理,理论、,技,技术、,应,应用、,政,政策）,海量、,多,多样性,、,、价值,海量存,储,储技术,、,、分布,式,式计算,技,技术,非相关,数,数据的,相,相关性,分,分析、,全,全样本,数,数据.,影响,数据,技术,创新思维,大数据,影,影响商,业,业变革,的,的三个,要,要素,海量数据,并行计算,非结构数据,Hadoop,机器学习,分布式,计算,关键词,：,：大不同,大数据,标,标签,不相关,R,语言,全样本,预测,洞察,效率,大数据,思,思维,所谓大,数,数据思,维,维，是,指,指一种,意,意识，,认,认为公,开,开的数,据,据一旦,处,处理得,当,当就能,为,为千百,万,万人急,需,需解决,的,的问题,提,提供答,案,案。,大数据,时,时代,大数据思,维,维,相关分析,聚类分,析,析,神经网,络,络,遗传算,法,法,机器学,习,习,不是随,机,机样本,，,，而是,全,全体数,据,据,不是精,确,确性，,而,而是混,杂,杂性,不是因,果,果关系,，,，而是,相,相关关,系,系,大数据时代,全体数,据,据,纷繁复杂,相关关,系,系,大数据,的,的四大,特,特性,4V,数据量,特,特别大,1、volume,2、variely,3、velocity,4、value,数据多,样,样化,数据处,理,理速度,快,快,数据处,理,理价值,密,密度低,大数据=海量数,据,据+复杂类,型,型的数,据,据,海量交,易,易数据,（交易,）,）,海量交,互,互数据,（人的,交,交互行,为,为）,海量数据处,理,理（物,联,联网）,大数据,的,的构成,社交网络,电子商务,微博、,Apps,移动互联,Facebook,淘宝、,京,京东,大数据,处,处理流,程,程和方,法,法,采集,预处理,处理与,管理,分析挖,掘,掘,应用,复杂性,即时性,规模性,异构性,基本要,求,求,数据融,合,合,数据打,标,标,数据关,联,联,决策辅,助,助,商业智,能,能,风险预,警,警,智能交,通,通,欺诈识,别,别,大规模,辅,辅助处,理,理,分布式,存,存储与,计,计算,流处理,可视化,分析,预测性,分析,数据挖,掘,掘算法,数据质,量,量和数,据,据管理,语义引,擎,擎,爬虫抓,取,取,感知采,集,集,调研数,据,据,标签清,洗,洗,外部数,据,据接入,隐私权,大数据,挖,挖掘与,分,分析的,五,五个基,本,本面,可视化,分,分析,预测性,分,分析,语义引,擎,擎,数据质,量,量和数,据,据管理,数据挖,掘,掘算法,可视化,分,分析,2020-01-15,目录,01,大数据基本介绍,0,2,大数据相关技术及产品,0,3,大数据应用,04,大数据展望,采集处,理,理,分析挖,掘,掘,存储组,织,织管理,“处理,流,流程与,处,处理技,术,术的要,求,求”,强！,大数据,处,处理流,程,程技术,需,需求,快,!,及时！,智能！,可视化,！,！,高效！,量大！,安全！,大数据,涉,涉及的,关,关键技,术,术,需求,技术描,述,述,关键技,术,术,海量数,据,据分布,式,式处理,Hadoop生态系,统,统,针对大,量,量数据,进,进行分,布,布式处,理,理的系,统,统框架,实时数,据,据处理,StreamingData,流计算,引,引擎,非结构,化,化数据,处,处理,可视化,交,交互界,面,面,通过交,互,互式可,视,视化界,面,面辅助,用,用户进,行,行分析,交互式,可,可视化,探,探索分,析,析技术,智能数,据,据分析,大规模,机,机器学,习,习技术,计算机,模,模拟人,类,类学习,行,行为，,包,包括特,征,征提取,、,、图形,生,生成等,保护隐,私,私数据,与,与信息,个,个体的,对,对应关,系,系等安,全,全技术,高效存,储,储和管,理,理大规,模,模数据,数据存,储,储备份,技,技术、,数,数据放,置,置和调,度,度技术,、,、数据,溯,溯源,存储、,放,放置、,调,调度大,规,规模的,数,数据,数据隐,私,私保护,数据隐,私,私防范,保,保护措,施,施与数,据,据安全,技,技术,大数据,采,采集处,理,理,大数据,分,分析,存储、,组,组织、,管,管理,大数据核,心,心技术,主,主要涉,及,及三大,块,块：大,数,数据采,集,集处理,、,、大数,据,据分析,、,、大数,据,据存储,、,、组织,、,、管理,文本处,理,理技术,；,；自然,语,语言理,解,解；多媒体,处,处理技,术,术,文本内,容,容分词,与,与分析,；,；图像,、,、音视,频,频分析,分布式,计,计算,古代，,人,人们用,牛,牛来拉,重,重物，,当,当一头,小,小牛拉,不,不动一,根,根原木,时,时，他,们,们想的,并,并不培,育,育更大,更,更壮的,牛,牛。同,样,样，我,们,们也不,需,需要动,辄,辄使用,超,超级计,算,算机，,而,而应试,着,着结合,使,使用更,多,多计算,机,机系统,。,。,格蕾丝莫里霍珀,（1906-1992）,Ambari,安装、,部,部署、,配,配置和,管,管理工,具,具,HDFS,分布式,文,文件系,统,统,MapReduce,分布式,计,计算框,架,架,Pig,数据流,处,处理,Hive,数据仓,库,库,Mahuot,数据流,处,处理,Hbase,实时分,布,布式数,据,据库,Zookeeper,分布式,协,协作服,务,务,Sqoop,数据库ETL工具,Flume,日志收,集,集工具,Hadoop！,大数据,的,的计算,模,模式,批处理准确,流处理实时,代表：strom、S4,代表：Hadoop、Spark,对于先,存,存储后,计,计算,实时性,要,要求不,高,高,同时,数据的准确性,、,、全面,性,性更为重,要,要的应,用,用场景,批量计,算,算模式,更,更合适,对于无,需,需先存,储,储,可以直,接,接进行,数,数据计,算,算,实时性,要,要求很,严,严格,但数据,的,的精确,度,度要求,稍,稍微宽,松,松的应,用,用场景,流式计,算,算具有,明,明显优,势,势,平台系,统,统：阿,里,里巴巴,存,储,层,数,据,源,计,算,层,产,品,主站备,库,库,RAC,主站日,记,记,实时流,数,数据,Hadoop集群/云梯,数据魔,方,方,淘宝指,数,数,开放API,数据中,间,间层/glider,MyFOX,Prom,1500个结点,，,，每日4000个JOB，处理1.5PB，凌晨2点结束,，,，接过20T,查,询,层,DataX/DbSync,/,/TimeTunnel,IBM大数据,平,平台和,框,框架,云计算,是,是“大,脑,脑”,大数据,是,是“灵,魂,魂”,大数据,与,与云计,算,算,大数据,与,与云计,算,算物联,网,网直接,的,的关系,（,（数据,层,层面）,通过各,种,种传感,设,设备进,行,行海量,信,信息的,采,采集,海量数,据,据处理/分析/挖掘,大数据,物联网,海量数,据,据 高,效,效存储,云计算,内部海,量,量信息,的,的收集,记,记录,互联网/移动互,联,联网,结合应,用,用案例,近日，据报,道,道，阿拉,巴,巴马州,亨,亨兹维,尔,尔市的,一,一家传,感,感器网,络,络公司,开,开发出,一,一个基,于,于传感,器,器的物,联,联网+大数据+云计算,平,平台Synapse Wireless（神经元,无,无线网,络,络），,该,该解决,方,方案主,要,要面向,医,医疗行,业,业客户,，,，能够“督促”医护人,员,员洗手,。,。,2020-01-15,目录,01,大数据概述,0,2,大数据相关技术产品,0,3,大数据应用,04,大数据展望,主要应,用,用,趋势预,测,测,可视化,分,分析,精准营,销,销,精准营,销,销,舆情监,控,控,洞察先,机,机，掌,控,控未来,神奇大,数,数据！,微,微软命,中,中多项,奥,奥斯卡,大,大奖,可视化,分,分析,宏观态,势,势可视,化,化,宏观态,势,势可视,化,化,设备仿,真,真运行,可,可视化,数据统,计,计分析,可,可视化,舆情监,测,测,洞察客,户,户，精,准,准营销,电子商务,社区,社交,移动应用,用户画,像,像服务,个性化,推,推荐,客户洞,察,察,精准营销,商品及,内,内容画,像,像服务,商品及,内,内容数,据,据抓取,用户行,为,为采集,主要应,用,用行业,政府,电信,医疗,金融,智慧城,市,市中大,数,数据的,应,应用,电信大,数,数据,网络洞,察,察,运营洞,察,察,用户洞察,核心：,网,网络数,据,据,核心：,用,用户数,据,据,核心：,内,内部运,营,营数据,网络规,划,划、优,化,化,用户运,营,营/细分/营服,降低增,效,效/风险控,制,制,2020-01-15,目录,01,大数据概述,0,2,大数据相关技术产品,0,3,大数据应用,04,大数据展望,机遇与,挑,挑战,机遇？,挑战,？,存储,信息整,合,合,政策,技术瓶,颈,颈,新的商,业,业模式,互联网数据变,现,现,政府管,理,理,关键：,大,大数据,时,时代的,隐,隐私保,护,护,数据将,是,是企业,竞,竞争的,核,核心资,产,产,“向IT说再见,，,，企业,级,级市场,进,进入,DT,时代”,“IT尝试控,制,制，DT要增强,人,人的能,力,力.,.,.IT要让人,变,变成机,器,器，DT要让机,器,器像人,一,一样工,作,作；IT要求每,样,样事情,遵,遵从同,样,样的标,准,准、要,求,求一致,，,，而DT则要求,每,每样事,情,情都是,独,独特的,、,、与众,不,不同。,”,”,大数据,的,的局限,与,与风险,太少？,太多？,太假？,太危险,？,？,然而，,并不是,神,神！,数据,推荐引,擎,擎,新型营,销,销,海量数,据,据,海量存,储,储技术,全样本,分,分析,复杂的,数,数据类,型,型,感情分,析,析,大数据,新型营,销,销,预测趋,势,势,舆情监,控,控,思路总,结,结大数据,的,的360度洞察,技术,思维,关联性,分,分析,分布式,计,计算技,术,术,价值,关注效,率,率,？,到底啥,是,是大数,据,据？,现在，,你,懂,了吗？,不是数据,挖,挖掘,不是海量,数,数据,不是数据分析,也不是,噱,噱头！,是,不懂？,你,你484sa,