大数据应用研究-王珺瑛33

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2015/11/27,#,大 数 据 应 用 研 究,王珺瑛,2015.11,目,录,录,背 景,和,和概念,来 源,和,和特点,优 势,与,与价值,应用场,景,景及现,状,状,发展趋,势,势及国,家,家政策,典型企,业,业,投资机,会,会,背景,互联网+”是一个,国,国家战,略,略，创,新,新2.0。其本质,是,是互联,网,网与传,统,统行业,的,的结合,，,，迎接,第,第四次,工,工业革,命,命的到,来,来。带,来,来智慧城,市,市（smartcitiy），人类社,会,会进入,一,一个全,新,新的时,代,代智慧时,代,代。,智慧城,市,市是把新,一,一代信,息,息技术,充,充分运,用,用在城,市,市的各,行,行各业,之,之中的,基,基于知,识,识社会,下,下一代,创,创新（,创,创新2.0）的城,市,市信息,化,化高级,形,形态，,实,实现信,息,息化、,工,工业化,与,与城镇,化,化深度,融,融合。,信息资源是智慧城,市,市构建,的,的基石。城市,运,运行产,生,生大量数,据,据，对数,据,据承载,的,的事实,进,进行组织及,分,分析，能够,形,形成有,价,价值的,信,信息内,容,容，并,进,进而形,成,成信息产,品,品。实现服,务,务创新,，,，产生,经,经济效,益,益、社,会,会效益,和,和环境,效,效益，,推,推动城,市,市向着,低,低碳、,高,高效、,便,便捷的,方,方向发,展,展。,什么是,大,大数据?,大,数据,巨量数据、,海,海量数据是由数量,巨,巨大、,结,结构复,杂,杂、类,型,型众多,数,数据构,成,成的数,据,据集合,是基于云,计,计算的,数,数据处,理,理与应,用,用模式,通过数,据,据的集,成,成共享,交叉复,用,用形成,的,的智力,资,资源和,知,知识服,务,务能力,。,。,大数据,从,从何而,来,来?,来自于企业、,个,个人、,政,政府（,机,机构）的生产,消,消费行,为,为活动,中,中,个人,政府、机构,企业,大数据的来源可分为三,类,类：,传统企,业,业数据（Traditionalenterprise data）：包括CRMsystems的消费,者,者数据,，,，传统,的,的ERP数据，,库,库存数,据,据以及,账,账目数,据,据等。,机器和,传,传感器,数,数据（Machine-generated,/,/sensor data）：包,括,括呼叫,记,记录（Call DetailRecords），智,能,能仪表,，,，工业,设,设备传,感,感器，,设,设备日,志,志（通,常,常是Digital exhaust），交,易,易数据,等,等。,社交数,据,据（Socialdata）：包,括,括用户,行,行为记,录,录，反,馈,馈数据,等,等。如Twitter，Facebook这样的,社,社交媒,体,体平台,。,。,大数据的,核,核心价,值,值,优化资,源,源配置,，,，提升效,率,率。,大数据,挖,挖掘商,业,业价值,的,的方法,主,主要分,为,为四种,客户群,体,体细分，然后,为,为每个,群,群体量,定,定制特,别,别的服,务,务。,模拟现,实,实环境，发掘,新,新的需,求,求同时,提,提高投,资,资的回,报,报率。,加强部门联,系,系，提高,整,整条管,理,理链条,和,和产业,链,链条的,效,效率。,降低服,务,务成本，发现,隐,隐藏线,索,索进行,产,产品和,服,服务的,创,创新。,大数据未来带,来,来的产,值,值,麦肯锡,则,则预测,未,未来大,数,数据产,品,品在三,大,大行业,的,的应用,就,就将产,生,生7千亿美,元,元的潜,在,在市场,中国大,数,数据产,品,品的潜,在,在市场,规,规模有,望,望达到1.57万亿元.,大数据,社,社会应,用,用,智能城,市,市的规划建,设,设,实现能源革,命,命的能,源,源大数据系,统,统,医疗卫生数据库,多媒体大数据处,理,理,等等.,大数据,商,商业应,用,用,虽然大,数,数据在,国,国内还,处,处于初,级,级阶段,但是商业价,值,值已经,显,显现出来。大数据正,在,在重构,很,很多传,统,统行业,。,。通过,收,收集、,整,整理生,活,活中方,方,方面面,的,的数据,并对其,进,进行分,析,析挖掘,进而从,中,中获得,有,有价值,信,信息,最终衍,化,化出新的模式,。,麦当劳,、,、肯德,基,基以及,苹,苹果公,司,司等旗,舰,舰专卖,店,店的位,置,置都是,建,建立在,数,数据分,析,析基础,之,之上的,精,精准选址，,在零售业中，卓越亚马逊,、,、淘宝,等,等通过,对,对海量,数,数据的,掌,掌握和,分,分析,为用户,提,提供更,加,加专业,化,化和个,性,性化的服务，,广告行业利,用,用DMP、DSP进行广,告,告的精,准,准投放，,房地产行业利,用,用大数,据,据分析,价,价值洼,地,地，,宜信利用,大,大数据,建,建设征,信,信系统,降,降低坏,账,账率,券商陆续推,出,出大数,据,据基金,大数据,的,的价值,堪,堪比黄金和,石,石油,大数据对,社,社会经,济,济生活,产,产生的,影,影响绝,不,不限于,技,技术层,面,面,它为我,们,们看待,世,世界提,供,供了一,种,种全新的方法,即决策,行,行为将,日,日益基,于,于数据,分,分析做,出,出,而不是,像,像过去,更,更多凭,借,借经验,和,和直觉,做,做出。,数据,未来最,大,大的交,易,易商品,现 状,目前，我国,在,在大数,据,据发展,和,和应用,方,方面已,具,具备一,定,定基础,，,，拥有,市,市场优,势,势和发,展,展潜力，但存,在,在以下,问,问题：,政府数据开,放,放共享不足,产业基础薄弱,缺乏顶层设,计,计和统,筹,筹规划,法律法规建,设,设滞后、,创新应用领,域,域不广,等,等问题。,信息技,术,术与经,济,济社会,的,的交汇,融,融合引,发,发了数,据,据迅猛,增,增长，,数,数据已,成,成为国,家,家基础,性,性战略,资,资源，,大,大数据,正,正日益,对,对全球,生,生产、,流,流通、,分,分配、,消,消费活,动,动以及,经,经济运,行,行机制,、,、社会,生,生活方,式,式和国,家,家治理,能,能力产,生,生重要,影,影响。,现 状,目前大,数,数据的,应,应用主,要,要集中于第三产,业,业。,第三产,业,业凭借自,身,身的优,势,势，大,多,多汇聚,了,了当前,最,最海量,的,的数据,以,以及大,批,批的科,研,研中坚力量。,第一、第二,产,产业的,发,发展速,度,度相对,于,于第三,产,产业来,说,说会迟,缓,缓一些。,现 状,第一类是大数据基,础,础资源类,第二类是大数据,存,存储和,运,运行维,护,护,第三类是大数据,分,分析应,用,用,第四类是大数据,安,安全,由于国,内,内大数据应用仍在发展,初,初期，主要,分,分为四,类,类：,现 状,在基础设,施,施方面,，,，创业,公,公司没,有,有机会,，,，华为,、,、阿里,、,、百度,、,、腾讯,基,基本上,把,把持了,这,这一部分,。,。,对于国内的,创,创业公,司,司，在大数据存,储,储和运行、大数据,分,分析应用、,大,大数据,安,安全这三方,面,面存在,创,创业的,机,机会。,国家政,策,策支持,2015年8月关于促,进,进大数,据,据发展,的,的行动,纲,纲要提出首,次,次提出,我,我国将,实,实施国家大,数,数据战,略,略。,纲要提出，,要,要加强,顶,顶层设,计,计和统,筹,筹协调,，,，大力,推,推动政,府,府信息,系,系统和,公,公共数,据,据互联,开,开放共,享,享，加,快,快政府,信,信息平,台,台整合,，,，消除,信,信息孤,岛,岛，推,进,进数据,资,资源向,社,社会开,放,放，增,强,强政府,公,公信力,，,，引导,社,社会发,展,展，服,务,务公众,企,企业；,以,以企业,为,为主体,，,，营造,宽,宽松公,平,平环境,，,，加大,大,大数据,关,关键技,术,术研发,、,、产业,发,发展和,人,人才培,养,养力度,，,，着力,推,推进数,据,据汇集,和,和发掘,，,，深化,大,大数据,在,在各行,业,业创新,应,应用，,促,促进大,数,数据产,业,业健康,发,发展；,完,完善法,规,规制度,和,和标准,体,体系，,科,科学规,范,范利用,大,大数据,，,，切实,保,保障数,据,据安全。,纲要明确，,推,推动大,数,数据发,展,展和应,用,用，在,未,未来5至10年打造,精,精准治,理,理、多,方,方协作,的,的社会,治,治理新,模,模式，,建,建立运,行,行平稳,、,、安全,高,高效的,经,经济运,行,行新机,制,制，构,建,建以人,为,为本、,惠,惠及全,民,民的民,生,生服务,新,新体系,，,，开启,大,大众创,业,业、万,众,众创新,的,的创新,驱,驱动新,格,格局，,培,培育高,端,端智能,、,、新兴,繁,繁荣的,产,产业发,展,展新生,态,态。,发展趋势,大数据已,成,成为国,家,家重要,的,的基础,性,性战略,资,资源，,正,正引领,新,新一轮,科,科技创新。国家对,于,于未来5-10年的大,数,数据发,展,展应用,前,前景有,明,明确的,目,目标：,消除信,息,息孤岛,、,、推动,公,公共信,息,息数据,共,共享,加大大,数,数据关,键,键技术,研,研发、,产,产业发,展,展和人,才,才培养力度,完善法,规,规制度,和,和标准,体,体系，切实保障数,据,据安全。,发展趋势,2018年底前,建,建成国,家,家政府,数,数据统,一,一开放,平,平台，,率,率先在,信,信用、,交,交通、,医,医疗、,卫,卫生、,就,就业、,社,社保、,地,地理、,文,文化、,教,教育、,科,科技、,资,资源、,农,农业、,环,环境、,安,安监、,金,金融、,质,质量、,统,统计、,气,气象、,海,海洋、,企,企业登,记,记监管,等,等重要,领,领域实,现,现公共,数,数据资,源,源合理,适,适度向,社,社会开放。,培育高,端,端智能,、,、新兴,繁,繁荣的,产,产业发,展,展新生,态,态。推,动,动大数,据,据与云,计,计算、,物,物联网,、,、移动,互,互联网,等,等新一,代,代信息,技,技术融,合,合发展,，,，探索,大,大数据,与,与传统,产,产业协,同,同发展,的,的新业,态,态、新,模,模式，,促,促进传,统,统产业,转,转型升,级,级和新,兴,兴产业,发,发展，,培,培育新,的,的经济,增,增长点。,形成一,批,批满足,大,大数据,重,重大应,用,用需求,的,的产品,、,、系统,和,和解决,方,方案，,建,建立安,全,全可信,的,的大数,据,据技术,体,体系，,大,大数据,产,产品和,服,服务达,到,到国际,先,先进水,平,平，国,内,内市场,占,占有率,显,显著提,高,高。培,育,育一批,面,面向全,球,球的骨,干,干企业,和,和特色,鲜,鲜明的,创,创新型,中,中小企,业,业。,典型企业,国外企业,国内企业,典型企,业,业,Cloudera-Hadoop分析三,巨,巨头之,一,一,于2008年创建,，,，几位,创,创始人,分,分别来,自,自facebook，谷歌,，,，雅虎,以,以及甲,骨,骨文。Cloudera的业务,主,主要是,出,出售基,于,于Hadoop的软件,，,，也发,布,布自家,版,版本的Hadoop产品。Hadoop技术的,优,优点在,于,于，它,对,对硬件,没,没有很,高,高的要,求,求，这,也,也就降,低,低了大,数,数据分,析,析的成,本,本，中,小,小企业,很,很喜欢,用,用它进,行,行客户,数,数据的,管,管理和,分,分析。,Splunk,-,-机器数,据,据引擎,于2004年创建,，,，2012年上市,。,。是全,球,球首家,上,上市的,大,大数据,公,公司。Splunk的软件,最,最初只,是,是用于,机,机器日,志,志的分,