日电东软私有云-大数据解决方案031929

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,NNIT,大数据解决方案,创造数据的价值,1.WhyBigData,2.WhyNNIT,3.解决方,案,案详细,内,内容,4.案例,2,1.WhyBigData,3,数据爆,发,发时代,的,的到来,通过媒,体,体流通,的,的信息,量,量的变,迁,迁,比特数,（,1017）,【出处】2010年度信,息,息流通,统,统计调,查,查报告,书,书,未被利,用,用,的信息,1998,2000,2002,2004,2008,20000,40000,60000,80000,0,被利用,的,的信息量,流通的,信,信息量,2006,2025年,社会的,信,信息量,爆,爆发为06年的200倍！,今后如何,利,利用大量未开发,信,信息来创造新价值，是,我,我们的,课,课题,多媒体,信,信息,网络,电影/图像,电视机收音,机,机,社会媒,体,体等,非结构,化,化数据,的,的增加,企业内,信,信息,交易信,息,息,日志信,息,息,模拟数,据,据数字,化,化,传感器机器等,生,生成的,信,信息,图像/各种测,量,量数据,未被利用,的,的信息比,例,例,99.4%,4,信息时,代,代无所,不,不在的,数,数据来,源,源,云计,算,中心,商业,旅游,科研,工业,农林水产,物流,金融机构,大厦,公共设施,住宅,学校,医院,宾馆,车站,能源站,商店,回收设施,工厂,城市管理,基础设施,通信,能源,交通,水,学习,生活,工作,移动,互联网,放送,固定,手机,新能源,煤气,大规模,集中电源,蓄电池,铁道,航空,海运,道路,上水,处理,下水,处理,产业,排水处理,5,大数据,的,的商业,价,价值,美国第,二,二大百,货,货商Target通过数,据,据分析,帮,帮助销,售,售额提,升,升超过50%,广告信,原有的,美,美国婴,儿,儿用品,营,营销:根据公,开,开的出,生,生记录,在,在婴儿,出,出生后,，,，海量,的,的广告,促,促销,Target的基于,大,大数据,分,分析的,营,营销:分析消,费,费者的,行,行为，,对,对孕妇,进,进行提,前,前促销,购买无,香,香护手,霜,霜,善存钙,片,片等,分析数,据,据,广告信,6,大数据,技,技术的,应,应用行,业,业,7,搜索,社交,游戏,视频,流通,电信,医疗交,通,通,公安,制造,航空,电力,金融,民生,核心, ,2.WhyNNIT,8,大数据,平,平台整,体,体及NNIT注重领,域,域,处理,大量数,据,据,处理,多媒体,数,数据,数据库,分布式,处,处理,面部识,别,别,图像分,析,析,数据挖,掘,掘,语音识,别,别,：,：,运营商,收集,处理数,据,据,保健,金融,能源,交通物流,安全,推动人物IT系统之间的,互,互动,互联网,数,数据,Web,DB,Log,传感器,数,数据,统计分,析,析,数据挖,掘,掘,对应激,增,增的数,据,据,处理不,同,同类型,的,的数据,从传感,器,器机器收,集,集信息,NNIT注重领,域,域,提供大,数,数据处,理,理平台,设,设计/构筑服,务,务,(使用NEC及开源,产,产品),定制开,发,发大数,据,据处理,系,系统,(可能需,要,要与NEC其他部,门,门或其,他,他公司,合,合作),9,面向的,客,客户,NNIT大数据,平,平台的,潜,潜在客,户,户具有,以,以下特,点,点：,有大量,的,的文件,或,或者数,据,据需要,处,处理/存储/访问,例：医,疗,疗影像,、,、地图,文,文件、GPS记录、,电,电商网,站,站的海,量,量图片,非,(非面向,实,实时交,易,易的系,统,统),例：银,行,行BI、谷歌,街,街景、FaceBook等,不会频,繁,繁修改,已,已有数,据,据内容,例：ERP系统不,适,适合使,用,用,10,NNIT大数据,解,解决方,案,案特点,高性价,比,比,使用通,用,用硬件,比,比使用,存,存储设,备,备节省,以,以上,便捷,平台管,理,理通过,专,专用图,形,形化管,理,理系统,，操,作,作便捷,通过挂,载,载可在,分钟,内,内开始,应,应用系,统,统与平,台,台间的,文,文件交,互,互而无,需,需修改,应,应用,易扩展,在管理,系,系统上,简,简单操,作,作即可,通,通过增,加,加节点,来,来提升,系,系统存,储,储容量,及,及性能,平台存,储,储量从,扩展,到,到,也,只,只需简,单,单增加,节,节点即,可,可完成,平台性,能,能随节,点,点增加,线,线形增,长,长,整体解,决,决方案,我们提,供,供从系,统,统整体,设,设计优,化,化、定,制,制开发,到,到数据,迁,迁移、,系,系统实,施,施等相,关,关,服务的,整,整体解,决,决方案,11,大数,据,据平台ODPF体系,12,MapReduce,分布式,处,处理组,件,件,分布式,文,文件存,储,储系统,*1,KVS型分布,式,式DB,图形化,的,的,平台管,理,理系统,*1：现版,本,本ODPF的分布,式,式数据,库,库主要,功,功能以Hbase为主,上图为,平,平台管,理,理系统ODPM,其他Hadoop生态圈,组,组件,SQL支持，,数,数据迁,移,移，ETL等,平台综,合,合管理,系,系统ODPM,整体一,站,站式管,理,理,-管理作,为,为前端,主,主机的web,/,/DB服务器(可为虚,拟,拟机),-管理NNIT大数据,平,平台的,整,整体配,置,置/硬件/组件/运行状,态,态等,-管理平,台,台中的,文,文件和,数,数据,丰富的,管,管理功,能,能使平,台,台运用,更,更便捷,-Wizard向导功,能,能：初,期,期安装,，,，节点,追,追加等,-配置管,理,理：平,台,台的初,期,期设定,及,及修改,等,等,-运维管,理,理：监,控,控、报,警,警等,-数据管,理,理：文,件,件及数,据,据的访,问,问控制,，,，副本,管,管理，,内,内容检,索,索等,13,前端主,机,机管理,界,界面,OFSVolume管理界,面,面,文件系,统,统OFS,14,WebServer,应用程,序,序直接,读,读写存,放,放在平,台,台上的,文,文件和,数,数据,Jmeter,Jmeter,Jmeter,数据节,点,点,Jmeter,Jmeter,Jmeter,数据节,点,点,DBServer,WebServer,DBServer,分布式,文,文件系,统,统,(从KB大小的,数,数十亿,海,海量地,图,图图片,到,到GB级别的,数,数据库,文,文件),便捷：,无,无需修,改,改前端,应,应用程,序,序即可,连,连接OFS进行读,写,写,高扩展,性,性：通,过,过简单,追,追加数,据,据节点,即,即可线,性,性扩展,存,存储容,量,量与性,能,能,高性价,比,比：硬,件,件使用,通,通用x86服务器,避,避免昂,贵,贵小型,机,机和存,储,储设备,高可用,性,性：自,动,动副本,管,管理机,制,制对应,硬,硬件故,障,障,3.解决方,案,案详细,内,内容,15,服务内,容,容（基,于,于数据,生,生命周,期,期）,数据生,成,成,数据存,储,储,数据处,理,理,数据应,用,用,分布式,数,数据库,，,，分布,式,式文件,系,系统,采集、,监,监测软,件,件,智能搜,索,索与分,析,析软件,系统集,成,成、IT基础设,施,施服务,咨询实,施,施服务,信息安,全,全,平台设,备,备（网,络,络设备,、,、服务,器,器等）,采集设,备,备,信息服,务,务,硬件,基础软,件,件,应用软,件,件,NNIT提供部,分,分,NNIT与母公,司,司或合,作,作伙伴,共,共同提,供,供部分,16,解决方,案,案内容,#,项目,内容,1,信息,服务,系统集成,整体解决方案,2,咨询顾问,数据应用咨询,3,平台开发咨询,4,IT,基础设施,面向私有云的,IDC,需求设计,5,IaaS/PaaS,6,程序开发,数据层应用程序开发,7,性能测试,AP/DB/Filesystem,层面的性能测试,8,应用,软件,采集，检测软件,9,智能搜索与分析软件,10,基础,软件,数据库,SQL+NoSQL,11,非关系型数据库,No,SQL,12,分布式文件系统,13,数据处理中间件,14,系统管理,15,硬件,数据采集设备,各种传感器，摄像头等等,16,数据平台设备,网络设备，服务器等,NNIT注力领,域,域,17,解决方,案,案内容,（,（信息,服,服务）,#,项目,内容,备注,1,信息,服务,系统集成,整体解决方案,整合母公司及合作伙伴资源提供一站式服务,2,咨询顾问,数据应用咨询,帮助客户找出数据的附加价值,3,平台开发咨询,根据客户需求提案大数据平台,4,IT,基础设施,面向私有云的,IDC,需求设计,基于业务发展规划的,IDC,需求设计,5,IaaS/PaaS,使用日电东软,IaaS/PaaS,作为基础平台,6,程序开发,数据层应用程序开发,对应用程序中需要与数据库及文件系统等平台层交互的数据层进行开发,7,性能测试,AP/DB/FS,层的性能测试,性能测试及系统优化,18,服务内,容,容（基,础,础软件,）,）,#,项目,内容,备注,10,基础,软件,数据库,SQL+NoSQL,MySQL+,IFS(InfoFrame Relational Store, by NEC),等,11,，,12,分布式文件系统,可通过直接操作文件,或应用系统使用操作文件,13,数据处理中间件,HIVE, Pig, Sqoop,等,14,平台管理,图形化的平台综合管理系统,19,目录,4.案例,20,NNIT案例(1),:,:移动位,置,置服务,21,作为移,动,动位置,服,服务的,后,后端平,台,台提供,文,文件及,数,数据的,存,存储和,访,访问,NNIT案例(1),:,:移动位,置,置服务,22,内测版: open,.,初期系,统,统规模:,14台机架,式,式服务,器,器（其,中,中8台用于,大,大数据,集,集群）,初期数,据,据规模: 100T,20亿个文,件,件(30KB/个的地,图,图图片,及,及500KB/个的卫,星,星实景,照,照片),数十万,台,台车的GPS信息(2条/分),用户上,传,传的照,片,片等文,件,件,系统性,能,能：,地图访,问,问并发,：,：受限,于,于互联,网,网带宽(平台内,部,部支持,万,万兆数,据,据交换),GPS数据上,传,传并发,：,：每数,据,据库节,点,点1400条/秒,NNIT案例(2),:,:油井管,理,理平台,云平台,用大数,据,据处理,平,平台分,析,析处理,来,来自物,联,联网传,感,感器的,海,海量数,据,据,23,NNIT案例(2),:,:油井管,理,理平台,24,初期系,统,统规模:,2千口新,式,式油井,(国内油,井,井数7万口),初期数,据,据规模:,容量:2TB+,数据条,数,数:二十亿,条,条以上,(每口井,每,每分发,送,送2次1K数据包,，,，保存1年以上),系统效,果,果：,提高生,产,产效率,及,及管理,水,水平,中短期,故,故障(结蜡，,卡,卡泵，,短,短路，,漏,漏液等)自动分,析,析，,中长期,生,生产经,营,营信息(产量，,电,电力成,本,本控制,等,等)自动分,析,析,NNIT案例(2),:,:油井管,理,理平台,25,1亿条数,据,据:3台8Corex86服务器,10亿条数,据,据：5台,100亿条数,据,据：10台,对全数,据,据进行,带,带有模,糊,糊匹配,查,查询的,分,分析扫,描,描任务,NNIT案例(3),:,:食品溯,源,源,零售企,业,业,流通企,业,业,成品制,造,造企业,原料制,造,造企业,养殖厂,消费者,农户,加强监,管,管杜绝假冒伪,劣,劣产品,提高安,全,全安心,的附加,价,价值,共享掌握,运输和,保,保管状,态,态,食品溯源,平台,通过整,合,合供应,链,链上的,各,各个环,节,节达成,对,对各种,食,食品的,综,综合管,理,理,26,NNIT案例(3),:,:食品溯,源,源,作为山,东,东某食,品,品集团,企,企业内,产,产品溯,源,源，年,产,产品量,亿,亿级别,，将来,扩,扩展后,变,变成地,区,区内数,百,百家大,中,中规模,食,食品企,业,业的溯,源,源平台,初期数,据,据规模:,包含原,料,料在内,的,的数据,条,条数十,亿,亿级别,系统用,途,途：,消费者,对,对单个,产,产品进,行,行包括,原,原料在,内,内进行,溯,溯源,精细生,产,产管理,BI分析,27,参考：,知,知名hadoop用户,28,它们都,在,在使用,改,改造过,的,的hadoop平台,