如何分析大数据

,2012,IBM,Corporation,3/23/2017,#,如何分析,大,数据,大数据,无,无处不,在,在,大数据,来,来自哪里？,现在有,300,亿,个RFID记,（2005年时有13亿）,全球有,46,亿,台照相,手,手机,每天有,超,超过,3,亿,活跃用,户,户,每年售,出,出,数亿,台支持,GPS,的,设备,每天有超过,1,亿,条消息,截至2011年,末网络,上,上有超,过,过,20,亿,人,在2009年有,7600,万,台智能,仪,仪表,至2014年将达,到,到2亿台,每天有,超,超过,25TB,日志数,据,据,“,数据是,新,新型石,油,油,”,未开采,的,的石油,，,，没有,什,什么价,值,值。,加工及,提,提炼后,，,，将助,力,力世界,。,。,“越来,越,越多的,企,企业使,用,用大众,媒,媒体去,分,分析公,众,众对产,品,品的反馈，例,如,如Facebook,或,或,Twitter,也有使,用,用网站,资,资源试,着,着“了,解,解客户,，,，是什,么,么让他,们,们选择,他,他们想,要,要的东,西,西”负责IBM预,测,测分析,项,项目的迪阿德,瓦,瓦说。,“大数,据,据已抵,达,达Seton,医,医疗保健,家,家庭,幸,幸运的,是,是,通过使,用,用这个,分,分析工,具,具,每年超,过,过200万复,杂,杂病例的患者,得,得到了,帮,帮助,”,”,“上个,月,月在瑞,士,士达沃,斯,斯举行,的,的世界,经,经济论,坛,坛上,大,大数据是一个热,点,点话题,。,。在论,坛,坛的一,份,份报告,大数,据,据,，大影,响,响中,声,声明：数据已,成,成为一,类,类新的,经,经济资,产,产，就,像,像货币,或,或黄金,一,一样,.,“公司被,数,数据淹,没,没了,从客户,的,的习惯,到,到供应,链,链的效,率,率。但,是,是许多,经,经理却,不,不能理,解,解这些,数,数据的意义.,”,”,奥斯卡,情,情感测,量,量,一,一种工,具,具，是,由,由洛杉,矶,矶时报、IBM和,南,南加州,大,大学安,创,创新实验室,共,共同开,发,发,“现,在,在，沃森,正,正投入,到,到工作,中,中，消,化,化了数,百,百万页,的,的研究,结合最佳的临,床,床实践,和,和监测,结,结,果，以,协,协助医,生,生治疗,癌,癌症患者,.,.”,的分析意,见,见,“,主,主要针对Twitter,上,上共享,的,的百万条,奥,奥斯卡,奖,奖项比,赛,赛的公,共,共信息,做,做出的,分,分析,”,意.”,数据是,新,新型石.,为了实,现,现新的,机,机遇，,您,您需要,超,超越传,统,统的数,据,据来源,交易型,和,和应用程序数据,机器数,据,据,社交数,据,据,企业内,容,容,数量,结构化,生产能,力,力,速度,半结构化,数据提,取,取,种类,高度非,结,结构化,精确性,种类,高度非,结,结构化,数量,2020,2010,大数据,的,的特点4个V,综合分,析,析覆盖,面,面越来,越,越宽的,种,种类,(,(Variety),应对日,益,益增长,的,的速度,(,(Velocity),有效地,处,处理日,益,益增长,的,的数量,（,（Volume),50 x,35ZB,世界上,80%,的数据是,非,非结构,化,化的,300,亿,亿,RFID传感,器,器和计,数,数器,建立大,数,数据来,源,源的,真,三分之,一,一,商界领,袖,袖感到,无,无法信,任,任那些,帮,帮,实性(Veracity,),),助他们,做,做决策,的,的信息,IBM大数据,平,平台,通过大,数,数据能,力,力取得,突,突破性,进,进展,分析任,意,意大数,据,据类型,具有独,特,特的功,能,能,取得突,破,破性进,展,展,可视化,和,和发现,了解您,客,客户的,一,一切,交易型,/,/应用,数,数据,零延迟,操,操作,Hadoop,机器数,据,据,在速度,和,和规模,上,上实现,新,新产品,创,创新,数据仓,库,库,社交媒,体,体数据,即时的,欺,欺诈和,风,风险,流计算,内容,意识,利用仪,表,表化资,产,产,整合与,治,治理,文本分,析,析,IBM大数据,战,战略：,使,使分析,离,离数据,更,更近,新型分,析,析应用,程,程序需,要,要一个,大,大数据,平,平,台,集成并,管,管理不,同,同种类,、,、不同,速,速率及,不,不同流量,的,的数据,将高级,分,分析应,用,用于信,息,息并且,不,不改变,信,信息的原,本,本的格,式,式,将所有,可,可用信,息,息可视,化,化，供即席,分,分析使用,为新型,分,分析应,用,用程序,建,建立开,发,发环境,优化工,作,作负载,并,并安排,进,进度,安全和,治,治理,用大数,据,据平台,内,内的产,品,品帮助,入,入口点,加,加速,分析型,应,应用,BI/报告探索性/,可视性,功能性APP,行业APP,预测分析,内容,BI,分,/,析,Reporting,1 解锁大,数,数据,IBMDataExplorer,IBM,大,大数据,平,平台,系统管,理,理,应用开,发,发,可视化,&,&发现,2分析,原,原始数,据,据,3 简化您,的,的数据,仓,仓库,IBMDataWarehouseSolutions,加速器,InfoSphereBigInsights,Hadoop,系,系统,Stream流计算,数据仓,库,库,信息整,合,合&治,理,理,5分析,流,流数据,4用Hadoop降,低,低成本,InfoSphereStreams,InfoSphereBigInsights,IBM大数据,典,典型应,用,用架构通信行,业,业分析,为,为例,实时计,算,算和处,理,理,流数据结构化,或,或非结,构,构化,Network,流计算,流计算,Real timemetricsanalysisandmodeling,Adtargeting,Real timenextbestoffer,Frauddetection,非结构,化,化,ReportingandAnalytics,原始分析与,展,展现,Web,结构化,网络分析/社交媒,体,体分析,Sentimentanalysis,Locationbased,Reporting,Social,Hands,et,非结构,化,化,增强分,析,析,可查询,的,的存档,结构化,Bandwidth,AMPU,Network,marketing,Behavioralanalysis,Microcustomersegmentation,andAnalytics,Hadoop,增强分,析,析,Sales,Content,Network,ServicesSubscribers,通用分,析,析与挖,掘,掘,Subscriberanalysis,Networkanalysis,Financialreporting,Customersegmentation,Campaignmanagement,ELT,数据仓库,Partners,Call Center,EmployeeLocation,ReportingandAnalytics,IBM大数据,产,产品组,件,件,IBM大数据,平,平台组,件,件,分析型,应,应用,BI/报告探索性/,可视性,功能性APP,行业APP,预测分析,内容,BI,分,/,析,Reporting,1 解锁大,数,数据,IBMDataExplorer,IBM,大,大数据,平,平台,系统管,理,理,应用开,发,发,可视化,&,&发现,2分析,原,原始数,据,据,3 简化您,的,的数据,仓,仓库,IBMDataWarehouseSolutions,加速器,InfoSphereBigInsights,Hadoop,系,系统,Stream流计算,数据仓,库,库,信息整,合,合&治,理,理,5分析,流,流数据,4用Hadoop降,低,低成本,InfoSphereStreams,InfoSphereBigInsights,1 解锁大,数,数据,客户需,求,求,理解现,有,有的数,据,据来源,公布数,据,据在现,有,有的内,容,容管理,和,和文件,系,系统的,新,新用途,，,，而不,是,是把数,据,据复制,到,到一个,中,中央位,置,置,从经整,合,合的数,据,据源搜,索,索并浏,览,览大数,据,据,价值陈,述,述,更快的,达,达到、,运,运行、,发,发现并,检,检索相,关,关的大,数,数据,在新的,以,以信息,为,为中心,的,的应用,中,中使用,大,大数据,源,源,客户案,例,例,用一个360,度,度的视,角,角将员,工,工与大,数,数据源,联,联系起来,项目开,端,端：IBMDataExplorer,海量数,据,据管理,中,中异构,数,数据源,的,的集成,RelationalData,FileSystems,ContentManagement,Email,CRM,数据管,理,理平台,终端用,户,户,SupplyChain,Integrated Platform,SystemsManagement,ApplicationDevelopment,Visualization&Discovery,ERP,RSSFeeds,Accelerators,HadoopSystem,StreamComputing,DataWarehouse,Commenting,Rating,Tagging,Cloud,OAsystem,SharedFolders,SocialTools,ExternalSources,InformationIntegration&Governance,26,非结构,化,化数据,管,管理框,架,架,Results,ReportApplication,Publish Search,Search,Application,PresentApplication,FederatedSources,ApplicationSDK,UserProfiles,WebResults,SubscriptionFeedss,Authentication/AuthorizationQuerytransformationPersonalization,Display,TextAnalytics,ThesauriClusteringOntologySupport,SearchEngine,SemanticProcessingEntityExtractionRelevancy,Meta-Data,Faceting,BI,Tagging,TaxonomyCollaboration,数据连,接,接和集,成,成框架,CM,RM,DM,27,2012IBMCorporation,RDBMS,Feeds,Web2.0,Email,W,e,b,CRM,ERPFileSystems,DataExploer的主,要,要优势,1.独特的,索,索引技,术,术,位置索,引,引 vs.向量索,引,引,2.,可,可扩展,架,架构,分布式,实时性,容错性,3.,高,高级分,析,析能力,分析的,弹,弹性和,艺,艺术性,元数据,管,管理,4.整合的,强,强大的,兼,兼容能,力,力,多种数,据,据源内,嵌,嵌接口,API,开,开发能,力,力,5.,先,先进的,应,应用框,架,架,快速部,署,署新的,应,应用,Data Explorer功能组,件,件,分析能,力,力示例,图形导,航,航功能,搜索结,果,果自动,聚,聚类,自定义,内,内容分,类,类,协作交,互,互功能,30,2012IBMCorporation,2 分析原,始,始数据,客户需,求,求,提取数,据,据并原,样,样导入,到,到Hadoop，从,中,中派生,洞,洞察力,在Hadoop中处,理,理大量,的,的多样,数,数据,将洞察,力,力与数,据,据仓库,结,结合起,来,来,用Hadoop进行低,成,成本的ad-hoc分析，用来测,试,试新的假设,价值陈,述,述,从多种,数,数据源,组,组合