大数据的基本概念与应用前景

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,LOGO,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,大数据的基本概念与应用前景,内 容,一、大数,据,据的重要,性,性,二、大数,据,据的基本,特,特点,三、大数,据,据的相关,技,技术与概,念,念,四、大数,据,据的医学,应,应用,五、大数,据,据的机遇,与,与挑战,不同国家,的,的大数据,战,战略,国家,/,地区,时间,内容,美国,2012,年,3,月,启动由联邦政府六个部门组织的大数据研究计划，投资两亿美元。将“大数据战略”上升为国家战略，认为大数据为“未来的新石油”,日本,2012,年,7,月,面向,2020,年的,ICT,综合战略,将“通过大数据应用促进社会发展经济增长”作为五大重点之一，并提出活力数据战略，提升日本竞争力,欧盟,2012,年,9,月,联合欧洲整体力量，制定大数据战略，作为欧盟,Horizon 2020,战略一部分，加速追赶,英国,2013,年,1,月,英国把大数据作为八大关键技术领域之一，计划两年内向大数据关键技术投入,1.89,亿英镑，抢占先机,澳大利亚,2013,年,3,月,发布大数据战略报告，宣布将于,2013,年,7,月前完成政府大数据制定，促进大数据在政府中的应用,中国,2014,年,3,月,5,日，“大数据”首次进入我国政府工作报告，,11,月,15,日李克强总理提出在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范。,Source: Nigel Holmes 2012 / Smolan & Erwitt:,The Human Face of Big Data,内 容,一、大数,据,据的重要,性,性,二、大数,据,据的基本,特,特点,三、大数,据,据的相关,技,技术与概,念,念,四、大数,据,据的医学,应,应用,五、大数,据,据的机遇,与,与挑战,facebook,社交网络,淘宝、,ebuy,电子商务,微博、,Apps,移动互联网,21,世纪是数,据,据信息大,发,发展的时,代,代，移动,互,互联、社,交,交网络、,电,电子商务,等,等极大拓,展,展了互联,网,网的边界,和,和应用范,围,围，各种,数,数据正在,迅,迅速膨胀,并,并变大。,互联网（,社,社交、搜,索,索、电商,）,）、移动,互,互联网（,微,微博）、,物,物联网（,传,传感器，,智,智慧地球,）,）、车联,网,网、,GPS,、医学影,像,像、安全,监,监控、金,融,融（银行,、,、股市、,保,保险）、,电,电信（通,话,话、短信,）,）都在疯,狂,狂产生着,数,数据。,“,大数据”,的,的诞生：,半个世纪,以,以来，随,着,着计算机,技,技术全面,融,融入社会,生,生活，信,息,息爆炸已,经,经积累到,了,了一个开,始,始引发变,革,革的程度,。,。它不仅,使,使世界充,斥,斥着比以,往,往更多的,信,信息，而,且,且其增长,速,速度也在,加,加快。,信息爆炸,的,的学科如,天,天文学和,基,基因学，,创,创造出了,“,“大数据,”,”这个概,念,念。如今,，,，这个概,念,念几乎应,用,用到了,所有人类,智,智力与发,展,展的领域,中。,大数据时,代,代的演变,大数据,大数据的,4V,特性,YB:2,的,80,次方，,ZB,的,1000,倍,ZB:2,的,70,次方，,EB,的,1000,倍,EB:2,的,60,次方，,PB,的,1000,倍,PB:2,的,50,次方，,TB,的,1000,倍,TB:2,的,40,次方，,GB,的,1000,倍,KB:2,的,10,次方，,1024=1KB,MB:2,的,20,次方，,KB,的,1000,倍,GB:2,的,30,次方，,MB,的,1000,倍,一个英文,字,字母,=1,字节（,byte,）,绝大部分应用在这两个数量级, 容,一、大数,据,据的重要,性,性,二、大数,据,据的基本,特,特点,三、大数,据,据的相关,技,技术与概,念,念,四、大数,据,据的医学,应,应用,五、大数,据,据的机遇,与,与挑战,大数据技,术,术将被设,计,计用于在,成,成本可承,受,受的条件,下,下，通过,非,非常快速,（,（,velocity,）的采集、发,现,现和分析，从,大,大量化（,volumes,）、多类别（,variety,）的数据中提,取,取价值（,value,）,数据、信息、,知,知识与智能,Data,Information,Knowledge,Wisdom,39,39,C,39,= Fever,Take Tylenol,Acquisition,Storage,Processing,Integration,Retrieval,Display,Descriptive,:,What happened?,Disease categories,Adverse events,Predictive,:,What might happen?,High-risk patients,Genetic risks,Prescriptive,:,What should we do?,Minimize readmissions,Personalized therapeutics,Biomedical Discovery,Healthcare Delivery,Health Prevention,数据采集,数据储存与管理,统计分析、预测与挖掘,计算结果展示,大数据的相关,技,技术,ETL,工具,（,Extraction-Transformation-Loading,，数据提取、转换和加载）,数据众包,（,CrowdSouring,）,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,Hadoop,云计算和云存储,实时流处理,标签云,（,Tag Cloud,）,聚类图,（,Clustergram,）,空间信息流,（,Spatial information flow,）,热图,（,Heatmap,）,A/B Testing,关联规则分析,分类,聚类,遗传算法,神经网络,预测模型,模式识别,时间序列分析,回归分析,系统仿真,机器学习,优化,空间分析,社会网络分析,自然语言分析,MapReduce,R,语言,白云下面数据,跑,跑,蓝蓝的天上白,云,云飘,如果数据是财,富,富，那么大数,据,据就是宝藏，,而,而云计算就是,挖,挖掘和利用宝,藏,藏的利器。,没有强大的计,算,算能力，数据,宝,宝藏终究是镜,中,中花；,没有大数据的,积,积淀，云计算,也,也只能是杀鸡,用,用的宰牛刀。,大数据与云计,算,算（,1,）,云计算的模式,是,是业务模式，,本,本质是数据处,理,理技术。,数据是资产，,云,云为数据资产,提,提供存储、访,问,问和计算。,当前云计算更,偏,偏重海量存储,和,和计算，以及,提,提供的云服务,，,，运行云应用,，,，但是缺乏盘,活,活数据资产的,能,能力，挖掘价,值,值性信息和预,测,测性分析，为,政,政府、医院等,机,机构、个人提,供,供决策和服务,，,，是大数据核,心,心议题，也是,云,云计算的最终,方,方向。,大数据与云计,算,算（,2,）,Hadoop,与,Map Reduce,的概念,Hadoop,是一个能够对,大,大量数据进行分布式处理的软件框架。,以,以一种可靠、,高,高效、可伸缩,的,的方式进行处,理,理。,Map Reduce,则是一种可以,用,用来并行处理,大,大数据的编程,模,模型。同一程,序,序在,Hadoop,的框架下可以,用,用各种不同的,语,语言（,Java,Ruby,Python,等）按,MapReduce,的编程模型进,行,行编写和运行,。,。,R,语言,R,语言是一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。,R,语言擅长在,Hadoop,分布式文件系,统,统中存储的非,结,结构化数据上,进,进行分析。,R,现在还可以运,行,行在,HBase,这种非关系型,的,的数据库以及,面,面向列的分布,式,式数据存储之,上,上。,聚类图,聚类图（,Clustergram,）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。,空间信息流,空间信息流（,Spatial information flow,）是展示信息空间状态的一种可视化技术。,热图,热图（,Heatmap,）是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达的数据，比如密度、频率、温度等。,内 容,一、大数据的,重,重要性,二、大数据的,基,基本特点,三、大数据的,相,相关技术与概,念,念,四、大数据的,医,医学应用,五、大数据的,机,机遇与挑战,大数据应用,公共卫生：,分析疾病模式,和,和追踪疾病暴,发,发及传播方式,途,途径，提高公,共,共卫生监测和,反,反应速度。,临床操作：,相对更有效的,医,医学研究，发,展,展出临床相关,性,性更强和成本,效,效益更高的方,法,法用来诊断和,治,治疗病人。,科学,研究,与,发展：,在药品和医疗,器,器械方面，建,立,立更低磨损度,，,，更精简，更,快,快速，更有针,对,对性的研发产,品,品线。提高临,床,床试验设计和,患,患者的招募，,使,使得治疗方法,可,可以更好地匹,配,配个体患者的,病,病症，从而降,低,低临床试验失,败,败的可能和加,快,快新的治疗方,法,法推向市场。,面临挑战,数据源,结构化、半结构化（病历），非结构化（,PACS,影像,),数据格式,标准难制定,或不断变化,数据量,中型城市（,1000,万人口）存放,50,年会达到,10PB,医疗信息区域内准实时共享，医生可快速调阅病人信息,信息共享提升效率,基于病史的自动医疗、饮食等建议；针对病史和病症的,OTC,药物参考等,个性化医疗,疾病自动分类和诊断,计算机辅助诊断,趋势分析：例如，流行病扩展情况分析、癌症的历年趋势、药物效果分析,决策辅助系统,区域医疗健康档案系统,解决问题,居民电子病历存储、查询,解决方案,HBase,分布式数据库,存放健康档案和,PACS,影像数据,特点优势,高速数据导入；实时数据查询；,关键字搜索； 分布式统计,智慧医疗与大,数,数据,Science,杂志于,2014,年底和,2015,年初分别刊登,了,了“公共卫生,遇,遇上了大数据,”,和“将大数据,纳,纳入公共卫生,系,系统,”,，指出：“强,大,大的流行病学,基,基础、稳健的,知,知识整合、循,证,证医学原则以,及,及拓展的转化,医,医学研究议程,”,”可以推动大,数,数据在公共卫,生,生方面的应用,。,。,五、大数据的,机,机遇与挑战,五、大数据的,机,机遇与挑战,内 容,一、大数据的,重,重要性,二、大数据的,基,基本特点,三、大数据的,相,相关技术与概,念,念,四、大数据的医学,应,应用,五、大数据的,机,机遇与挑战,我国卫生信息,化,化发展计划,35212工,程,程,机遇,大数据赋予我,们,们洞察未来的,能,能力,人类从依靠自,身,身判断做决定,到,到依靠数据做,决,决定的转变，,也,也是大数据作,出,出的最大贡献,之,之一。,大数据时代,挑战,1,：,大数据时代赋,予,予统计人员重,大,大责任,数据的管理分,析,析并不仅仅是,提,提取，检索，,汇,汇总，总结。,统,统计专业人员,的,的参与也是必,不,不可少的。,数据本身的复,杂,杂性，使得分,析,析的过程中充,满,满了种种陷阱,，,，误区。,数据异质性（,heterogeneity,）。因素越多,，,，建立普遍有,效,效的统计模型,的,的难度就越大,。,。,偏倚叠加,(Biasaccumulation),虚假相关（,spuriouscorrelation,）,无意义显著性,(meaninglesssignificance),羊群效应（,herdingeffect,）,没有一定统计,方,方面的理论知,识,识结构，就会,出,出现分析上的,偏,偏差，或者数,据,据利用低效率,。,。,挑战,2,：,大数据时代的,个,个人能力要求,计算机科学,/,数据开发的专,业,业技能,：扎实的计算,机,机科学基础及,运,运用能力，明,了,了大数据的基,础,础框架设施,分析和建模能,力,力,：在了解数据,的,的基础上迅速,分,分析并建立有,效,效的统计模型,。,。这不仅需要,扎,扎实的统计学,，,，还需要有敏,锐,锐的思考和洞,察,察力。,好奇心和创意,的,的思考能力,：这需要对数,据,据有着一种渴,望,望激情，善于,全,全面敏锐的思,考,考并挖掘问题,。,。一些机构寻,找,找人才就是看,谁,谁能在讨论数,据,据时能够灵光,一,一现。,突出的交流能,力,力,：能清晰用非,专,专业语言帮助,客,客户理解分析,结,结果,，,并做出决定。,挑战,3,：安全与隐私,最重要的是每,个,个人的信息都,被,被互联网所记,录,录和保留了下,来,来，并且进行,加,加工和利用，,为,为人所用，而,这,这正是我们所,担,担忧的信息安,全,全隐患！,