大数据的基本概念与应用前景课件

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,LOGO,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,大数据的基本概念与应用前景,大数据的基本概念与应用前景,内 容,一、大数据的重要性,二、大数据的基本特点,三、大数据的相关技术与概念,四、大数据的医学应用,五、大数据的机遇与挑战,内 容一、大数据的重要性,不同国家的大数据战略,国家,/,地区,时间,内容,美国,2012,年,3,月,启动由联邦政府六个部门组织的大数据研究计划，投资两亿美元。将“大数据战略”上升为国家战略，认为大数据为“未来的新石油”,日本,2012,年,7,月,面向,2020,年的,ICT,综合战略,将“通过大数据应用促进社会发展经济增长”作为五大重点之一，并提出活力数据战略，提升日本竞争力,欧盟,2012,年,9,月,联合欧洲整体力量，制定大数据战略，作为欧盟,Horizon 2020,战略一部分，加速追赶,英国,2013,年,1,月,英国把大数据作为八大关键技术领域之一，计划两年内向大数据关键技术投入,1.89,亿英镑，抢占先机,澳大利亚,2013,年,3,月,发布大数据战略报告，宣布将于,2013,年,7,月前完成政府大数据制定，促进大数据在政府中的应用,中国,2014,年,3,月,5,日，“大数据”首次进入我国政府工作报告，,11,月,15,日李克强总理提出在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范。,不同国家的大数据战略国家/地区时间内容美国2012年3月启动,Source:Nigel Holmes 2012/Smolan&Erwitt:,The Human Face of Big Data,Source:Nigel Holmes 2012/Sm,内 容,一、大数据的重要性,二、大数据的基本特点,三、大数据的相关技术与概念,四、大数据的医学应用,五、大数据的机遇与挑战,内 容一、大数据的重要性,facebook,社交网络,淘宝、,ebuy,电子商务,微博、,Apps,移动互联网,21,世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。,互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、,GPS,、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“,大数据”的诞生：,半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。,信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了,所有人类智力与发展的领域,中。,facebook社交网络淘宝、ebuy电子商务微博、Apps,大数据时代的演变,大数据,大数据时代的演变大数据,大数据的,4V,特性,大数据的4V特性,YB:2,的,80,次方，,ZB,的,1000,倍,ZB:2,的,70,次方，,EB,的,1000,倍,EB:2,的,60,次方，,PB,的,1000,倍,PB:2,的,50,次方，,TB,的,1000,倍,TB:2,的,40,次方，,GB,的,1000,倍,KB:2,的,10,次方，,1024=1KB,MB:2,的,20,次方，,KB,的,1000,倍,GB:2,的,30,次方，,MB,的,1000,倍,一个英文字母,=1,字节（,byte,）,绝大部分应用在这两个数量级,http:/ 价值挖掘大数据的价值类似沙里淘金,从海量数据中挖,内 容,一、大数据的重要性,二、大数据的基本特点,三、大数据的相关技术与概念,四、大数据的医学应用,五、大数据的机遇与挑战,内 容一、大数据的重要性,大数据技术将被设计用于在成本可承受的条件下，通过非常快速（,velocity,）的采集、发现和分析，从大量化（,volumes,）、多类别（,variety,）的数据中提取价值（,value,）,大数据技术将被设计用于在成本可承受的条件下，通过,数据、信息、知识与智能,Data,Information,Knowledge,Wisdom,39,39,C,39,=Fever,Take Tylenol,Acquisition,Storage,Processing,Integration,Retrieval,Display,Descriptive,:,What happened?,Disease categories,Adverse events,Predictive,:,What might happen?,High-risk patients,Genetic risks,Prescriptive,:,What should we do?,Minimize readmissions,Personalized therapeutics,Biomedical Discovery,Healthcare Delivery,Health Prevention,数据、信息、知识与智能DataInformationKnow,数据采集,数据储存与管理,统计分析、预测与挖掘,计算结果展示,大数据的相关技术,ETL,工具,（,Extraction-Transformation-Loading,，数据提取、转换和加载）,数据众包,（,CrowdSouring,）,结构化、非结构化和半结构化数据,分布式文件系统,关系数据库,非关系数据库,（,NoSQL,）,数据仓库,Hadoop,云计算和云存储,实时流处理,标签云,（,Tag Cloud,）,聚类图,（,Clustergram,）,空间信息流,（,Spatial information flow,）,热图,（,Heatmap,）,A/B Testing,关联规则分析,分类,聚类,遗传算法,神经网络,预测模型,模式识别,时间序列分析,回归分析,系统仿真,机器学习,优化,空间分析,社会网络分析,自然语言分析,MapReduce,R,语言,数据采集数据储存与管理统计分析、预测与挖掘计算结果展示大数据,白云下面数据跑,蓝蓝的天上白云飘,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。,没有强大的计算能力，数据宝藏终究是镜中花；,没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。,大数据与云计算（,1,）,白云下面数据跑蓝蓝的天上白云飘 如果数据是财富，,云计算的模式是业务模式，本质是数据处理技术。,数据是资产，云为数据资产提供存储、访问和计算。,当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为政府、医院等机构、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,大数据与云计算（,2,）,云计算的模式是业务模式，本质是数据处理技术。大数据与云计算（,Hadoop,与,Map Reduce,的概念,Hadoop,是一个能够对大量数据进行,分布式处理,的软件框架。以一种可靠、高效、可伸缩的方式进行处理。,Map Reduce,则是一种可以用来并行处理大数据的编程模型。同一程序在,Hadoop,的框架下可以用各种不同的语言（,Java,Ruby,Python,等）按,MapReduce,的编程模型进行编写和运行。,Hadoop与Map Reduce的概念 Hado,R,语言,R,语言是一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。,R,语言擅长在,Hadoop,分布式文件系统中存储的非结构化数据上进行分析。,R,现在还可以运行在,HBase,这种非关系型的数据库以及面向列的分布式数据存储之上。,R语言R语言是一种自由软件编程语言与操作环境，主要用于统计分,大数据的基本概念与应用前景课件,聚类图,聚类图（,Clustergram,）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。,聚类图聚类图（Clustergram）是指用图形方式展示聚类,空间信息流,空间信息流（,Spatial information flow,）是展示信息空间状态的一种可视化技术。,空间信息流空间信息流（Spatial information,热图,热图（,Heatmap,）是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达的数据，比如密度、频率、温度等。,热图热图（Heatmap）是一项数据展示技术，将变量值用不同,大数据的基本概念与应用前景课件,内 容,一、大数据的重要性,二、大数据的基本特点,三、大数据的相关技术与概念,四、大数据的医学应用,五、大数据的机遇与挑战,内 容一、大数据的重要性,大数据应用,公共卫生：,分析疾病模式和追踪疾病暴发及传播方式途径，提高公共卫生监测和反应速度。,临床操作：,相对更有效的医学研究，发展出临床相关性更强和成本效益更高的方法用来诊断和治疗病人。,科学,研究,与,发展：,在药品和医疗器械方面，建立更低磨损度，更精简，更快速，更有针对性的研发产品线。提高临床试验设计和患者的招募，使得治疗方法可以更好地匹配个体患者的病症，从而降低临床试验失败的可能和加快新的治疗方法推向市场。,大数据应用公共卫生：,面临挑战,数据源,结构化、半结构化（病历），非结构化（,PACS,影像,),数据格式,标准难制定,或不断变化,数据量,中型城市（,1000,万人口）存放,50,年会达到,10PB,医疗信息区域内准实时共享，医生可快速调阅病人信息,信息共享提升效率,基于病史的自动医疗、饮食等建议；针对病史和病症的,OTC,药物参考等,个性化医疗,疾病自动分类和诊断,计算机辅助诊断,趋势分析：例如，流行病扩展情况分析、癌症的历年趋势、药物效果分析,决策辅助系统,区域医疗健康档案系统,解决问题,居民电子病历存储、查询,解决方案,HBase,分布式数据库,存放健康档案和,PACS,影像数据,特点优势,高速数据导入；实时数据查询；,关键字搜索；分布式统计,智慧医疗与大数据,面临挑战数据源结构化、半结构化（病历），非结构化（PACS影,Science,杂志于,2014,年底和,2015,年初分别刊登了“公共卫生遇上了大数据,”,和“将大数据纳入公共卫生系统,”,，指出：“强大的流行病学基础、稳健的知识整合、循证医学原则以及拓展的转化医学研究议程”可以推动大数据在公共卫生方面的应用。,Science杂志于2014年底和2015年初分别,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,五、大数据的机遇与挑战,五、大数据的机遇与挑战,五、大数据的机遇与挑战五、大数据的机遇与挑战,内 容,一、大数据的重要性,二、大数据的基本特点,三、大数据的相关技术与概念,四,、,大数据的医学应用,五、大数据的机遇与挑战,内 容一、大数据的重要性,我国卫生信息化发展计划,35212工程,我国卫生信息化发展计划35212工程,机遇,大数据赋予我们洞察未来的能力,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。,大数据时代,机遇大数据赋予我们洞察未来的能力 人类从依靠自身判,挑战,1,：,大数据时代赋予统计人员重大责任,数据的管理分析并不仅仅是提取，检索，汇总，总结。统计专业人员的参与也是必不可少的。,数据本身的复杂性，使得分析的过程中充满了种种陷阱，误区。,数据异质性（,heterogene