医疗大数据及相关技术49

Content,Page,#,Page,#,Page,#,Page,#,Page,#,医疗大数据及相关技术介绍,翟运开 博士,/,副教授,河南省数字医疗工程技术研究中心 副主任,数字化远程医疗服务河南省工程实验室 副主任,郑州大学第一附属医院 河南省远程医学中心 主任,中国卫生信息学会远程医疗信息化专业委员会 常委,/,秘书长,郑州大,学,学硕士,研,研究生,导,导师,河南省,五,五一劳,动,动奖章,获,获得者,河南省,教,教学标,兵,兵、河,南,南省技,术,术标兵,河南省,数,数字医,疗,疗工程,技,技术研,究,究中心,副,副主任,河南省,教,教育系,统,统教学,技,技能竞,赛,赛特等,奖,奖获得,者,者,数字化,远,远程医,疗,疗服务,河,河南省,工,工程实,验,验室副,主,主任,郑州大,学,学第一,附,附属医,院,院河南,省,省远程,医,医学中,心,心主任,中国卫,生,生信息,学,学会远,程,程医疗,信,信息化,专,专业委,员,员会常,委,委/秘书长,教育部,科,科学技,术,术研究,重,重点项,目,目负责,人,人。,河南省,重,重大科,技,技专项,课,课题负,责,责人。,国家科,技,技部科技惠,民,民计划,重,重大专,项,项课题,负,负责人,。,。,参加国,家,家科技,部,部863项目、,国,国家科,技,技支撑,项,项目、,国,国家自,然,然科学,基,基金项,目,目等5项。,获得河,南,南省科,技,技进步,奖,奖二等,奖,奖、河,南,南省优,秀,秀社科,成,成果奖,二,二等奖,、,、河南,省,省自然,科,科学学,术,术奖一,等,等奖等6项。,发表各,类,类学术,论,论文80余篇，,出,出版专,著,著1部，参,编,编教材4部。,取得软,件,件知识,产,产权10项。,医疗信,息,息化与,远,远程医,疗,疗、医,药,药电子,商,商务与,物,物流管,理,理、科,技,技创新,与,与管理,等,等。,主要研,究,究方向,主要参,与,与课题,翟运开,博,博,士,士/副教授,目录,大数据时,代,代,大数据,带,带来的,变,变革,大数据相,关,关技术,医疗大数据,大数据,时,时代反,思,思,1、大数,据,据时代,左右未,来,来十年,的,的四大,趋,趋势,1、大数,据,据时代,数据源,呈,呈现指,数,数级增,长,长,IDC（International DataCorporation）预计,到,到2020年，全,球,球将总,共,共拥有35ZB的数据,量,量,如果把35ZB的数据,全,全部刻,录,录到容,量,量为9GB的光盘,上,上，其,叠,叠加的,高,高度将,达,达到233万公里，相当,于,于在地球,与,与月球,之,之间往,返,返三次,1、大数,据,据时代,大数据时,代,代到来(1),2012年月,份,份美国,奥,奥巴马,政,政府发,布,布了“,大,大数据,研,研究和,发,发展倡,议,议”（Bigdataresearchanddevelopmentinitiative），投,资,资亿,以,以上美,元,元，正,式,式启动,“,“大数,据,据发展,计,计划”,美国政,府,府认为,，,，大数,据,据是“未来的,新,新石油”,1、大数,据,据时代,大数据时,代,代到来(2),大数据,是,是2012年月,份,份的达,沃,沃斯世,界,界经济,论,论坛上,的,的主题,之,之一,该次会,议,议还特,别,别针对,大,大数据,发,发布了,报,报告“Bigdata,big impact:New possibilitiesfor internationaldevelopment,”,”,1、大数,据,据时代,大数据时,代,代到来(3),联合国,一,一个名,为,为“GlobalPulse,”,”的倡议,项,项目在2012年月,发,发布报,告,告BigDataforDevelopment,:,:Challenges,&,&Opportunities,该报告,主,主要阐,述,述大数,据,据时代,各,各国特,别,别是发,展,展中国,家,家在面,临,临数据,洪,洪流（data deluge）的情,况,况下所,遇,遇到的,机,机遇与,挑,挑战,1、大数,据,据时代,大数据时,代,代到来(4),产业结,构,构调整,要,要依靠,改,改革，,进,进退并,举,举设立新,兴,兴产业,创,创业创,新,新平台,，,，在新,一,一代移,动,动通信,、,、集成,电,电路、,大数据,、先进,制,制造、,新,新能源,、,、新材,料,料等方,面,面赶超,先,先进，,引,引领未,来,来产业,发,发展。,-,李克强政府工,作,作报告2014年3月5日,1、大数,据,据时代,大数据定义,大数据,至,至今尚,无,无确切,、,、统一,的,的定义,麦肯锡,（,（McKinsey）的定,义,义：大,数,数据是,指,指无法在,一,一定时,间,间内用传统数,据,据库软件工,具,具对其,内,内容进,行,行采集,、,、存储,、,、管理,和,和分析,的,的数据集,合,合,IDC的定义,：,：大数,据,据一般,会,会涉及2种或2种以上数据形,式,式。它要,收,收集超,过,过100TB的数据，并且,是,是高速、,实,实时数,据,据流,1、大数,据,据时代,大数据特,点,点4V,Volume,海量的,数,数据规,模,模,Variety,多样的,数,数据类,型,型,Streams,Real time,Near time,Batch,TB,PB,EB,Structured,Unstructured,Semi-structured,All the above,Value,Velocity,快速的,数,数据流,转,转,巨大的,数,数据价,值,值,目录,大数据时,代,代,大数据,带,带来的,变,变革,大数据相,关,关技术,医疗大数据,大数据,时,时代反思,2、大数,据,据带来,的,的变革,信息技,术,术革命,的,的小周,期,期,2、大数,据,据带来,的,的变革,新思维,个体数,据,据的精,确,确性不,再,再重要,数据就,是,是货币,数据随,时,时间迅,速,速折旧,数据是,资,资产,改变“,数,数据是,稀,稀缺资,源,源”的,世,世界观,数据是,原,原材料,信息是,原,原油,2、大数,据,据带来,的,的变革,新方法,学,学,多数据,源,源的整,合,合,描述性,分,分析预测性,和,和处方性,分,分析,大数据+小算法+上下文+知识积,累,累,数据民,主,主化和,开,开放数,据,据,数据资产、,数,数据产,品,品和社,会,会化分,析,析服务,的,的货币,化,化,数据极,大,大丰富,前,前提下,的,的新分,析,析思维,和,和技术,数据市,场,场和数,据,据定价,社会化,分,分析服,务,务,实时性,大,大于绝,对,对的精,确,确性,2、大数,据,据带来,的,的变革,实时精,准,准营销,利用大数据,能,能力可,以,以帮助,企,企业获,得,得突破,性,性回报,2、大数,据,据带来,的,的变革,实时风,险,险控制,利用大数据,能,能力可,以,以帮助企业进,行,行实时,风,风险控,制,制，如,，,，银行,业,业,2、大数,据,据带来,的,的变革,安全检,测,测,将安全,检,检测与,大,大数据,融,融合,2、大数,据,据带来,的,的变革,医疗大,数,数据,目录,大数据时,代,代,大数据,带,带来的,变,变革,大数据相,关,关技术,医疗大数据,大数据,时,时代反思,成本可承受,（,（economically）的情况,下,下,通过非常快速（velocity）的采,集,集、发,现,现和分析；在大量化（volumes）、多类别（variety）的数,据,据中提,取,取价值,（,（value）,分析的数据,越,越全面,，,，分析,的,的结果,就,就越接,近,近于真实,能够从这些数,据,据中获取,新,新的洞,察,察力，,并,并将其,与,与已知,业,业务的各个环节相融合,3、大数,据,据相关,技,技术,计算,存储,数据库,网络,单机,集群,文件存储,单机,设备间连接,设备内连接,关系型数据库,10GE FC IB,分布式数据库,非关系型数据库,块存储,10GE SAS IB,横向扩展,块级虚拟化,横向扩展,分布式文件系统,3、大数,据,据相关,技,技术,大数据带,来,来的技,术,术变革,3、大数,据,据相关,技,技术,大数据系,统,统,当前大,数,数据系,统,统主要,包,包括：,存,存储、,计,计算、,分,分析等,。,。,3、大数,据,据相关,技,技术,分布式,文,文件系,统,统,分布式文件系,统,统（DistributedFile System）是指,文,文件系,统,统管理,的,的物理存,储,储资源,不,不一定直接连,接,接在本地,节,节点上，而,是,是通过计,算,算机网,络,络与节,点,点相连。分布,式,式文件,系,系统的,设,设计基,于,于客户机/服务器模式。,大数据系,统,统中常,用,用的分,布,布式文,件,件系统,为,为HDFS。,3、大数,据,据相关,技,技术,并行计,算,算,传统并,行,行计算,。,。拥有,多,多个CPU，计算资,源,源与存储资,源,源分离，,数,数据统一存,放,放、统一读,取,取。对于,数,数据密,集,集型处,理,理，I/O将成为,整,整个系,统,统瓶颈,。,。,MapReduce。由普,通,通PC组成，,考,考虑数,据,据局部,性,性原理,，,，将数,据,据分布,至,至各个,节,节点，,处,处理时,，,，就近,读,读取数,据,据。,分组,聚合,X86服务器,X86服务器,3、大数,据,据相关,技,技术,实时流,式,式计算,实时计,算,算一般,都,都是针,对,对海量数,据,据进行，除了,像,像非实,时,时计算,的,的需求,（,（如计,算,算结果,准,准确）,以,以外，,实,实时计,算,算最重,要,要的一,个,个需求,是,是能够实时响,应,应计算,结,结果，一般,要,要求为秒级。,3、大数,据,据相关,技,技术,数据分,析,析流程,确定业,务,务对象,数据准,备,备,数据挖,掘,掘,结果分,析,析,知识的,同,同化,滥用缩,写,写词,数据输,入,入错误,数据中,的,的内嵌,控,控制信,息,息,不同的,惯,惯用语,重复记,录,录,丢失值,拼写变,化,化,不同的,计,计量单,位,位,过时的,编,编码,含有各,种,种噪声,数据污,染,染,格式标,准,准化,异常数,据,据清除,错误纠,正,正,重复数,据,据的清,除,除,数据处,理,理,大数据,预,预处理,技,技术主,要,要完成,对,对已接,收,收数据,的,的辨析,、,、抽取,、,、清洗,等,等操作,目的是,将,将数据,按,按统一,的,的格式,提,提取出,来,来，然,后,后再转,化,化，集,成,成，载,入,入数据,仓,仓库的,工,工具,（,（ETL）,抽取：因获,取,取的数,据,据可能,具,具有多,种,种结构,和,和类型,，,，数据,抽,抽取过,程,程可以,帮,帮助我,们,们将这,些,些复杂,的,的数据,转,转化为,单,单一的,或,或者便,于,于处理,的,的构型,，,，以达,到,到快速,分,分析处,理,理的目,的,的。,清洗：对于,大,大数据,，,，并不,全,全是有,价,价值的,，,，有些,数,数据并,不,不是我,们,们所关,心,心的内,容,容，而,另,另一些,数,数据则,是,是完全,错,错误的,干,干扰项,。,。,因此要,对,对数据,通,通过过,滤,滤“去噪”从而,提,提取出,有,有效数,据,据,3、大数,据,据相关,技,技术,大数据,预,预处理,技,技术,3、大数,据,据相关,技,技术,大数据,分,分析挖,掘,掘,技术方,法,法分类,根据挖,掘,掘任务：分为分,类,类或预,测,测模型,发,发现、,数,数据总,结,结、聚,类,类、关,联,联规则,发,发现、,序,序列模,式,式发现,、,、依赖,关,关系或,依,依赖模,型,型发现,、,、异常,和,和趋势,发,发现等,等,等,根据挖,掘,掘对象：可分为,关,关系数,据,据库、,面,面向对,象,象数据,库,库、空,间,间数据,库,库、时,态,态