大数据时代数据使用者观念的变化疾病预防控制工作对于信息的要求

金水高金水高金水高金水高 云南，腾冲云南，腾冲云南，腾冲云南，腾冲2013.12.52013.12.52013.12.52013.12.5 大数据时代卫生统计面临的挑战与机大数据时代卫生统计面临的挑战与机遇遇报报 告告 内内 容容n大数据的概念大数据的概念n卫生系统大数据的特点卫生系统大数据的特点n应对应对大数据的概念大数据的概念大数据概念大数据概念大数据概念大数据概念什么是大数据？什么是大数据？大大 是指数据规模，大数据一般指在是指数据规模，大数据一般指在10TB(1TB=1024GB)10TB(1TB=1024GB)规模以上的规模以上的数据量。数据量。信息化使我们进入了大数据时代。信息化使我们进入了大数据时代。大数据的基本特征：可以用大数据的基本特征：可以用4个个V来总结来总结 数据量数据量(Volume）大）大 多样性（多样性（Variety）：数据类型繁多。已经超出我们所理解的范围。）：数据类型繁多。已经超出我们所理解的范围。价值密度低（价值密度低（Value）：例如一些国家对居民的短信、电话进行监听，大）：例如一些国家对居民的短信、电话进行监听，大街上到处是探头，收集了大量的信息，但是有用的不多，不过可以获取重要街上到处是探头，收集了大量的信息，但是有用的不多，不过可以获取重要的信息。的信息。处理速度快（处理速度快（Velocity)：随时随地、每时每刻、每秒都在产生无穷的数：随时随地、每时每刻、每秒都在产生无穷的数据，在很短的时间里可以传遍全世界据，在很短的时间里可以传遍全世界只要需要。只要需要。大数据概念大数据概念大数据概念大数据概念什么是大数据？所以，“大数据”不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。卫生系统大数据的特点卫生系统大数据的特点随着信息技术的飞速发展，尤其是网络技术的应用，导致随着信息技术的飞速发展，尤其是网络技术的应用，导致卫生数据的收集方式发生了巨大的变化。卫生数据的收集方式发生了巨大的变化。反映为四多一少。反映为四多一少。1.1.数据来源多了，收集渠道多样化了数据来源多了，收集渠道多样化了数据来源多了，收集渠道多样化了数据来源多了，收集渠道多样化了以往：多来自现场调查，检测以往：多来自现场调查，检测现在：增加了来自信息系统收集的数据，对于突发事件的现在：增加了来自信息系统收集的数据，对于突发事件的监测报告，通过常规疾病监测系统的数据收集监测报告，通过常规疾病监测系统的数据收集,手机的数据手机的数据收集，卫生监督系统采用的手持执法终端，医院影象数据收集，卫生监督系统采用的手持执法终端，医院影象数据等等卫生系统大数据的特点卫生系统大数据的特点Internet国家级平国家级平台台Intranet防火墙防火墙省级平台省级平台Intranet地市级平台地市级平台Intranet 调制解调器县区级工作站县区级工作站乡镇卫生乡镇卫生院院网络电网络电网络电网络电话话话话PCPC工作站工作站工作站工作站PSTNDDNDDN五五级级网网络络三三级级平平台台纵向到底纵向到底安全隧道安全隧道(VPN)国家传染病网络直报系统国家传染病网络直报系统2024/5/3（1）传染病与突发公共卫生事件监测信息系统（2）传染病公共卫生实验室监测信息系统（3）慢性非传染性疾病监测与信息管理系统（4）健康危险因素监测与风险评估信息系统（5）预防接种信息系统（6）生命登记信息系统（7）疾病预防控制绩效考核与爱国卫生信息系统十二五卫生信息化规划十二五卫生信息化规划公共卫生信息化建设内容公共卫生信息化建设内容2024/5/3（8）出生医学登记管理信息系统（9）儿童健康管理与服务评估信息系统（10）出生缺陷监测与干预信息系统（11）孕产妇健康管理与服务评估信息系统（12）重大妇女病监测信息系统（13）妇幼保健数据分析与决策支持信息系统十二五卫生信息化规划公共卫生十二五卫生信息化规划公共卫生信息化建设内容（续）信息化建设内容（续）2024/5/3（14）卫生监督对象管理信息系统（15）卫生行政许可审批信息系统（16）卫生监督检查和行政处罚信息系统（17）食品安全风险监测与应急处理信息系统（18）食品安全与卫生监督决策支持与信息发布系统（19）突发公共事件卫生应急指挥决策系统十二五卫生信息化规划公共卫生十二五卫生信息化规划公共卫生信息化建设内容（续）信息化建设内容（续）智能衬衫、腰带、腕表、呼吸运动传感器、及耳麦、项圈等日常用品的传感嵌入，能够搜集心跳、体温、呼吸节奏、血压等重要体征数据基于物联网传感器的健康信息监控系统基于物联网传感器的健康信息监控系统 定期自动测量个体的重要健康信息，存储并传送到电子病历系统中定期自动测量个体的重要健康信息，存储并传送到电子病历系统中具有医疗保健测试功能的穿戴式传感器2.2.数据的内容丰富了数据的内容丰富了数据的内容丰富了数据的内容丰富了举例：20092009年党中央国务院的医改中提出要在全国建立居民健康档案，要推进公共卫生服务的均等化后，极大地丰富了数据的内容。卫生部及时地出台了建设基于居民电子健康档案的区域卫生信息平台的指南与相应的技术文件。由于疾病预防控制的需求越来越强，尤其是对于突发公共卫生事件的预警预测，收集积累了大量的相关资料。从疾病预防控制的角度，我们不仅关注人的某个阶段的健康指标，而且更关心人生命的全过程及其与环境的关联，因此收集的内容也更为丰富。资料的收集资料的收集资料的收集资料的收集国家区域卫生信息平台系统总体架构国家区域卫生信息平台系统总体架构EHREHR医院医院1 1医院医院2 2卫生局卫生局区域卫生信息平台区域卫生信息平台卫生信息服务平台卫生信息服务平台(电话电话/短信短信/WEB)/WEB)市民市民社区卫生服务中心社区卫生服务中心社区卫生服务站社区卫生服务站市民市民市民卡市民卡市民市民市民卡社区卫生服务中心社区卫生服务中心社区卫生服务站社区卫生服务站社区医生家庭社区医生家庭上门服务上门服务市民卡妇幼保健所妇幼保健所 疾控中心疾控中心基于区域卫生信息平台的信息收集与交换基于区域卫生信息平台的信息收集与交换上海市某区的卫生信息网络框架图上海市某区的卫生信息网络框架图上海市某区的卫生信息网络框架图上海市某区的卫生信息网络框架图u 构建了覆盖卫生局、区域医疗中心、专业站所、社区卫生服务中心、构建了覆盖卫生局、区域医疗中心、专业站所、社区卫生服务中心、社区卫生服务站点、村卫生室、居（村）委的网络体系社区卫生服务站点、村卫生室、居（村）委的网络体系v骨干光纤网络骨干光纤网络v全网全网100M100M到桌面到桌面居民3.3.数据之间的关联性更强了数据之间的关联性更强了传统：我们比较多关心的是一个数据集内部的变量之间的关联。当前的关联范围更宽泛：1）时序性：同一个变量具有在时间上的连续性。2）来自不同系统采集的数据之间的关联资料的收集资料的收集资料的收集资料的收集社区社区社区社区 区域卫生信息网区域卫生信息网 疾控机构疾控机构疾控机构疾控机构医疗机构医疗机构医疗机构医疗机构保险机构保险机构保险机构保险机构卫生监督卫生监督卫生监督卫生监督决策部门决策部门决策部门决策部门横向到边横向到边科研部门科研部门科研部门科研部门信息模块接口信息模块接口的标准化保障的标准化保障其它机构其它机构其它机构其它机构传染病报告传染病报告体检免疫监测实验室医技统计医院医院结核病防治所站结核病防治所站辖区医院辖区医院/社区社区区域卫生信息平台区域卫生信息平台门诊门诊临床临床住院临床医疗单位发现1例肺结核病人，推送区域信息平台对病情进行监测慢病跟踪指导疾控中心疾控中心诊疗检查慢病跟踪慢病跟踪保健启动报告CDC报告慢病转出慢病站做出诊断转院处理转入指导核实诊断处理接报转回所管辖医疗单位继续诊治做出治疗方案 举例：基于区域卫生信息平台的结核病防治结合的业务互动举例：基于区域卫生信息平台的结核病防治结合的业务互动数据之间的关联关系更加复杂了：数据之间的关联关系更加复杂了：上海市的死因登记数据流程上海市的死因登记数据流程4.4.数据量的无限膨胀数据量的无限膨胀从有限数据到海量数据的积累从有限数据到海量数据的积累国家传染病网络直报网，从国家传染病网络直报网，从20042004年起，每年上报的传年起，每年上报的传染病个案达染病个案达300-500300-500万条。万条。海量的数据，是一个巨大无比的信息源。海量的数据，是一个巨大无比的信息源。资料的收集资料的收集资料的收集资料的收集四多一少的少四多一少的少四多一少的少四多一少的少是指：有严格统计设计的数据收集少了！是指：有严格统计设计的数据收集少了！1 1）没有抽样设计：是常规工作的积累）没有抽样设计：是常规工作的积累2 2）质量控制不严格：数据缺失、错误比较严重）质量控制不严格：数据缺失、错误比较严重这是我们当前卫生统计工作者面临的大环境。这是我们当前卫生统计工作者面临的大环境。也是我们面临的新挑战。也是我们面临的新挑战。资料的收集资料的收集资料的收集资料的收集随着信息技术的飞速发展，尤其是网络技术的应用，数据的收集方式的变化，也带来了数据存贮方式的变化。各种信息系统每时每刻实时收集着各种类型的数据；信息技术的发展也使存贮方式发生了个革命性的变化：从集中式存贮到分布式的存贮。尤其是居民健康档案，任何一个再大的存贮系统，都难以将几百万居民的健康档案放在一个数据中心。而且也不允许这样做。资料的存贮管理资料的存贮管理资料的存贮管理资料的存贮管理国家区域卫生信息平台系统国家区域卫生信息平台系统大数据时代卫生统计工大数据时代卫生统计工作者面临的挑战作者面临的挑战n 收集：收集：大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作。n 核查核查/整理：整理：导入/预处理：将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作 n 分析：分析：挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用，数据挖掘n 服务：服务：满足于不同用户需求的信息发布。实际是根据不同用户需求的分析及结果的提供。传统卫生统计数据处理流程传统卫生统计数据处理流程n 管理决策者的需求更加迫切了管理决策者的需求更加迫切了决策者更依赖于利用决策者更依赖于利用数据、信息来做决策数据、信息来做决策例：中盖基金结核病项目例：中盖基金结核病项目II期中筹资与支付的例子：期中筹资与支付的例子：如何降低患者的负担，怎么评价？怎么利用日常监测数如何降低患者的负担，怎么评价？怎么利用日常监测数据发现项目实施中的问题？据发现项目实施中的问题？大数据时代数据使用者观念的变化大数据时代数据使用者观念的变化n疾病预防控制工作对于信息的要求更高了疾病预防控制工作对于信息的要求更高了 卫生应急的需求卫生应急的需求 突发事件的预报预警要求突发事件的预报预警要求 疾病预测（如出血热）疾病预测（如出血热）n等等大数据时代数据使用者观念的变化大数据时代数据使用者观念的变化n 用户对于问题的认识深化了：不再满足于一般的统计用户对于问题的认识深化了：不再满足于一般的统计分析与应用分析与应用 最近艾滋病中心出现的问题就反映出对于数据的最近艾滋病中心出现的问题就反映出对于数据的利用不能再满足于一般的统计分析，而是要深入挖掘，利用不能再满足于一般的统计分析，而是要深入挖掘，建立相关的模型。建立相关的模型。对于手足口病的分析对于手足口病的分析 复杂抽样下总体的估计复杂抽样下总体的估计大数据时代数据使用者观念的变化大数据时代数据使用者观念的变化 流行病学研究中的复杂抽样流行病学研究中的复杂抽样对于统计研究总是从样本推断总体。对于统计研究总是从样本推断总体。条件是：样本代表总体。条件是：样本代表总体。在复杂抽样中怎么估计总体参数？在复杂抽样中怎么估计总体参数？什么叫复杂抽样：就是综合应用四种基本抽样方法下的抽什么叫复杂抽样：就是综合应用四种基本抽样方法下的抽样。样。比如分层、多阶段随机抽样。比如分层、多阶段随机抽样。大数据时代数据使用者观念的变化：复大数据时代数据使用者观念的变化：复杂抽样的例子杂抽样的例子2002年中国 居民营养与健康状况调查抽样方案多阶段分层整群随机抽样。将全国划分为大城市、中小城市及四类农村，共6层。抽取最终调查样本时采用逐级抽样的方法。第一阶段在每层抽取22个县区级单位；第二阶段在抽中的每个县区中随机抽取3个乡镇/街道；第三阶段在每个抽中的街道中随机抽取2个村/居委会；第四阶段在每个村、居委会随机抽取90户家庭。对所抽到的家庭户中每个成员进行相关的调查。这样实际上每个个体被抽中的概率是不一样的。原因是，在每个阶段中在不同分总体中所抽到的抽样单元（如区县），其抽中的概率是不相同的。如第一阶段抽样，分总体为6层，每层中的单元数不同，但是我们抽取的区县数都是22个。那么我们就不能采用一般的通过年龄性别进行调整的方法来获得总体的参数。大数据时代数据使用者观念的变化：复大数据时代数据使用者观念的变化：复杂抽样的例子杂抽样的例子年龄样 本 率（%）样本构成（%）总体构成（%）调整率0-9.56.45 5-8.56.10 10-10.86.45 15-6.38.26 20-5.39.27 25-6.47.26 30-8.36.66 35-8.68.71 40-6.08.86 45-7.47.22 50-6.46.77 55-4.76.29 60-4.14.17 65-3.62.94 70-2.42.25 75-1.72.35 合计100.0对于所有抽样方案，几乎都采对于所有抽样方案，几乎都采用这样的调整。用这样的调整。在复杂抽样的情况下，不合适。在复杂抽样的情况下，不合适。因为实际上，每个个体抽中的因为实际上，每个个体抽中的概率并不相同。概率并不相同。传统的率的调整方法传统的率的调整方法大数据时代数据使用者观念的变化：复大数据时代数据使用者观念的变化：复杂抽样的例子杂抽样的例子复杂抽样总体的参数及其变异的估计实际上是估计出每个个体被抽中复杂抽样总体的参数及其变异的估计实际上是估计出每个个体被抽中的概率，他所代表的权重，再利用加权的方法估计。的概率，他所代表的权重，再利用加权的方法估计。抽样阶段本 阶 段单元数抽取单元数抽中概率本阶段权 重（wi）1N1n1n1/N1N1/n12N2n2n2/N2N2/n23N3n3n3/N3N3/n34N4n4n4/N4N4/n4该个体抽样的权重 w=w1*w2*w3*w4*刘建华等：复杂抽样调查总体特征量及其方差的估计。中国卫生统计刘建华等：复杂抽样调查总体特征量及其方差的估计。中国卫生统计 2008,25(4):377-379大数据时代数据使用者观念的变化：大数据时代数据使用者观念的变化：复杂抽样的例子复杂抽样的例子n管理者的分析需求增加了u 过程分析：不仅要进行终末分析，而且需要中间过程的动态分析。这一点，尤其是在医院，需求更为迫切。在执行项目中，经常需要对项目的实施质量进行跟踪，就要采集项目实施的数据进行阶段性的分析。u 项目实施的监测与评估统计分析中的新问题：统计分析中的新问题：统计分析中的新问题：统计分析中的新问题：管理者的需求增加了管理者的需求增加了2003年的SARS，使人们对于出现的突发公共卫生事件的关注程度增加了。人们很关心什么时候会出现想不到的事件，想方设法探讨进行预报预警的方法。在这个方面，统计工作者被赋予重要的职责，进行了极大的努力，发表了大量的文章国内外莫不如此。但是结果呢？可以这样说，还没有一个成功的案例。为什么？说明对于疾病与突发公共卫生事件的预警已经超越了目前我们所掌握的经典统计方法的传统思路。统计工作者应该摆脱传统模式的束缚，探求新的进行疾病预警的方法。统计分析中的新问题：统计分析中的新问题：统计分析中的新问题：统计分析中的新问题：管理者的需求增加了管理者的需求增加了n 数据收集中的正规设计少了带来的问题：数据收集的质量控制少了：数据缺失，数据错误现象严重存在。网络报告的数据，漏报（指报告 不完整）、缺失（指报告的项目填写不完全）、错误普遍存在。传统的统计方法是在严格的统计设计基础上进行的。现在没有了严格的统计设计，没有了抽样的概念，缺乏了数据收集的质量控制，我们怎么从样本推断总体？统计分析中的新问题统计分析中的新问题数据的来源变化了数据的来源变化了n数据收集的渠道增加了n数据的内容扩展了。n数据的存贮分散了。其优势是增加了许多值得利用的资料。同时并存的是：n 数据的质量保证机制的缺失；n 数据的整理复杂性。统计分析中的新问题统计分析中的新问题数据的来源变化了数据的来源变化了n连续动态资料的分析u与以往一次性调查的数据不同，通过信息系统采集的大量数据是实时的、动态的。u在大的项目实施中，由于项目实施的时间有先后，实施的进度有差异，数据是不断进入数据库的。尤其是健康档案的建设，更存在这样的问题。统计分析中的新问题数据的收集方式变了有人提出我国大数据研发的四个着力点为：n一是建立一套运行机制：大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。n二是规范一套建设标准：应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。我国大数据研发建设的四个着力点 n 三是搭建一个共享平台应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。n 四是培养一支专业队伍必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。但是我觉得还应该增加一个：改变数据的私人/单位拥有性质。这也许不是技术问题，但是这是横亘在我们面前的障碍。实实在在存在的障碍！我国大数据研发建设的四个着力点 谢谢各位！