物联网环境下大规模设备协同课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,马世龙,计算机学院,北京航空航天大学,物联网环境下大规模设备协同系统中事务处理若干问题研究,马世龙物联网环境下大规模设备协同系统中事务处理若干问题研究,目 录,1.,背景与意义,2.,国内外研究现状,3.,若干研究问题与关键技术,采用的关键技术与方法,若干研究问题,设备协同系统中的事务问题,物联网环境与设备协同系统,物联网环境中事务的特点,需解决的关键问题,事务协调协议研究现状,事务处理技术的发展,事务处理模型研究现状,事务补偿研究现状,目 录1.背景与意义2.国内外研究现状3.若干研究问题与,1.,背景与意义,1.,背景与意义,设备协同系统的事务问题,物联网环境与设备协同系统,物联网环境中事务的特点,需解决的关键问题,1.背景与意义1.背景与意义 设备协同系统的事务问题物联网,物联网的经典三层架构有如下左图：感知层，网络层，应用层。包括设备的标识，应用数据的采集，数据的汇聚传输，数据的融合，应用，人工的交互等,1.1.,物联网环境与设备协同系统,以右图国家地震前兆网络观测系统为例，在系统中，感知层的大量地震观测设备采集的数据经过地震专网（网络层）的传输，汇聚，到达区域，国家，学科中心节点（应用层）进行数据加工，融合，数据挖掘，再与用户进行交互,物联网的经典三层架构有如下左图：感知层，网络层，应用层。包括,设备协同系统包括如下分类，面向物联网的设备协同系统属于大规模设备协同系统,1.1.,物联网环境与设备协同系统,设备协同系统,设备远程访问,设备共享支持的用户协作,设备间协作,常规设备协同,大规模设备协同,物联网设备协同系统属于大规模设备协同系统，一次设备协同过程中需要地理大范围内的大量设备共同工作，对设备协同过程中的安全性、可靠性以及通信的效率要求也越来越高，具有设备数量众多，种类复杂，协同规模大、时延敏感、同步要求高等特点,国家地震前兆网络观测系统项目实现了全国,2000,多套地震设备的数据采集，汇聚，加工，监测，协同任务,奥运中心区景观照明项目实现了,97,公顷范围内,500,余部照明设备、数万盏照明灯具的协同工作,在上海世博公园区域管理系统中实现了,5,个子系统，各类传感设备，照明设备，音频视频设备之间的互相联动,设备协同系统包括如下分类，面向物联网的设备协同系统属于大规模,1.,背景与意义,1.,背景与意义,设备协同系统的事务问题,物联网环境与设备协同系统,物联网环境中事务的特点,需解决的关键问题,1.背景与意义1.背景与意义 设备协同系统的事务问题物联网,1.2.,问题的产生,面向物联网的设备协同系统中面对一些事务问题（事务范畴包括数据库级别上的数据一致性保证，以及设备协同系统中有关协同流程的业务事务）,物联网设备协同系统中流通的数据通常存在多个副本，数据在流通过程中造成多点数据不一致性。,例如：地震项目的观测数据存储在台站，区域，国家，学科四层节点上，其中各区域节点上拥有其省内所有台站的数据与信息，国家节点拥有全国所有区域与台站的数据与信息，各学科节点拥有部分国家中心节点的数据，这种级联的存储关系使相同的数据存在多个副本，数据在汇聚，分发及使用过程中会造成多点数据的不一致性，这需要可靠的事务管理机制对数据的分发与汇聚流程进行事务性保证。,因此：系统需要严格可靠的数据库级别的事务支持,1.2.问题的产生面向物联网的设备协同系统中面对一些事务问题,1.2.,问题的产生,系统在协同过程中存在业务逻辑级别的协同任务，有相当一部分这类任务包括一系列的操作需作为一个事务来执行来满足系统业务需求。,例如：地震前兆网络观测系统中一个设备采集的数据需分解为多个测向分量，在一次数据汇聚的过程中，这些分量数据作为一个整体任务分别写入分布的，异构的数据库，倘若其中一个或几个关键的操作失败或等待响应时间过长，其他的操作无论已经完成或未完成，都需同时撤销，使系统数据恢复到进行该操作之前的状态。此外，在协同收集数据的过程中会有资源争用的问题，如果不进行合适的资源配置，将造成事务的执行效率低下。,例如：奥运景观照明系统中一次照明场景涉及一系列灯具的操作，如果照明灯具的关键性操作如果全部成功，那么无论其他操作成功与否，整个照明场景强制执行；若有关键操作执行失败或等待响应时间过长，则需要撤销整个照明场景的执行并将数据恢复到初始状态。,例如：上海世博会区域管理系统中周界报警子系统，广播子系统，照明子系统，摄像头子系统之间的业务联动需作为一次事务来执行，一次联动过程可能涉及周界报警传感器，水位传感器，相关摄像头，广播，照明灯具的在一定时间内的操作序列，在满足系统要求的情况下，可以忽略部分设备的不正常响应，但若关键的设备操作执行失败或等待响应时间过长，则需撤销整个联动操作序列并将系统恢复到联动前状态,。,因此：系统需要灵活可靠的业务逻辑级的事务支持,1.2.问题的产生系统在协同过程中存在业务逻辑级别的协同任务,1.2.,问题的产生,对于数据库级别的事务，分布式数据库系统对此类问题提供了全面成熟的保障机制,对于业务逻辑级的事务，则需要一套完整的与之环境相适应的事务管理方法：包括,高效的事务前协调,，,灵活可靠事务处理模型,以及,相应的事务补偿方法,1.2.问题的产生对于数据库级别的事务，分布式数据库系统对此,1.,背景与意义,1.,背景与意义,事务对设备协同系统的支持,物联网环境与设备协同系统,物联网环境中事务环境特点,需解决的关键问题,1.背景与意义1.背景与意义 事务对设备协同系统的支持物联,事务参与者的分布性，异构性,事务参与者的高动态性,事务参与者的自治性,事务目标的复杂性,事务补偿性的复杂性,1.3.,物联网设备系统系统中的事务环境,面向物联网的设备协同系统环境中的事务参与者通常是分布的，异构的，而在物联网系统中流通的数据需要具有统一的存取访问标准，这需要统一的中间件管理平台对系统中的数据进行统一的输入，输出，通信，管理,物联网的大数据量特点，和基于感知的数据环境使的事务参与者具有高度动态性，同时事务执行过程具有很强的灵活性。这对事务协调阶段的资源优化配置提出了新的挑战,物联网设备协同系统中的事务参与者常常是自治的，他们对协同目标的执行大多是一种尽力而为的态度，这使得协同目标很难达到一种非有即无的衡量方式，大多数是一种满足用户需求的协同，这使得严格的事务原子性要求损伤了执行效率,物联网环境下的事务参与者常常是自治的，参与者本身具有一定的计算能力与存储能力，互相之间具有自主通信能力，不通过中央服务器控制，所以，传统的集中式事务管理机制将不能满足物联网事务的需求,现阶段物联网系统多以行业为总体背景开展与发展，因此，物联网系统中包含大量与业务逻辑相关的事务，而为这类事务设计补偿操作的代价通常较高，针对这类事务，可以设法减少补偿操作的执行,事务参与者的分布性，异构性1.3.物联网设备系统系统中的事,1.,背景与意义,1.,背景与意义,事务对设备协同系统的支持,物联网环境与设备协同系统,物联网环境中事务的特点,需解决的关键问题,1.背景与意义1.背景与意义 事务对设备协同系统的支持物联,针对物联网设备协同系统中事务参与者的分布，异构性，需要统一的数据存取与访问规范对流通中的数据进行管理,针对物联网设备协同系统中业务事务协同交互频繁且高度动态的情况，需舍弃独占的，静态的事务调度方式,针对物联网设备协同系统长事务较多，且协同目标复杂的情况，需要能有效处理长事务的事务模型,针对物联网设备协同系统基于业务逻辑的事务操作多，设计补偿事务复杂或无补偿操作的问题，需要能有效减少补偿操作代价的事务补偿机制,1.4.,需解决的关键问题,针对物联网设备协同系统中事务参与者的分布，异构性，需要统一的,2.,国内外研究现状,2.,国内外研究现状,事务协调协议研究现状,事务环境的发展,事务处理模型研究现状,事务补偿研究现状,2.国内外研究现状2.国内外研究现状 事务协调协议研究现状,传统数据库事务,分布式事务,WEB,服务事务,物联网事务,2.1.,事务环境的发展,传统事务概念来源于数据库管理系统，被用来确保应用程序对数据库访问的一致性和可靠性。在多个应用程序同时对相同数据库资源进行访问时，事务处理系统保证在事务执行前后，数据仍然保持一致。传统的事务具有严格,ACID,属性。,传统数据库事务之后发展成为分布式事务。分布式事务定义两种不同的事务类型：局部事务和全局事务，每个站点都有自己的事务管理器和事务协调器来分别管理局部事务和协调全局事务，分布式事务仍具有严格的,ACID,属性。,大部分需要协调的分布式事务是非常紧密耦合并且短时事务，在事务执行过程中，不存在人为不确定因素的干扰；大部分事务是由专业技术人员参与设计并长期运行的服务流程，事务发起者对事务执行效果的期望是稳定而又清晰的，这种缺点在,web,服务与物联网环境下将会受到冲击,。,web,服务事务是分布式事务的一个分支。在,Web,服务体系中，出现了大量的长事务，为了解决运行时间长的问题，应该允许部分参与者失败，尽早释放底层资源，并具有事务故障处理能力。这样适当放松事务,ACID,特性，能保持,Web,服务技术的互操作性和动态性不被破坏，同时保证了复杂的,Web,服务长事务顺利执行,。,然而，,web,服务事务环境过度的松耦合性使得它的事务处理效率难以达到时效性较高的物联网环境的要求。,物联网环境对于事务处理来说是新兴的环境，物联网中包含海量的分布的，异构的事务参与者，且物联网系统通常仍具有较强的行业性，这使得物联网中的事务不像传统分布式事务那般紧耦合，也不像,web,服务环境那样松耦合，是介于两者之间的；此外，人的参与是物联网环境下的重要因素，人工参与性导致了物联网中相当一部分的长事务的存在；最后，由于物联网系统普遍对实效性有较高要求，使得物联网中的事务参与者具有高度的动态性。,传统数据库事务2.1.事务环境的发展 传统,2.,国内外研究现状,2.,国内外研究现状,事务协调协议研究现状,事务处理技术的发展,事务处理模型研究现状,事务补偿研究现状,2.国内外研究现状2.国内外研究现状 事务协调协议研究现状,多年以来，根据不同的事务环境，针对事务的,ACID,属性，出现了多种与环境相适应的事务协调协议，其中比较有影响力的协议包括以下几种：,2PC,3PC,BTP,THP,2.2.,事务协调协议研究现状,多年以来，根据不同的事务环境，针对事务的ACID属性，出现了,1.,准备阶段：协调者向资源管理者（事务参与者）发消息要求他们准备资源。当某资源管理者完成准备时，它保证可以为事务提供资源并不单方面收回承诺。如果该资源管理者不能提供资源，那么它也须明确告知事务协调者。,2.,提交阶段：在提交阶段中，协调者将对资源管理者的回应进行计数。如果所有资源管理者都准备提供资源，则提交事务；否则回滚事务。并将结果通知所有参与者，如果结果为提交，参与者将确认它们已经提交。,2.2.,事务协调协议研究现状,2PC,协议起源于分布式环境，具有完备的,ACID,属性，确保数据的可靠性与一致性。分为以下两阶段进行：,2PC,的特点：,2PC,具有严格的,ACID,属性，确保数据的可靠性与一致性，然而严格的,ACID,属性在物联网环境下，会造成长事务的长时间资源锁定，造成资源利用效率低；,当参与者在第二阶段等待协调者的回答时，可能因为网络故障或协调者故障使之收不到回答信息而出现等待超时，这时事务进