B.面向工业物联网的海量数据实时处理平台-乔颖

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,面向工业物联网的海量数据实时处理平台,2011,年,12,月,1,目录,工业物联网建设背景和挑战,物联网概述,工业物联网环境下,海量数据处理面临的挑战,应用案例,面向复杂生产过程的工艺技术管理,结束语,面向工业物联网的海量数据实时处理平台设计与实现,2,物联网的介绍,物联网（,IOT,，,TheInternetof Things,），利用条码、射频识别（,RFID,）、传感器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，实现人与人、人与物、物与物的在任何时间、任何地点的连接（,anything,、,anytime,、,anywhere,），从而进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的庞大网络系统。,泛在的感知：利用,RFID,、传感器、二维码，及其它各种的感知设备随时随地的采集各种动态对象，泛在的感知世界。,泛在的连接：利用以太网、无线网、移动网将感知的信息进行实时的连接与传送。,泛在的智能：对物体实现智能化的控制和管理，真正达到了人与物的沟通。,广义的物联网涵义,物联网的特点,3,麦肯锡对海量数据的解读,海量数据：创新、竞争和提高生产率的下一个新领域, By,麦肯锡全球研究院,收集、存储和发掘利用海量数据，以获取洞见，,可以为世界经济创造巨大的价值,提高企业和公共部门的生产率和竞争力，并为消费者创造巨大的经济利益。,2000,年后，数据存储显著增长,物联网产生的数据随着链接点数量的增多呈现指数级的增加,运算能力也相应快速提高,4,海量信息涉及的技术,事件管理,技术,海量数据,分析技术,A/B,测试、关联规则学习、聚类分析、归类、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测模型、回归分析、情感分析、信号处理、空间分析、统计、仿真,及数据存储、商业智能、云计算、数据集市、数据仓库、分布式系统、,ETL,、,google,档案系统、分布式计算、,Hbase,、映射和化简、聚合、非关系型数据库、关系型数据库、开放式数据库、,SQL,、流处理、结构数据、非结构化数据、可视化技术,标签云、,clustergram,函数、空间信息流,可视化技术,5,海量数据在五个领域的改革潜力,临床决策支持系统,增强信息透明度,（过程视图、仪表板）,病人远程监控,改善公共卫生监测和反应,交叉销售,基于位置的营销,品种优化,劳动投入优化,基于,Web,的市场,对比引擎,预填信息,自动化算法,人群细分和定制,创建新的业务模型、产品和服务,医疗保健,制造业,公共部门,零售,个人定位数据,建立协作的、跨功能的研发和产品设计,聚合客户数据并广泛应用,虚拟合作（创意市场）,精益制造,智能路由,汽车远程信息处理,手机定位服务,广告的地理定位,电子收费,保险订价,6,工业环境下物联网海量信息处理面临的挑战,分布式数据采集,工业物联网：面向整个供应链的传感器设备和业务的集成；,移动计算：移动通讯的发展，智能终端的普及；,多工厂集成：集团化战略的发展要求多工厂间协同更敏捷。,信息处理,特征：海量、多变量、高噪音、强耦合；,数据源和数据质量的不确定性；,多时标与不完整性，许多变量的变化快慢各异，采集信号的频率不同，导致时间上的不同步和不完整。,知识挖掘,智能报警：事件驱动、报警抑制、报警规则；,数据驱动,VS,模型驱动：结合机理模型和统计分析模型，适应复杂工况,信息推理过程缺失：以人为中心，面向多人协同交互分析。,据统计在一些现代化工厂，因为缺乏有效的数据处理和分析技术，已有的数据库中,90%,以上的数据多年无人问津。,7,目录,工业物联网建设背景和挑战,总体架构,核心技术,面向工业物联网的海量数据实时处理平台设计与实现,结束语,应用案例,面向复杂生产过程的工艺技术管理,8,面向工业物联网的海量数据实时处理平台建设目标,Knowledge,数据,是未经组织的外部环境和客观事物的事实,信息,是具有时效性、有时序关系的、经过加工处理的、对决策有价值的数据流。,知识,是让从定量到定性的过程得以实现的、抽象的、逻辑的东西。,Information,Data,“如何实时改善生产过程创造价值”,从,过程,控制现场海量数据中实时,识别,有价值的,事件,，并将获得的,事件,通过以人为中心的协同决策来,挖掘潜在知识，,指导生产过程优化与生产决策,。,9,面向工业物联网的海量数据实时处理平台运行架构,10,面向工业物联网的海量数据实时处理平台,AgiM2M,11,核心技术,1,：分布式环境下采集接口集,数据集成服务提供了对多数据源的接口支持，并具有灵活的实时整合规则和高效的数据融合技术，实现了企业中控制系统、远程终端系统、数据库以及企业其它信息化系统的实时的连接与传送,支持的接口类型,关系数据源,Oracle,、,SQL Server,、,OleDB,OPC/DDE,OPC AE,、,DA,、,HDA,现场总线,RS232/485,、,CAN,、,ModBus,、,MB+,、,Profibus,、,BACnet,Flat File,其它,Message Queue,RFID,12,核心技术2：海量数据管理与实时事务处理(1),平台实现了分布式过程数据的实时采集、实时规则推理、海量历史数据管理、实时消息通信中间件、实时数据整合与发布等功能。,分布式实时数据库系统,分布式实时系统：,至少可对,100,个数据库节点进行有效管理,支持百万级以上的物理或虚拟传感数据源,节点间的负载均衡，实现实时事务错失率低于,0.01%,支持单向、双向以及一对多的数据同步与交换，实现实时数据的实时同步,实时事务处理：,基于优先级表的实时调度算法,动态调整执行顺序的乐观并发控协议,单数据库节点每秒数据处理和归档能力达到百万级以上，单数据库节点支持,1000,个并发查询；,数据存储与压缩,采用混合压缩技术，提供有损压缩压缩率至少达到,50,：,1,，提供高速无损压缩压缩率至少达到,4,：,1,13,核心技术2：海量数据管理与实时事务处理(2),内存数据管理技术,索引的组织：,采用,T,树作为索引结构,多级缓存机制：,基于统计特性，采用了基于优先级的实时数据库缓冲区管理方法,查询调度：,基于规则的任务调度,采用主内存数据库技术，将磁盘数据的低速,I/O,操作变为对内存数据的操作，从而实现高速查询和检索。,14,核心技术,3,：分布式环境下实时通讯服务,平台采用,QoS,自适应的实时发布,/,订阅（,QRTPS,）机制，在多优先级的实时事件消息队列上提供动态调整服务质量等级，提供无处不在的实时信息服务，支持高性能的通讯服务。,事件通知服务,事件引擎,规模：,20,万点,高性能：每秒处理,5,万个数据更新事件,通知服务,基于,TCP,接口,OPC,接口封装,ECA,规则引擎,15,核心技术,4,：复杂事件处理,不合格产品增多,罐区异常,设备停机,生产中断,数据异常,计量数据缺失,能耗异常,工艺数据异常,压力异常,温度显著升高,计划过饱和,合同不足,原料消耗异常,辅料消耗异常,罐计量差异,接口故障,监控失效,库存不明,存料不足,产品无处存放,阀门关闭,复杂事件处理引擎,PLC,MES,ERP,实时数据库,事件抽取,事件诊断,事件报警,规则判断,事件处理,事件存储,规则学习,EPL,处理规则,规则的事件流,事件云,能够对企业内部和外部整个供应链体系的关键控制要素进行及时、全面、直观、综合的掌控，及时发现问题，及时下达决策，实现世界一流的实时营运管理。,16,复杂事件处理引擎,平台支持复杂的定性时序关系与定量时序关系的描述，识别有价值的复合事件。,17,select * from pattern every Temperature(Datas0.Value46) - (Kpa(Datas0.Value Lpm(Datas0.Value52) where timer:within (200),复杂时序描述示例,18,核心技术5：实时规则推理,图形化规则制定界面,可在线修改的规则库,实时推理,机,事件,输入,推理结果,适配器,文本规则,规则,事件,高层,事件,推理结果,决策,复杂事件处理,用户,推理,引擎,基于,ECA,规则的实时,推理,规则模型与描述语言,可描述复杂时序时间,多视图描述语言,实时推理算法,基于规则图的启发式搜索,实时性,开放式规则库,支持规则在线修改,规则修改期间推理机不必停机,基于动态可配置结构的规则处理中间件,针对输入的高层事件,根据规则库中的,ECA,规则,实时获取相应的动作决策。,19,核心技术,6,：流计算引擎,流计算服务提供了可视化的数据流规则配置，采用滑动时间窗技术，支持增量式数据分析处理，并提供可扩展的计算算法库，能迅速分析多个数据源的信息流，大大提高业务关领域决策的速度和精确性,20,智能学习与优化分析算法库,t-,检验,单一样本,t,检验,独立样本,t,检验,配对样本,t,检验,单因素方差分析,均值多项式比较,Post Hoc,检验,12 post hoc,检验,ANOVA,统计,固定作用检验,随机作用检验,组描述统计,方差齐性检验,相关分析,双变量相关分析,偏相关分析,距离分析,不相似性测度,回归分析,线性回归,曲线估计,频数分析,频数分布表：频数计数，百分比，有效百分比，累积百分比,中心趋势：均值，中位数，众数，总和,离散性：最大值，最小值，全距，标准差，标准误，方差,分布：峰度系数及其标准误，偏度系数及其标准误,百分比之：按实际或分组数据的百分比，四分位数，等分组,描述分析,中心趋势：均值，总和,离散性：最大值，最小值，全距，标准差，标准误，方差,分布：峰度系数，偏度系数,探索分析,均值的置信区间,M-,估计,标识极端值和非正常值,分组频数表,SPC,聚类,21,核心技术7:时序数据可视化与交互式分析(1),平台提供直观的图形化的数据和信息和交互式的数据挖掘，从多种观察角度围绕业务指标，对数据进行深入、实时、动态的剖析,丰富可配置的可视化,组件库,曲线图,各类曲线图,动画效果,KPI,仪表盘,数字,图形化,指针型,表格,链接,报警,看板,简报,通知,To-Do List,控制组件,日期选择,选择框,定制组件,22,自定义的动画监控效果,系统支持自定义的脚本解释语言，采用,Python,语言和丰富的预定义函数可以构建各类复杂计算和动态交互动画；结合预置的工厂控件图库，包括泵、阀、仪表、管道、马达等，可以真实再现生产流程。,脚本解释语言,变量类型,系统变量,页面动态参数,自定义变量,流程控制,循环、分支、判断、迭代,等,算术、逻辑等运算符、列表,推导式,事件响应,鼠标、键盘等交互动作,数据变化、阈值条件等,页面加载、缩放等窗口,绝对或相对时间周期,函数库,计算函数,日期函数,对象函数,系统函数,数据处理函数,文件操作函数,.,工业控件图库,脚本编辑器,工业现场可视化监控,23,核心技术7:时序数据可视化与交互式分析(2),综合展示平台不仅支持模板化的信息展示，也支持以用户为中心的交互式分析过程，辅助用户高效的组织和利用知识进行综合分析和假设验证等推理。,Pan+Zoom,Detail on demand,MultiView,24,目 录,工业物联网建设背景和挑战,流程企业工艺技术管理,应用案例,石化企业,应用案例,冶金企业,面向工业物联网的海量数据实时处理平台设计与实现,应用案例,面向复杂生产过程的工艺技术管理,结束语,25,流程企业工艺技术管理,工艺技术管理主要实现工业控制过程的“,异常管理,”，将计划目标转化为控制层面的操作目标，并帮助用户跟踪生产过程“,不稳定,”和“,工艺波动,” ，由“,事后,”变为“,事中,”，为工厂有关人员提供相关的实时信息，以便及时地做出调整。,26,应用案例,燕山石化,北京燕山分公司是中国石油化工股份公司直属的特大型石油化工联合企业，成立于,1970,年,7,月,20,日。原油加工能力,1000,万吨,/,年，乙烯生产能力,71,万吨,/,年，拥有生产装置,88,套，辅助装置,71,套，可生产汽油、柴油、航空煤油、石蜡、乙烯、聚乙烯、聚丙烯、苯酚、丙酮、顺丁橡胶、丁基橡胶等,120,个品种,494,个牌号的石油化工产品，主要产品中，合成树脂、合成橡胶、苯酚丙酮是国内最大的生产商之一，年销售收入超过,600,亿元。,从,2008,年,6,月开始在中国石化燕山分公司进行建设和应用，覆盖了主要生产业务主管部门：,13,个主体生产工厂和,3,个能源工厂，设置了炼油、橡胶、烯烃、芳烃、聚酯、聚乙烯、聚丙烯、化学品、储运二厂、塑料、气体、动力、水务等,16,个,MES,工厂，为燕山石化生产执行和指挥提供了一个统一、高效的生产营运指挥平台。,企业简介,建设背景,27,主要功能1工艺卡片管理,实现工艺卡片的电子化管理，通过工作流的方式实现工艺卡片的审批流程。并为平稳率系统、公司监控系统提供标准的数据接口。,28,主要功能2工艺运行监控与偏差分析,监控,24,小时现场状况及对异常状况迅速的采取措施,将工艺卡片的上下限转换为监控指令，通过监控指令的执行，实现对实际操作的实时监测和跟踪，并对产生的偏差进行原因分析和相关考核。,29,主要功能3实时工艺计算,通过可视化的编辑环境和丰富的组件库灵活快速的配置相关工艺计算流程，并通过底层调度服务实现工艺指标的实时计算。在燕化全公司范围内的,89,套装置推广实施。,30,主要功能4工艺联锁报警,通过复杂事件的检测机制，实现了在复杂工况下对装置联锁报警的实时异常检测。,工艺连锁报警典型应用,二催化处理量报警,裂解炉（,BA1101,）联锁报警,裂解炉（,BA1102,）,联锁,报警,裂解炉（,BA1103,）,联锁,报警,裂解炉（,BA1104,）,联锁报警,压缩机（,GB1201,）连锁报警,.,T,再生塔顶压力,104,100,96,92,0 20 40 60 80 100,主风流量,再生塔顶压力,104,100,96,92,主风流量,报警信号,正确信号,31,主要功能5工艺实时预测分析,汽油干点是催化装置的重要指标，但是,LIMS,的检测周期较长（每天一次），无法实时快速的反应装置当前的生产情况。为解决这个问题，我们收集了和干点相关的,14,个关键影响因素。通过大误差剔除，移动平均，归一化和降维对,14,个采样点的数据进行预处理,使用神经网络建模和校正模块，实现了对汽油干点的实时监测。通过在现场运行，预测误差在正负,1%,。,干点预测的实时曲线以及本次 预测误差,干点的预测值与检测值比较，预测误差小于,1,的概率在,86%,以上,影响汽油干点的,14,个关键工位点的实时值,系统后台通过大误差剔除，移动平均，归一化和降维对,14,个采样点的数据进行预处理,使用神经网络建模和校正模块，计算干点的预测值，并将结果存储到数据库中,32,主要功能6工艺月报,装置投入产出分析,原料物性分析,收率分析,能耗分析,主要设备情况,同行业生产情况对比及分析,质量分析,化工原材料及三剂消耗情况,环保达标情况,装置开停工统计,33,应用案例首钢京唐公司,首钢京唐钢铁项目是纳入国家“十一五”规划纲要的重点工程，总投资,677.31,亿元，按照 “高起点、高标准、高要求”和“产品一流、管理一流、环境一流、效益一流”的要求，建设两座世界第三、全国最大的单套,5500,立方米高炉，凭借年产能,898,万吨铁、,970,万吨钢和,913,万吨钢材，成为中国最大的精品钢铁基地。,为支撑京唐“四个一流”体系目标，实现信息化与生产工艺装备同步投运，根据工艺装备和生产环境，研发并实施了,MES,系统软件，该软件直接指导生产和管理，同时为四级系统成本核算提供及时准确数据，涵盖铁前、钢后、生产指挥中心、计量、检化验等范围。,企业简介,建设背景,34,在线质量判定炼钢和热轧,建立迁钢炼钢、热轧质量工程师站的在线质量判定功能；,建立和维护判定规则的技术手段；,实现与现有,MES,系统数据交换，为,MES,系统的产品质量判定功能提供数据支持和判据数据,建立在线质量判定查询系统，实现对过程参数信息的查询功能，并可以导出到,Excel,表格中进行保存。,实现对高频率采集过程参数数据以曲线形式方便直观的展示。,35,应用界面示例,36,应用界面示例,37,应用界面示例,38,应用效果,建立了在线质量判定概念,，,加入了过程判定和产品在线表面判定，对高端板材的生产起到了积极的作用，同时，将在线判定结果数据传递给产品综合查询系统，为日后的产品质量分析提供了重要数据依据。,建立了详细的判定规则,，,将工艺管理人员或老师傅多年所积累的经验转换录入系统，避免了人工操作的主观性和可能的失误。通过对规则的优化调整制定了详细的判定规则,，,细化了对不同产品质量要求，提高了对质量的控制。,在线质量判定从铁水产生开始进入炼钢工序时就全面跟踪可能影响到最终产品质量的过程参数，对各个环节层层把关,，,减少后道工序的不合格产品生成机率,。,与,MES,系统的紧密结合。在线判定结果上传给,MES,系统，从此质检人员在进行表检、外形等常规质检的基础上同时参与在线判定结果，可以更精确的掌握物料的合格情况。使质检人员的判定更加精细，把关更加严格。,人工经验资料库的生成。在线质量判定系统通过制定系统规则，通过经验长期的积累形成在线质量判定经验库。避免岗位人员交换所产生的由于经验不足而容易发生的问题，可以更加准确的完成对产品的判定。,39,目 录,工业物联网建设背景和挑战,工业物联网平台设计与实现,应用案例,面向复杂生产过程的工艺技术管理,结束语,40,感谢各位,！,41,