探讨大数据分析技术在空管中应用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,2016,年,9,月,探讨大数据分析技术,在空管中应用,*,内容提,纲,纲,一、数学知识,二、技术背景,三、主流技术,四、空管需求,五、应用场景分析,1,一、数,学,学知识,数学知,识,识,3,概念,；,算法；,建模；,分析与,挖,挖掘。,1数学概,念,念（1）,4,基本定,义,义,英文名,称,称：Mathematics，简称Maths或Math，是研,究,究数量,、,、变化,、,、空间、结构以及信,息,息等概,念,念的一,门,门学科。,数量代数；,变化函数；,空间几何；,结构拓扑；,信息分析（e.g,.,.统计分,析,析）。,推理严,密,密：每一个,结,结论的,成,成立都,需,需要足,够,够合理,的,的条件,支,支撑；,结论唯,一,一：每一个,结,结论都,是,是确定,的,的，不,是,是模棱,两,两可的。,1数学概,念,念（2）,5,特点,抽象性,；,；,符号抽,象,象：e.g,.,.（无穷,大,大）；,无实物,参,参考：e.g,.,.“直线,、,、平面,”,”（无,限,限延伸,）,）。,严谨性；,广泛性,。,。,日常生,活,活应用,广,广泛：e.g,.,.买菜、,购,购物等,吃,吃穿住,行,行；,其他学,科,科领域,依,依赖：e.g,.,.力学、,天,天文学,、,、物理,学,学、化,学,学等。,1数学概,念,念 （3）,6,问题分,类,类,白化问,题,题,灰色问,题,题,模糊问,题,题,信息准,确,确；,信息不,准,准确；,问题清,晰,晰。,信息不,准,准确；,问题清,晰,晰。,问题不,清,清晰。,1数学概,念,念（4）,7,空管应,用,用举例,空域结,构,构优化；,空中交,通,通流量,管,管理；,4D轨迹优,化,化；,机场进,离,离场排,序,序等。,1数学算,法,法（1）,8,概念,英文名,称,称：Algorithm，是指解,题,题方案,的,的准确,而,而完整,的,的描述,，,，是一,系,系列解,决,决问题,的,的清晰,指,指令，,代,代表着,用,用系统,的,的方法,描,描述解决问,题,题的策,略,略机制。,特点,有穷性,；,；,确切性,；,；,输入输,出,出；,可行性,。,。,1数学算,法,法（2）,9,分类,迭代,特点：函数内部实现循,环,环，通过使用计,数,数器结,束,束循环。,递归,特点：重复调,用,用函数自,身,身实现,循,循环，遇到满,足,足终止,条,条件的,情,情况时,逐,逐层返,回,回来结,束,束。,穷举,特点：,对,对所有,可,可能的,情,情况逐一验,证,证。,回溯,特点：,从,从一条,路,路出发,，,，能进则,进,进不能,进,进则退，换一,条,条路再,试,试。,动态规,划,划,特点：,求,求解决,策,策过程最优化的数学,方,方法。,1数学算,法,法（3）,10,空管应,用,用举例,卡尔曼,滤,滤波算,法,法（监,视,视目标,跟,跟踪处,理,理）；,地图投影算,法,法（经,纬,纬度坐,标,标转换,为,为直角,坐,坐标）,；,；,视频压,缩,缩算法,（,（景象,记,记录）,；,；,带约束,优,优化算,法,法（进,离,离场排,序,序）等,。,。,1数学建,模,模（1）,11,概念,英文名,称,称：Modeling，是对事物抽,象,象的一,种,种描述。,特别声,明,明,数学建,模,模：,工程建,模,模；,通过使,用,用数学符,号,号，数,学,学式子,，,，程序,，,，图形等对某,一,一事物,或,或问题,进,进行抽,象,象描述,。,。,1数学建,模,模（2）,12,空管应,用,用举例,4D轨迹估,算,算（质,点,点运动,数,数学模,型,型）；,中期冲,突,突探测,（,（几何,运,运动数,学,学模型,）,）；,短期冲,突,突告警（,质,质点运,动,动数学,模,模型）,；,；,空域侵,入,入告警,（,（质点,运,运动数,学,学模型,）,）等。,1数据分,析,析挖掘(1),13,概念,数据分,析,析：Data Analysis，通过使,用,用适当的统计分,析,析方法对收集,来,来的大,量,量数据,进,进行分,析,析，提,取,取有用信,息,息和形成结,论,论而对数,据,据加以,详,详细研,究,究和概,括,括总结,的,的过程,。,。,数据挖,掘,掘：Data Mining，通常是指从大,量,量的数,据,据中通,过,过算法搜索隐,藏,藏于其,中,中信息的过程,。,。,1数据分,析,析挖掘(2),14,区别,数据挖,掘,掘，目标不,是,是很清,晰,晰，要依,靠,靠挖掘,算,算法来,找,找出隐藏在大量,数,数据中,的,的规则,、,、模式,、,、规律,等,等 ；,联系,数据挖,掘,掘，是数据分,析,析的基,础,础支持，简单,来,来说，,就,就是先,对,对原始,数,数据进,行,行业务关联性,、,、时效,性,性、有,效,效性等逻辑性,挖,挖掘，其次抽取有效数,据,据，清理、,格,格式化,数,数据，为数据分,析,析提供,数,数据支,持,持。,数据分,析,析，一般,要,要分析,的,的目标比,较,较明确，分析,条,条件也,比,比较清,楚,楚。,1数据分,析,析挖掘(3),15,常用方,法,法,回归分,析,析、聚,类,类、关,联,联规则,、,、特征,、,、变化,和,和偏差,分,分析、web页挖掘,等,等。,数据分,析,析现状,传统数,据,据分析,技,技术比,较,较成熟,，,，e.g,.,.基于SQL数据库,查,查询的,统,统计分,析,析。,基于大,数,数据的,数,数据分,析,析，发,展,展迅速,，,，良莠,不,不齐，,任,任重而,道,道远。,1数学概,念,念（4）,16,空管应,用,用举例,飞行计,划,划配对,统,统计；,出入境,飞,飞行计,划,划统计,；,；,军民航,飞,飞行计,划,划统计,；,；,空域飞,行,行流量,信,信息统,计,计等。,二、技,术,术背景,技术背,景,景,18,数据；,存储；,计算。,2数据（1）,19,数据,英文名,称,称：Data，是信息,的,的表现,形,形式和,载,载体，,可,可以是,符,符号、,文,文字、,数,数字、,语,语音、,图,图像、,视,视频等,。,。,特点,数据和,信,信息是,不,不可分,离,离的，数据是,信,信息的,表,表达，信息,是,是数据,的,的内涵,。,。数据本,身,身没有,意,意义，,数,数据只,有,有对实,体,体行为,产,产生影,响,响成为,信,信息时,，,，才会,产,产生重,要,要价值,。,。,2数据（2）,20,传统数,据,据,特点：,应用：,数据量,小,小,初级建,模,模,信息相,对,对较少,辅助维,护,护,2数据（3）,21,大数据,特点,应用,数据量大；,预测分,析,析；,现状,处理复,杂,杂，难,度,度大，,云,云架构,、,、并行,处,处理是共识；,数据复杂。,决策评,估,估。,结合行,业,业进行充分发,掘,掘是难题，也是,未,未来企,业,业保持,行,行业竞,争,争优势,的,的重要砝码。,存储现,状,状,存储设,备,备变强，e.g,.,.服务器,和,和工作,站,站，硬,盘,盘和内,存,存容量,越,越来越,大,大，由M-G-T增长；,2存储,22,存储方,式,式多样,，,，e.g,.,.移动介,质,质、固,定,定介质,、,、私有,云,云、公,共,共云等,。,。,存储技,术,术先进,，,，e.g,.,.NAS、SAN、ISCSI。,2计算,23,技术现,状,状,分布式,计,计算,特点：将大的,任,任务分,解,解成小,的,的任务，在多,台,台计算,机,机上同,时,时计算,，,，被分,解,解后的,小,小任务,互,互相之,间,间有独,立,立性，,节,节点之,间,间的结果几,乎,乎不互,相,相影响，实时性,要,要求不,高,高。,并行计,算,算,特点：将大的,任,任务分,解,解成小,的,的任务，在多,台,台计算,机,机上同,时,时计算,，,，倾向,于,于海量,数,数据分,析,析处理,，,，计算的,结,结果相,互,互影响，实时性,要,要求高。,云计算,特点：由分布,式,式计算,、,、并行,计,计算发,展,展而来,的,的，处,于,于萌芽阶,段,段，但,是,是未来,发,发展的,趋,趋势。,三、云,平,平台架,构,构,云平台,架,架构,25,IAAS服务层,；,；,PAAS服务层,；,；,SAAS服务层,。,。,云平台,架,架构,26,用户接,入,入,云应用,SaaS应用,云平台,PaaS平台,云资源,IaaS平台,ERP,/,/OA,/,/CRM/HR/BA/SCM/PM/EAM,客户、,个,个人、,开,开发/实施伙,伴,伴等创,建,建的应,用,用服务,第三方SaaS应用服务,客户自,建,建SaaS应用服务,SaaS应用服务,支付、,物,物流、,政,政务等,第,第三方,云,云应用,服,服务；,外,外部行,业,业服务,组,组件,aPaaS门户,应,应用,引,引擎,平,平台,管,管理,数,数据,管,管理,应,应用管理安全管,理,理,伙,伙伴管,理,理,软件资,产,产生命,周,周期管,理,理：需,求,求,设,设计,开,开,发,发,测,测试,部,部署,iPaaS门户BPMESBEAIMDM管理PortalLDAP公共云,集,集成服,务,务,IaaS云计算,运,运营管,理,理平台公共服务,自助管,理,理/调度管,理,理/资源管,理,理/用户管,理,理/资源监,控,控/计费/安全服,务,务/网络,虚拟化,的,的基础,设,设施层,云计算,云,云,存,存储,云,云网,络,络,云,云安全,空,管,云,管,理,平,台,aPaaS平台服,务,务（applicationplatformasa service）,iPaaS平台服,务,务（integrationasa service）,SaaS管理门,户,户：配,置,置管理/自助管,理,理/授权控,制,制/消息服,务,务/计费/安全管,理,理,IAAS服务层,：,：主要提,供,供基本,架,架构服,务,务，包,括,括基本,的,的计算,服,服务、,网,网络服,务,务、存,储,储服务,、,、灾备,服,服务、,安,安全服,务,务等；,3云平台,架,架构(1),27,IAAS服务层,PAAS服务层,：,：基于IAAS层，面,向,向SAAS层提供,数,数据存,储,储、数,据,据分析,挖,挖掘等,服,服务。,SAAS服务层,：,：基于PAAS层，提供与,行,行业相,关,关的应,用,用服务,或,或呈现,服,服务。,四、空,管,管需求,空管需,求,求,29,飞行流,量,量；,管制压,力,力；,信息现,状,状；,技术发,展,展。,乘坐人,次,次增多；,4空管需,求,求(1),30,飞行流,量,量现状,飞行航,线,线增加,；,；,飞行器,架,架次增,加,加；,军民融,合,合；,低空开,放,放。,飞行流,量,量增多，业务,需,需求=工作高效化,自然因,素,素；,4空管需,求,求(2),31,管制压,力,力影响,因,因素：,军航活,动,动；,航班量,大,大；,管理严,格,格；,惩罚严,厉,厉。,管制压,力,力增大，使用,需,需求=工作智能化,信息现,状,状,职责多,；,；,4空管需,求,求(3),32,机构多,；,；,员工多,；,；,系统多,；,；,数据多,。,。,空管信,息,息孤岛,，,，共享,需,需求=数据共,享,享,技术发,展,展,大数据,挖,挖掘技,术,术；,4空管需,求,求(4),33,存储技,术,术；,并行计,算,算技术,；,；,云平台,架,架构；,大数据,分,分析技,术,术。,技术发,展,展，提,供,供支撑=不可能,变,变可能,4空管需,求,求(5),34,（四）技术发展，提供支撑，,不可能变可能（技术保障）,（一,）飞行流量增多，工作,高效化（业务需求）,（三）信息孤岛现状，,数据共享（现状问题）,（二）管制压力增大，工作,智能化（使用需求）,需求+问题+保障,空管大,数,数据分,析,析技术,应,应用天时、,地,地利条件具,备,备，如,何,何做怎,么,么做，,需,需要人和，暂时欠,缺,缺。,五、应,用,用场景,分,分析,应用场,景,景分析,36,场景1：4D轨迹估,算,算；,场景2：飞行冲,突,突调配,；,；,场景3：日志分,析,析；,场景4：雷达数,据,据处理,。,。,5应用场,景,景分析,（,（1）,37,4D轨迹估,算,算（1）,通常做,法,法,实现弊,端,端,利用飞,行,行情报,并,并结合BADA库内机型参,数,数，对,计,计划未,来,来航段,进,进行估,算,算；,如果4D轨迹估,算,算的模,型,型太复,杂,杂，精,度,度较高,，,，但接,收,收雷达,目,目标信,息,息后对,未,未来航,段,段更新,比,比较耗,时,时，易,造,造成人,机,机界面,显,显示比,较,较慢；,接收到,雷,雷达目,标,标信息,后,后，对,配,配对的,飞,飞行计,划,划进行,修,修正。,如果4D轨迹估,算,算的模,型,型太简单，精度,较,较低，,造,造成飞,行,行计划,冲,冲突告,警,警虚警,率,率较高,，,，影响,管,管制员,日,日常操,作,作。,5应用场,景,景分析,（,（2）,38,4D轨迹估,算,算（2）,大数据,分,分析技,术,术应用,利用大数据分,析,析技术,，,，对同,一,一航班,的,的历史,数,数据进,行,行统计,分,分析，,分,分析在,同,同一航,路,路点航,班,班的过,点,点时间,和,和高度,信,信息，,然,然后对,原,原4D轨迹估,算,算的结,果,果进行,修,修正或,直,直接强,制,制使用,，,，提高4D轨迹估,算,算的精,度,度。,5应用场,景,景分析,（,（3）,39,飞行冲,突,突调配,（,（1）,通常做,法,法,实现弊,端,端,若是飞行预,先,先调配或飞行前,调,调配，,一,一般选,择,择进行,地,地面等,待,待，通,过,过调整,飞,飞行时,间,间间隔,，,，使之满足安,全,全标准，依据,大,大多是,管,管制员,的,的工作,经,经验；,依赖管,制,制员的,经,经验；,若是飞行中,调,调配，,一,一般采,取,取调整,高,高度、,速,速度和,空,空中等,待,待这样,的,的措施,，,，拉大横向间,隔,隔或纵,向,向间隔，使之满足安,全,全标准，依据,也,也大多,是,是管制,员,员的工,作,作经验。,效率低,资,资源浪,费,费。,5应用场,景,景分析,（,（4）,40,飞行冲,突,突调配,（,（2）,使用现,状,状,大数据,分,分析技,术,术应用,飞行冲,突,突调配,系,系统有,成,成品，e.g,.,.川大智,胜,胜有一,套,套智能,化,化飞行,冲,冲突调,配,配系统,，,，曾在,成,成空有,部,部署。,对探测,到,到的冲,突,突场景,进,进行分,析,析，找,到,到历史,相,相似的,场,场景（,数,数据挖,掘,掘）；,推广难,度,度大，,系,系统提,出,出的调,配,配方案,通,通常与,管,管制员,操,操作习,惯,惯不匹,配,配，调,配,配方案,可,可靠性,一,一般被,管,管制员,质,质疑，,选,选择相,信,信自己,经,经验。,通过分,析,析历史,相,相似场,景,景的调,配,配方案,，,，修正,现,现有系,统,统的调,配,配方案,（,（数据,分,分析）。,5应用场,景,景分析,（,（5）,41,日志分,析,析,通常做,法,法,实现弊,端,端,ATC系统技,术,术监控,进,进程、,一,一些主,要,要进程,实,实时生,成,成日志,文,文件；,资源浪,费,费；,系统故,障,障、进,程,程出问,题,题时，,日,日志文,件,件才会,被,被用到,，,，而且,日,日志上,的,的部分,信,信息只,有,有研发,人,人员才,会,会看懂。,过分依,赖,赖供应,商,商。,大数据,分,分析技,术,术应用,智能化,故,故障诊,断,断。,5应用场,景,景分析,（,（6）,42,雷达数,据,据处理,通常做,法,法,接收到,点,点迹，,经,经过预,处,处理、,处,处理周,期,期性输,出,出系统,航,航迹；,如果在,若,若干个,周,周期内,，,，没有,收,收到点,迹,迹信息,，,，系统,航,航迹将,会,会自动,消,消失。,大数据,分,分析技,术,术应用,当航空,器,器出现,特,特情时,，,，管制,员,员无法,监,监视到,当,当前航,迹,迹，而,系,系统保,留,留该目,标,标当前,时,时刻之,前,前的信,息,息，通,过,过大数,据,据分析,技,技术，,结,结合历,史,史数据,和,和机型,参,参数信,息,息，进,行,行预测,，,，为应,急,急搜救,提,提供辅,助,助。,1.mp4,结束语,谢 谢,！,！,