资源描述
航空公司数据驾驶舱,目录,1,2,3,4,航空业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,随着产业互联网时代的到来,各行业开始认真思考大数据带来的商业价值。所有的企业都希望能提高信息系统的数据分析能力、获取隐含在数据中的额外商业价值。大数据已经在为企业提高运营质量、指导高层决策中发挥着重要贡献。 目前航空公司的信息系统不断发展,使运行数据大量堆集,由于设计和管理不规范导致数据质量问题越来越突出。根据“garbage in,garbage out”的原理,错误的数据最终会误导决策,降低企业运营质量。因此数据质量的高低成为信息系统建设成败的关键因素,直接关系到信息系统的有效应用。 亚信基于电信行业多年数据分析经验,指导航空公司在数据质量提升、数据采集等方向布局,提出基于数据稽核+清洗的常态化质量提升方案,以及通过亚马逊云计算和分布式爬虫的数据采集方案,以此为智慧航运奠定基础。,大数据形势,业务背景,从常旅客数据入手,通过构建端到端的数据质量管理平台,构建了一套端到端的数据质量核查、预警、清洗和知识沉淀体系。,获取竞争对手的运价等航线信息,对运营决策、营销活动等有比较重要的参照。,数据质量是信息变现的基石,据IDC公司一份质量报告所述,全球范围内的98.7%的BI系统受数据质量所困不能充分发挥其价值,在这其中80%全球以上的系统正因数据质量问题二遭受投资者的质疑,如何对系统数据进行有效的质量管理,已成为IT界的一项世界性难题,信息是企业重要的战略资源,使用不正确的数据(即差的数据质量)可导致决策的失败,正可谓差之毫厘,谬以千里。,数据质量问题分类,模型,时效,管理,完整,数据结构不规范,数据冗余度大,过期数据,目标数据缺失,录入错误,信息仓库,目录,1,2,3,4,业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,数据质量的问题原因分解,重复,人员 业务流程培训,应用 系统缺陷修复,新数据 规范信息模型,存量数据 数据稽核清洗,解决思路,数据质量的提升是一项系统工程,任何一方面的缺失都会导致数据质量的降低,因此,数据质量提升应该综合考虑数据处理、业务应用和使用人员三大方面的因素,目录,3,2,1,4,数据质量提升解决方案,分析思路,业务背景,数据采集解决方案,稽核作业,稽核作业,稽核作业,稽核作业,数据清洗解决方案,CRM,EDW,行业信息库,客服系统,电子商务,more,数据稽核,数据清洗,统计报告,人工审核,数据装载,离线FTP,稽查审核,清洗审核,ETL抽取,待清洗目标,数据来源,其它数据源,规则配置,流程配置,清洗作业,清洗作业,清洗作业,清洗作业,数据源管理,数据源管理,知识总结,实时消息,机器学习,目录,1,2,3,4,业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,数据采集解决方案,走势预测,机票报表,价格监控,业务层,应用展现,舆情分析,消息总线,More,REST+WEBSERVICE,MR+Hive+Storm,OTA,航空公司,国外网站,分布式爬虫,分布式爬虫,分布式爬虫,大数据中心,内部数据库,RDBMS,采集调度,处理层,采集站点,采集层,大数据之上,丰富的应用场景,AWS部署方案,动态Web服务 EC2、Auto Scaling,RPC服务 EC2、Auto Scaling,MySQL数据库 RDS,负载均衡服务 ELB,DNS服务 Route 53,爬虫服务,弹性存储 S3,弹性存储 S3,Region 3(亚太),Region 2(欧洲),Region 1(北美),AWS内网传输,Hadoop集群 EMR,AWS上设多个Regions, 欧洲、北美作为采集节点,亚太Region作为采集和运算节点,并提供动态Web服务访问。,Thank you,
展开阅读全文