数据资产监控大屏解决方案课件

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021/3/24,0,数据资产监控大屏解决方案,数据资产监控大屏解决方案,议程,数据资产监控大屏综述,1,数据资产监控大屏总体架构,2,数据资产监控大屏演进路线,3,数据资产监控大屏建设运营,4,数据资产监控大屏未来展望,5,议程数据资产监控大屏综述1数据资产监控大屏总体架构2数据资产,数据资产分析类应用建设现状基本分析,关注的内容,存在的问题,基本的现状,*数据仓库累积数据没有充分利用,缺乏面向整个*的统一、完整的数据视图；,缺乏支撑*日常业务运转的风险评估体系；,缺乏*客户,360,度视图，客户行为分析和预测无法实现；,缺乏面向金融业务运营管理的关键绩效指标体系；,*已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；,*已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；,数据平台、数据应用、数据管控,基础数据平台和,BI,应用建设是未来一段时间的重点！,数据平台整体架构；,数据平台各层建设的标准；,较成熟的金融业数据模型；,数据质量治理；,元数据管理；,数据标准建设,数据整合；,数据应用建设；,数据平台的软硬环境,数据资产分析类应用建设现状基本分析关注的内容存在的问题基本的,数据资产分析类应用建设现状基本分析,*只有建立了完整的数据治理体系，保证数据内容的质量，才能够真正有效地挖掘*内部的数据价值，对外提高竞争力。,高质量数据是业务创新的基础,*在市场中的竞争领域已经从同一领域市场份额争夺，发展到开发新竞争领域的创新性竞争阶段，这从客观上对*的创新能力提出了更高的要求，现在*的创新在很大程度上要借助科技的手段，在业务数据的开发 和利用基础上进行创新，数据为*实施有效的创新提供了丰富强大的动力。,*数据繁杂无标准质量低,*的,IT,系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的数据导致了数据资源利用的复 杂性和管理的高难度。*无法从统一的业务视角去概览整个*内部的数据信息。暴露出来的只是一个个独 立的系统，系统与系统之间的关系、标准数据从哪里获取都无从知晓。,数据是*争夺优质客户的关键,数据是*的生命线，谁掌握了准确的数据谁就获得了先机。在当前竞争日益激烈的市场上，*都在不同的 细分市场上争夺优质客户。如何在在这样的市场环境中选择市场的经营策略？*每一笔资金的来源与利用、 每一次经营管理决策都必须基于准确的数据分析判断。只有基于准确的数字，才能够帮助*在激烈的竞争中取得竞争优势。,数据资产分析类应用建设现状基本分析*只有建立了完整的数据,自运营转型的挑战,自运营转型的挑战,5,业务流程面临的巨大挑战,如今,几乎每个行业都在业务流程方面面临着众多挑战,。,不管公司如何认为自 己是现代化的“数字,”,企业,但事实仍然没变,:,很多组织仍然使用他们数十年 前的方式处理一般业务流程,:,手动处理,。,手工处理业务,对员工来说,这些手动流程和学习曲线非常耗时,。,尽管企业积极寻找提高效率,、,生产力和进入市场速度的方式,但对手动流程的依赖让其进程缓慢,。,影响工作效率,除了速度慢之外,手动流程还容易出错,。,没有人是完美的,。,员工可能会分心,、,疲倦或者过度劳累,这可能会导致数据录入出错,、,排印错误以及其他错误。,无法规避错误,释放人力,零错误,降本增效,业务流程面临的巨大挑战如今,几乎每个行业都在业务流程方面面临,6,什么是,数据资产监控大屏,除了可以独立工作,，,还可以和人交互合作,，,让人集 中注意力于关键环节,3,4,2,无需系统改造融合,，,直接使用人机界面来处理业务 和数据,，,是低成本高回报的自动化技术,1,基于计算机操作系统的工作桌面,，,自动识别,UI,、,自 动完成重复性工作的机器人,执行重复性的任务 模拟人机交互行为 处理简单业务规则 自动化数据录入 流程处理调整,跨系统跨应用操作 自动化数据处理,而此时此刻,，,智能化,、,自动化的技术进步对业务产生了巨大影 响,。,数据资产监控大屏,可以解决企业的难题,，,在工作中,数据资产监控大屏,机器人以其轻量,、,高 效,、,快速,、,便宜的特质跨出了“机器做事,”,的阶段,，,步入“相当于 人做事,”,的新领域,。,未来是与人合作,，,串联业务流程,，,通过学习人的行 为,，,实现智能认知和智能决策,什么是数据资产监控大屏除了可以独立工作，还可以和人交互合作，,7,数据资产监控大屏,能做什么,数据资产监控大屏能做什么,8,智能时代来临,，,带上你的数字化员工,7,智能与决策,基于人工智能的机器人,，,能基于机器学习方法做出,正确的感知,、,决策,，,从而,真正实现机器人提供服务,智能助手,由人看管的机器人,，,人负,责决策,，,机器人负责交互,，,提升人的效率,流程自动化,基于自然界面的机器人,，,能,执行后台操作全程自动化,IT,自动化,脚本,、,宏命令,、,编程,、,基于,接口和,plug-i,n,架构的工具,简单模仿,智能助手,流程机器人,认知,-,决策机器人,智能时代来临，带上你的数字化员工7智能与决策智能助手,9,高价值,低风险,机器人业务流程自动化带来的不仅仅是成本优势,质量稳 定易管理,易于部署,低成本,非入侵,快速回报,高端（,2,%,）,中端（,8,%,）,低到中端（,25,%,）,低端（,65,%,）,高端（,2,%,）,中端（,8,%,）,低到中端（,48,%,）,低端（,42,%,）,自动化机器人帮助企业优化人 力资源模型,高价值低风险机器人业务流程自动化带来的不仅仅是成本优势质量稳,10,财务,/,税务 财务对账,、,银企对账等 付款处理,、,应付账款,、,应收账款 处理,，,发票处理,、,税务申报等,风控,/,内审 风险指标分析与响应,、,风控报表 制作等,；,数据资产监控大屏,客户服务 坐席人员业务办理,、,知识库管理 等,；,运维管理 帐号,/,权限管理,、,I,T,自动化运 维,、,数据批量处理等,；,运营管理 同业分析,、,营销管控,、,信用卡 催收,、,积分管理等,；,人力资源 员工入职,/,离职,，,工资单,，,招聘筛选,/,匹配,，,员工社保申报等,；,财务/税务 财务对账、银企对账等 付款处理、应付账款、应收账,11,数据资产监控大屏,数据资产监控大屏,12,数据资产监控大屏建设目标,外部非结构化数据,统一制定目标和分析模型,统一划分分析主题,统一设计数据模式,统一规划分析方法,统一部署技术基础,统一定义,BI,应用,自定义报表工具,行列的简单定义方式,多种格式报表,集团,决策层,集团,职能管控层,各级业务操作层,关注,集团,主要经营指标,业务人员使用,BI,应用实现业务协作和创新,BI,分析工具,供应链,金融,系统,POP,系统,其他业务系统,云数据推送平台,已实现了主要零售及金融业务系统数据清洗、整合，为未来*数据平台提供了丰富的数据源。,通过数据平台和,BI,应用建设，*将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力,采购管理系统,查看职能部门的业务经营情况,数据资产监控大屏建设目标外部非结构化数据统一制定目标和分析模,数据资产监控大屏建设预期收益,2.,加强业务协作,实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的*级视图，有效促进业务的集成和协作，并为*级分析、交叉销售提供基础,3.,促进业务创新,*业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件,4.,提升建设效率,通过数据,平台,对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关,IT,系统的建设和运行效率,5.,改善,数据质量,从中长期看，数据仓库对,*分散在各个业务系统中的数据整合、清洗，有助于*整体数据质量的改善，提高的数据的实用性,通过数据,平台,实现数据集中，确保,*,各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为*重要资产的业务价值,1.,实现数据共享,数据资产监控大屏建设预期收益2.加强业务协作实现分散在供应链,议程,数据资产监控大屏综述,1,数据资产监控大屏总体架构,2,数据资产监控大屏演进路线,3,数据资产监控大屏建设运营,4,数据资产监控大屏未来展望,5,议程数据资产监控大屏综述1数据资产监控大屏总体架构2数据资产,数据资产监控大屏总体架构,历史数,据查询,数据交换平台,应用集市数据区,*零售,供应链金融,人人贷系统,基金系统,系统,*内外部半结构化、非结构化数据,大数据交换组件,数据库数据交换组件,数据区数据交换组件,数据计算层,大数据区,沙盘演练数据区,数据应用层,实时数据区,客户主题,协议主题,产品主题,业务沙盘演练,数据增,值产品,零售数据,供应链数据,增值产,品数据区,主题数据区, ,用户访问层,客户汇总,账户汇总,机构汇总, ,社交媒体,移动互联,用户评价,访问日志,处理后大数据,待处理大数据,流程调度,监控告警,数据标准,数据质量,元数据,数据安全,流程调度平台,数据管控平台,流程调度层,数据管控层,数据,产生层,数据交换层,实时数,据查询,客户管理,财务管理,外部用户,贴源数据区,内部管理分析,内部用户,历史归档数据区,IT,人员,风险管理,数据资产监控大屏总体架构历史数数据交换平台应用集市数据区*,数据资产监控大屏总体架构,数据产生层,内部业务系统产生的结构化数据,*日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水,*日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水,*内部非结构化数据,日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评,*外部数据,*外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息,源数据内容,在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据,*和*业务系统的数据,增量数据识别、获取由云数据推送平台负责，,云数据推送平台采用,分析、对比源系统日志方式实现,对于无法通过上述方式获取增量的源系统数据,，则采用某一个时间范围内的全部数据作为增量,初始数据加载均采用全量模式,源数据增量,数据资产监控大屏总体架构数据产生层内部业务系统产生的结构,数据资产监控大屏总体架构,数据交换层,数据交换层设计目标,传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能,保证数据在平台内,高速流转,保证数据交换过程中,不失真,保证数据交换过程中,不丢失,保证数据交换过程,安全可靠,数据区数据交换组件,数据库数据交换组件,大数据交换组件,*系统,数据服务层,外部大数据,*系统,Hadoop,元数据,云数据推送平台,数据平台导入临时区,数据平台导出临时区,NAS,存储,ETL,程序区,数据资产监控大屏总体架构数据交换层数据交换层设计目标传输,数据资产监控大屏总体架构,数据交换层,NAS,存储,Hadoop,集群元数据,区,数据平台,ETL,数据处理程序区,数据平台临时数据区,存储数据平台各个,Hadoop,集群的元数据信息，如：,HDFS,文件系统元数据,集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在,NAS,临时数据区,金融数据平台加工计算结果返回给业务系统，暂存在,NAS,临时数据区,数据平台,ETL,加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在,NAS,集群指定目录，各接口服务器通过文件系统,Link,建立映射,数据资产监控大屏总体架构数据交换层NAS存储Hadoop,数据资产监控大屏总体架构,数据交换层大数据交换组件,*内部非结构化、半结构化数据，如：音频、视频、邮件、,Office,文档、抵押品扫描件等,*外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等,批量采集：大数据源以,SFTP,协议批量传输数据,文件,在线访问：开发,Java,或,C,应用，调用大据源,API,，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据,组件以实时和批量两种模式实现下列功能：,数据采集,数据传输到数据交换平台（接口服务器）,NAS,指定目录,存储数据到数据平台大数据区指定,HDFS,目录,定时抽取用户访问日志，加载到数据平台大数据区,HDFS,指定目录，,MR,程序加工处理,开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区,处理对象,实现技术,实现功能,应用场景,数据资产监控大屏总体架构数据交换层大数据交换组件*内,数据资产监控大屏总体架构,数据交换层数据库数据交换组件,*内部业务系统产生的结构化数据，包括两大来源：,*零售业务数据，数据存储在,Oracle,、,SQLServer,、,MySQL,和,MongoDB,四类数据库,*互联网金融业务数据，数据存储在,MySQL,数据库,Perl,程序,数据采集，,调用,Perl,文件模块相关函数，轮询指定目录，获取数据文件,数据核查，,Perl,执行文件级数据质量检查,数据加载，调用,Hive Load,数据命令，加载到数据平台临时数据区的,Hive Table,组件以实时和批量模式实现下列功能：,数据采集，轮询,NAS,集群指定目录，获取数据文件（,LZO,压缩）,数据核查，对数据文件进行质量校验,数据加载，加载数据到临时数据区,云数据推送平台连接供应链金融系统数据库，分析供应链金融,MySQL,数据库日志，识别增量数据，存储到金融平台,NAS,存储的指定目录，金融平台加载数据文件到数据平台临时区,Hive,表,处理对象,实现技术,实现功能,应用场景,数据资产监控大屏总体架构数据交换层数据库数据交换组件*,数据资产监控大屏总体架构,数据交换层数据区数据交换组件,数据平台计算层各数据区,贴源数据区,主题数据区,集市数据区,沙盘数据区,大数据区,归档数据区,Sqoop,实现集市数据区与数据平台其他,Hadoop,数据区的数据交换,Hadoop,命令、,Hive,外部表、,MR,程序实现数据平台,Hadoop,数据区间的数据交换,组件以批量方式实现下列数据交换功能：,贴源数据区和主题数据区到集市数据区,大数据区到主题数据区和集市数据区,主题数据区、贴源数据区、集市数据区到沙盘数据区,各个数据区数据归档,数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区,处理对象,实现技术,实现功能,应用场景,数据资产监控大屏总体架构数据交换层数据区数据交换组件数据,数据资产监控大屏总体架构,流程调度层批量处理流程,批量数据处理由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,获取业务系统结构化数据，存入临时数据区,获取*内外部非结构化数据，并进行结构化处理，存入主题或集市数据区,按照贴源数据模型整合数据（标准化、数据更新,/,追加）,按照主题数据模型整合数据并生成汇总,数据加工计算后，结果交付到数据集市，支持分析类应用,数据资产监控大屏总体架构流程调度层批量处理流程批量数据处,数据资产监控大屏总体架构,流程调度层实时数据处理流程,实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”,整个处理流程由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,通过数据库数据交换组件获取增量数据，加载到实时数据区,通过大数据交换组件获取非结构化数据，并利用,Storm,处理数据，加载到实时数据区,针对实时数据区数据执行标准化处理和贴源整合,数据资产监控大屏总体架构流程调度层实时数据处理流程实时数,数据资产监控大屏总体架构,流程调度层归档数据处理流程,数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据,数据按照生命周期规划存储到归档区,Hadoop,集群，归档后原数据区删除此数据,整个处理流程由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,数据文件通过,HDFS,命令行,copyfromlocal,进行归档,贴源、主题和大数据区通过,HDFS,命令行,distcp,或自定义开发的,MR,程序执行归档,集市数据区通过,Sqoop,或数据库提供的,Hadoop,集成技术（如：外部表）执行归档,数据资产监控大屏总体架构流程调度层归档数据处理流程数据归,数据资产监控大屏总体架构,数据存储层,业务系统前日增量数据,缓存数据，支持后续,ELT,数据处理,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,平台要求,贴源数据模型,保存最近,7,天数据,贴源数据区和主题数据区批量作业访问,无最终用户访问,I/O,敏感，连续小批量的数据抽取和加载,少量量数据使用,Hive,的,Load,命令，大量数据使用,MR,程序,与主题区,/,贴源区,/,集市区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,主题数据区、集市数据区和沙盘演练数据区批量作业访问,无最终用户访问,I/O,敏感，日终批量,ETL,以,ELT,形式通过,Hive SQL,执行,与主题区,/,贴源区,/,集市区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,贴源数据模型,不保存历史,业务系统前日快照数据和一段时间的流水数据,数据标准化，为后续主题模型、集市和沙盘演练提供数据,临时数据区,贴源数据区,数据资产监控大屏总体架构数据存储层业务系统前日增量数据数,数据资产监控大屏总体架构,数据存储层（续）,*内外部非结构化、半结构化数据,采集并存储数据，进行结构化处理，最终得到结构化数据,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,平台要求,数据按照,HDFS,文件存储,建议保留,1,年,集市区,/,沙盘区,/,增值产品区,/,主题区,/,归档区批量作业访问,少量高级业务人员进行大数据分析,MapReduce,分布式计算，半,/,非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）,与主题区,/,贴源区构成一个,Hadoop,集群（,HDFS,）,无单点故障，,724,小时,+,非工作日有限停机,集市区,/,沙盘区,/,增值产品区,/,主题区,/,高时效区批量作业访问,业务人员执行历史数据查询,MapReduce,分布式计算，,HDFS,命令实现,Hadoop,集群内归档，,Sqoop,实现数据库归档，通过,Hive,提供历史查询,独立的,Hadoop,集群（,HDFS+Hive,）,无单点故障，,724,小时,+,非工作日有限停机,数据按照,HDFS,文件存储,数据文件按照数据区划分目录，建议保留,7,年,其他各数据区历史数据,按数据生命周期规划归档平台过期数据，支撑历史数据查询,大数据区,历史归档数据区,数据资产监控大屏总体架构数据存储层（续）*内外部非结,数据资产监控大屏总体架构,数据存储层（续）,业务系统历史明细数据,打破业务条线整合数据,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,第三范式模型,保留长期历史，需要根据主题细化,主题区,/,集市区,/,沙盘区,/,增值产品区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，日终批量,ETL,（合并、拉链、关联、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,与大数据区,/,贴源区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,集市区,/,沙盘区,/,增值产品区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，日终批量,ETL,（连接、聚合、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,与大数据区,/,贴源区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,逆范式宽表,依赖于集市数据需求,对主题数据预加工后的结果数据,针对应用需求进行数据预连接、预汇总，为集市提供数据,主题数据区,明细,主题数据区,汇总,数据资产监控大屏总体架构数据存储层（续）业务系统历史明细,数据资产监控大屏总体架构,数据存储层（续）,按沙盘演练需求，准备的明细或汇总业务数据,为数据科学家的挖掘预测操作提供数据服务,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,模型依赖于沙盘演练需求,在整个沙盘演练周期内保留,集市区,/,沙盘区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，终批量,ETL,（合并、拉链、关联、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,独立的,Hadoop,集群（,HDFS,）,无单点故障，,724,小时,+,非工作日有限停机,沙盘区,/,归档区批量作业访问,决策人员、管理人员、业务人员访问,I/O,敏感型，,BI,工具提交的报表、查询、分析,SQL,命令和日终批量,ETL,（汇总、聚集等操作，以,ELT,形式通过,SQL,执行）,基于开放平台的完全无共享,MPP,数据库集群,+,内存数据库,无单点故障，,724,小时,+,非工作日有限停机,维度数据模型,依赖业务需求,面向*内部管理分析类应用需求的汇总数据,为客户、运营等管理分析主题和数据增值产品提供数据服务,沙盘演练数据区,应用集市数据区,数据资产监控大屏总体架构数据存储层（续）按沙盘演练需求，,数据资产监控大屏总体架构,数据存储层（续）,根据外部用户的数据使用需求数据平台加工计算的结果数据,为部署在数据平台上的*内外部增值产品提供数据支持,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,应用模型，依赖于用户业务需求,依赖于,用户业务需求,*外部人员，如：京东客户,通过自己部署在,Paas,平台上的应用访问,I/O,敏感型，,BI,工具提交的报表、查询、分析,SQL,命令和日终批量,ETL,（汇总、聚集等操作，以,ELT,形式通过,SQL,执行）,独立的,Paas,平台，部署,Hadoop,集群,无单点故障，,724,小时,+,非工作日有限停机,*业务人员,高时效、高并发、高可靠性的联机交易类查询,CPU,敏感，,BI,工具或业务系统高并发、高时效查询，以及准实时连续,ETL,处理,+SQL,批量处理,独立的内存数据库集群,无单点故障，,36524,小时不停机,贴源数据模型,依赖用户业务需求,面向应用的业务系统快照数据和一段时间的交易流水,为实时获准实时分析应用提供数据服务,增值产品数据区,实时数据区,数据资产监控大屏总体架构数据存储层（续）根据外部用户的数,数据资产监控大屏总体架构,数据存储层数据流,数据集成层,操作型聚合数据,临时数据区,实时数据区,公共汇总数据,主题明细数据,结构化数据,非结构化,&,半结构化数据,沙盘演练数据区,实验室数据,集市数据区,POP,自营数据,贴源数据区,金融业务数据,主题数据区,客户管理集市,财务管理集市,运营管理集市,风险管理集市,集市,大物流系统数据,供应链系统数据,财务审计数据,财务研发数据,操作型明细据,归档数据区,大数据区,源系统,数据文件,贴源数据,主题数据,集市数据,高时效,数据,大数据,增值产品数据区,数据资产监控大屏总体架构数据存储层数据流数据集成层操作型,数据资产监控大屏总体架构,数据应用层,大数据,平台应用,针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用,历史查询类应用通常使用,BI,工具或自主开发实现,客户经理等最终业务人员针对当前业务的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用,管理分析类应用主要实现了集团客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能,管理分析类应用通常采用套装软件和,BI,工具（,MicroStrategy,等）实现,业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果,沙盘演练类应用通常使用,R,语言在,Hadoop,分布式体系下实现,*数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品,数据增值产品通常采用,R,语言和,BI,工具实现，面向*内外部用户,管理分析类应用,1,沙盘演练类应用,3,历史查询类应用,4,高时效类分析应用,5,数据增值类产品,2,实时分析类应用通常使用,CEP,、,ESB,等技术实现,数据资产监控大屏总体架构数据应用层大数据针对公检法查询需,数据资产监控大屏总体架构,平台,发展不同阶段对应应用,工作负载复杂度,大数据平台发展阶段划分,操作为主阶段,什么正在发生？,动态数据仓库阶段,让正确的事情发生！,分析为主阶段,为什么会发生,报表为主阶段,发生了什么,预测为主阶段,将会发生什么？,批量,随机查询,数据分析,持续更新加载,/,短查询,基于事件的动态触发,数据量增长,用户数增长,查询复杂度增长,ETL,处理复杂度增长,管理分析类应用,历史查询类应用,实时分析类应用,沙盘演练类应用,数据增值类产品,数据资产监控大屏总体架构平台发展不同阶段对应应用工作负载,数据资产监控大屏总体架构,管理分析类应用,总账分析,资产负债表分析,损益表分析,现金流量表分析,财务指标分析,盈利分析,机构贡献度,产品贡献度,客户细分贡献度,渠道绩效,资产负债分析,主要指标报告，如：,净利息收入、净收入、,净现值、市场价值等,头寸报告,现金流报告,风险价值（,VaR,）计算,财务预算与计划,财务预算,财务计划执行监控,执行过程分析,年末财务计划执行分析,预测与场景分析,业务规模预测,收益预测,领导管理驾驶舱,机构绩效考核,客户经理考核,客户经理工作量评估,客户经理服务客户收益评估,产品绩效考核,业务量考核,供应链金融业务,人人贷业务,保理业务,基金业务,其它中间业务,渠道成本与收益,风险监控报表,/,信息披露,流动性报表,利率敏感性报表,资本充足率报表,市场风险,市场风险暴露值,流动性管理、利率管理,信用风险,信用风险暴露值计算,信用风险控制,（贷前控制、贷中监控、贷后分析）,操作风险,异常交易预警,后督差错检查,防欺诈,/,反洗钱,定义欺诈交易模型,可能性欺诈交易预警,欺诈交易分布分析,全面风险管理,目前监管机构没有明确要求,客户单一视图,公司客户信息管理,个人客户信息管理,同业客户信息管理,目标客户搜索,重点客户,关怀客户,风险客户,异动客户,客户细分,个人客户细分,公司客户细分,客户行为分析,客户轮廓分析,产品交叉销售分析,百分比分析,渠道偏好分析,营销活动管理,营销活动规划,营销活动定义,营销活动执行,营销活动苹果,营销活动自动化,渠道接口与集成,流程自动化,客户管理,运营,管理,财务管理,风险管理,监管披露,示例,数据资产监控大屏总体架构管理分析类应用总账分析领导管理驾,数据资产监控大屏总体架构,数据访问层,即席查询：,通过即席查询工具,或手工书写,SQL,语句，,完成业务信息的即席查看,多维分析：,从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等,主动问题发现：,通过事件触发、规则匹配等方式发现*运营中的问题，通过手机、邮件等方式报警,决策层,管理层,业务人员,即席查询,静态报表,多维分析,仪表盘,挖掘预测,仪表盘,：,通过仪表盘及其它展现方式对,*,关键绩效指标进行展示，为领导层决策提供直观的数据支持,静态,报表：,按照预先定义格式，批处理报表，在线查询报表等,Office,集成,：,将分析应用嵌入到,Office,界面中，利用,Office,的方便、易用特性，降低用户使用难度,问题发现,Office,集成,Web,服务,挖掘,预测,：,使用专业的软件工具，,通过数理统计等高级统计分析,算法,，,分析结构化、非结构化数据，,通过数据模型去挖掘隐藏在数据中的价值,数据科学家,业务系统,Web,服务,：,将分析应用的功能发布为,Web,服务，注册在*服务总线上，供其它业务系统或分析应用调用，获取分析结果,多种展现形式满足各层级用户及应用系统使用需求,数据资产监控大屏总体架构数据访问层即席查询：通过即席查询,数据资产监控大屏总体架构,数据管控层,金融数据管控体系涵盖,组织架构、评价与考核、管控流程、管控平台,四个域。,数据标准管理,数据质量管理,元数据管理,工作流管理,组织,数据与信息标准化委员会,数据管理人,数据所有人,数据生产人,数据使用人,IT,支持团队,考核指标,责任评价,标准执行评价,政策执行评价,评价标准,数据类型,数据格式,业务分类,真实性定义,及时性定义,完整性定义,技术元数据,流程,评价与考核流程,考核指标,建立,/,维护流程,标准建立,/,维护流程,组织建立,/,维护流程,评价,与,考核,业务含义,一致性定义,数据认责,平台,安全等级,权限定义,数据停用,数据共享,数据移动,数据存储,数据创建,业务元数据,管理元数据,数据全生命周期,数据安全管理,数据标准,数据质量,元数据,数据安全,审计定义,保留策略,数据资产监控大屏总体架构数据管控层金融数据管控体系涵盖组,数据资产监控大屏总体架构,数据管控体系内部运转机制,管控组织,数据管控委员会,数据所有人,数据认责人,IT,支持,管控,流程,数据接入,流程,数据变更流程,数据授权流程,数据退役流程,标准,/,政策制定流程,评价考核,流程,评价与考核,标准（数据标准、质量要求、安全要求）,遵守标准所需要的政策,政策与标准遵从考评定义,数据产生者,数据使用者,流程支撑,流程支撑,制,定,管控平台,工具,支撑,明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。,考,评,制定,通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。,规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。,采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。,管控综合,管理,标准,/,规范管理,流程管理,考核仪表盘,元数据管理,业务元数据管理,技术元数据管理,管理元数据分析,数据质量管理,稽核规则管理,数据稽核,质量报告,工具,支撑,组织架构、评价与考核、管控流程、管控工具,这四个域相互作用、相互支撑，提供对各信息系统数据的管控。,数据资产监控大屏总体架构数据管控体系内部运转机制管控组织,数据资产监控大屏总体架构,数据管控组织,数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。,数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。,典型的数据管控组织如下所示：,数据管控负责部门,岗位,角色,数据管控主导方,信息管理委员会,数据,标准,管理,员,数据,质量,管理,员,数据产生部门,数据管控参与方,业务,协调,人,数据,分析,员,数据主管,数据,使用,部门,业务,协调,人,数据,分析,员,数据主管,数据,拥有,部门,业务,协调,人,数据,分析,员,数据主管,数据,管理,部门,运维组织,实施项目组,数据,安全,管理,员,数据管控经理,元数,据管,理员,数据资产监控大屏总体架构数据管控组织数据管控组织是数据管,数据资产监控大屏总体架构,数据标准管理,消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。,数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。,数据标准建立和维护,数据分类,数据结构,关键业务对象,关键代码,数据维度,代码映射,客户类,数据标准,产品类,数据标准,。类,数据标准,数据标准执行,数据标准管理的考评,定性考评,定量考评,数据标准,分析报告,数据标准理念推广,归档系统,ODS,数据资产监控大屏总体架构数据标准管理消除一数多义，提升数,数据资产监控大屏总体架构,数据质量管理,数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：,数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；,数据质量考评，对数据质量的量化评价,制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量,数据质量要求,业务规则,数据一致性要求,数据完整性要求,数据唯一性要求,数据准确性要求,数据及时性要求,数据质量,标准,数据质量,验证规则,数据质量,考核指标,数据质量提升,数据补录,手工修正,自动修正,数据质量考评,数据质量监控,不定期数据质量检查,数据质量,分析报告,数据资产监控大屏总体架构数据质量管理数据质量管理框架蓝图,数据资产监控大屏总体架构,元数据管理,业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述,管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息,技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述,数据资产监控大屏总体架构元数据管理业务元数据：面向业务人,数据资产监控大屏总体架构,数据安全管理,数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：,数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。,数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。,数据安全分级,数据敏感度,数据安全,等级定义,数据访问授权,数据重要性,数据使用需求,数据使用者权责,数据访问,授权规则,安全技术,数据资产监控大屏总体架构数据安全管理数据安全管理可分为数,数据资产监控大屏总体架构,高阶工作流程,业务数据规划管理高阶流程,数据认责流程,数据治理考核体系,数据治理考核流程,数据治理考核指标体系,数据标准管理管理高阶流程,数据标准建立流程,数据标准维护流程,数据质量管理管理高阶流程,数据质量要求确定流程,元数据管理高阶流程,元数据变更流程,数据安全管理管理高阶流程,数据安全审批流程,数据认责流程,数据标准、质量、元数据、安全管理流程,协调会议,考核流程,数据资产监控大屏总体架构高阶工作流程业务数据规划管理高阶,数据资产监控大屏总体架构,数据管控平台,数据,管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口,首页,标准管理,主,菜,单,指,标,速,递,待,办,事,项,信,息,地,图,标,准,浏,览,标,准,维,护,工作管理,流,程,管,理,绩,效,指,标,系统管理,用,户,管,理,权,限,管,理,规,范,管,理,数据管控平台统一用户集成界面,数据标准知识库,数据管控平台知识库,元数据管理,元,数,据,采,集,元数据知识库,质量管理,规,则,配,置,质量稽核库,数据,层,应用层,展现层,数据资产监控大屏总体架构数据管控平台数据管控平台从总体上,数据资产监控大屏总体产品框架,非结构化,/,半结构化数据,管理分析平台,（,X86 MPP,集群）,京东业务系统结构化数据,基础计算平台（贴源数据区,+,主题数据区,+,大数据区）,（,Hadoop,集群,+Hive,）,数据交换平台,（自主开发交换组件,+NAS,存储）,实时分析平台,（内存数据库）,沙盘演练平台,（,Hadoop,集群）,数据管控平台,FTP,SFTP/HTTP/API,Copyfromloal,Queue,京东云,数据推送平台,增值产品平台,（,Hadoop,集群）,历史归档查询平台,（,Hadoop,集群,+Hive,）,Load,（,Hive,）,Distcp,HQL+Load,Distcp,Distcp,HQL+Load,Distcp,HQL+Load,Sqoop,Sqoop,Sqoop,MR,流程调度平台,数据资产监控大屏总体产品框架非结构化/半结构化数据管理分析平,金融数据资产监控大屏一期架构,基础计算平台：,基于,Hadoop,集群构建，按照业务条线、以贴源数据模型存储了业务系统明细数据,数据交换平台：,NAS,集群实现了进出数据平台数据的暂存，业务数据交换组件实现了业务系统每日增量数据加载，数据区数据交换组件实现了基础计算平台与管理分析平台间的数据交换,流程调度平台：,自主开发的流程调度引擎实现整个数据平台的数据处理任务调度和运行,管理分析平台：,由,X86,分析型数据库集群、,BI,软件,1J2EE,应用构成，实现了面向应用的数据加工、管理、分析服务,实时分析平台,：由高档,X86,服务器组成的集群，实现高时效、高并发的实时、准实时类管理分析需求,金融数据资产监控大屏一期架构基础计算平台：基于Hadoop集,数据交换平台,平台逻辑架构,POP,金融数据资产监控大屏,NAS,集群,物流,财务,供应链,人人贷,云数据推送平台,云数据推送平台实现源系统数据一次获取获、按需分发。,平台采用,GoldenGate,、,JBUS,、,Flume,等技术获取增量数据，存储在,MySQL,集群,平台按照接口规范生成文件，,LZO,压缩后，通过,FTP,传输到,NAS,指定目录,数据交换平台由,FTP,服务器、加载服务器和,NAS,存储组成，完成业务系统数据的获取、加载和归档,FTP,服务器：利用,LVS,构成的,FTP,集群，接收云数据推送平台处理后的数据，存储在,NAS,集群的指定目录,加载服务器：部署,ETL,任务，实,现,指定目录的文件到达监控、文件级检核、数据加载（,Hive Load,）到临时数据区，同时归档（,copyfromlocal,）历史数据区,NAS,集群：按照日期和源系统划分目录，缓存数据，支持日常数据交换和,ETL,LVS,集群：,FTP,服务器,#3,加载服务器,#1,文件加载,文件归档,文件到达事件监控,文件级检核,加载服务器,#4,文件加载,文件归档,文件到达事件监控,文件级检核,LVS,集群：,FTP,服务器,#1,LVS,集群：负载均衡服务器,数据交换平台 平台逻辑架构POP金融数据资产监控大屏NA,数据交换平台,参与方责任划分,设计并实施,云,数据推送平台；,按照*接口定义，抽取业务系统数据；,按照*接口规范要求，按时生成数据文件、控制文件和,DDL,文件，并通过,FTP,传输到,NAS,指定目录；,若源系统有变更，则要求在变更前提供变更内容说明，升级平台版本，根据*更新接口规范提供数据,；,应及时解决接口数据提供过程中出现的问题；,对于未尽事宜，应同*协商解决。,云计算,安装部署*数据资产监控大屏物理环境、应用软件，并进行基础设施运维；,在业务系统数据库服务器安装并部署云数据推送平台客户端，并提供数据库访问。,运维部门,制定接口规范，并提交给云数据推送项目组；,梳理业务系统数据字典，制定接口定义，并提交给云数据推送项目组；,开发数据交换组件，从,NAS,获取数据并处理；,对接收的数据提供验证功能，并返回验证结果到云数据推送平台；,根据云数据推送平台提交的变更通知修改接口定义和数据交换组件；,对于未尽事宜，应同云计算方协商解决。,*,针对*需求，指定接口人、提供文档；,业务系统因版本升级等原因导致数据模型发生变化，及时通知,云数据推送平台,接口责任人。,研发部门,数据交换平台 参与方责任划分设计并实施云数据推送平台；云,数据交换平台,业务系统数据抽取实现方式,每张源系统表都对应一个独立的数据接口,数据接口由数据文件和控制文件构成（文件命名和具体内容参见接口规范）,文件统一采用,UTF-8,编码，统一存在在,JSS,指定目录（参见接口规范）,如果在抽取周期内没有数据变更，,云数据推送平台,应该生成空的数据接口,传输方式,FTP,传输，利用,LVS,技术构建,FTP,集群，接收数据,传输频率,云数据推送平台,通常按照,T+1,频率为*提供数据，具体频率要求参见接口定义,接口处理模式,云数据推送平台根据不同接口单元定义，准备数据、生成接口数据文件；,云数据推送平台根据接口规范生成相应的接口控制文件；,云数据推送平台压缩数据（,LZO,），并通过,FTP,将数据接口存入,NAS,指定目录；,金融数据资产监控大屏部署在不同加载服务器上的数据交换组件完成：,定时轮询,NAS,指定目录，获取接口（包括数据文件、控制文件和,DDL,文件）；,执行文件级检核；,通过检核后，,将数据文件和控制文件移动到,NAS,集群指定目录，触发后续,ETL,处理,；,在,Task Automation,调度下执行数据加载和,数据归档任务,。,数据交换平台 业务系统数据抽取实现方式每张源系统表都对应,数据交换平台,平台部署架构,数据交换平台由,8,台,X86,服务器和一个,NAS,集群构成,X86,服务器按照功能分为,2,组，一组实现数据获取，一组实现数据加载和归档,NAS,集群作为公共数据区，由,8,台服务器共享访问（读写）,Python runtime,Python JSS Module,FTP,Redhat Linux,LVS,服务器,4,HDFS Client,Hive,加载任务,归档任务,Redhat Linux,加载服务器,1,HDFS Client,Hive,加载任务,归档任务,Redhat Linux,加载服务器,4,LAN,Python runtime,Python JSS Module,LVS,Redhat Linux,LVS,服务器,1,NAS,集群,负责源系统数据文件加载和归档,每台服务器负责多个源系统,支持按需扩展,/,减少服务器,LVS1,负载均衡,其它,LVS,服务器负责接收接口文件，写入,NAS,集群目录,支持按需扩展,/,减少服务器,部署数据交换平台和流程调度平台程序，各服务器通过文件链接使用,按日期和源系统建立数据目录，缓存每日接口文件，供交换平台访问,数据交换平台 平台部署架构数据交换平台由8台X86服务器,流程调度平台,平台逻辑架构,Task Automation,驱动各个平台、实现从数据存入,NAS,平台到数据集市生成整个处理过程的工作流管理,数据交换平台负责数据抽取、文件级质量检核、调用,Hive Load,加载数据,基础计算平台使用,Hive SQL,实现贴源数据整合、公共汇总