大数据基础平台建设解决方案课件

,#,大数据基础平台建,设,方法,大数据基础平台建设方法,1,目录,大数,据,建,设,目,的及,建,设方式,大数据方,案解读,产品运行效果展示,目录大数据建设目的及建设方式大数据方案解读,2,企业内,部,的各,种,应用系,统,相互,独,立，企,业,应用,系,统没有,统,一的,入,口，一名,员工,拥,有,多个,账,户,个,人,业,务,相,关,信,息缺乏,集,中展,现,的地方,，,员工,需,要不断,在,各种,系,统之间频 繁切换,企业中,的,基础,数,据和主,要,数据,有,在不同,的,系统,中,都是重,复,，混,乱,的，没有 统一的,入,口,企业无,法,快速,，,准确的,获,取下,属,企业的,信,息，,并,对下属,企,业进,行,有效管理,信息化建设障碍,企业内部的各种应用系统相互独立，企业应用系统没有统一的入口，,3,社会 化编 码库,组织管理,编码历史,高速缓存,大数据管理平台,编码规,则,访问服,务,编码库,编码审批访问权限,企业统一元数据,资产管理,NC-ERP,项目管理,其他系统,G,IS,大数据：,指系统间共享数据（例如，客户、供应商、物资和组织部门相关数据）， 与记录业务活动，波动较大的交易数据相,比,，大数据（也称基准数据）变化缓慢,要点,：,唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理,大数据管理,社会 化编 码库组织管理编码历史高速缓存大数据管理平台资产管,4,大数据管,理,所解决的问题,一物一码,同一个,对,象（人,、,物、单,位,等）在,不,同系统,中,的统 一标识,核心信息的权威化,专门的,维,护点、,审,核点,创建流,程,、变更,流,程的记录,扩展信息的完善管理机制,企业规范的合法化,为,IT,部,门进行,整,合提,供,技术,基,础,大数据管理所解决的问题一物一码同一个对象（人、物、单,5,大数据管,理,的实质,大数据,基,本档案,可,根据需要挂接审,批,流程的,可,供多个,异,构系统,共,享的,可,通过封,装,服务访,问的,大数据管理的实质大数据基本档案可根据需要挂接审 批流程的可供,6,目录,大数,据,建,设,目,的及,建,设方式,大数据方,案解读,产品运行效果展示,目录大数据建设目的及建设方式大数据方案解读,7,大数据标,准,解决方案组成,编码,规,则,数据,清,理方案,接入,系,统改,造,方案,管哪些东西，都是什么样子的东西,都有谁要用这些数据，怎么用,企业,服,务规范,以前遗留下的数据怎么按编码规则迁移过来,要用这些数据的人怎么样才能拿到想要的东西,大数据标准解决方案组成编码规则数据清理方案接入系,8,第一部,分,编码规范,第一部分编码规范,9,编码规范的内容,管理,对,象,编码,体,系,编码规范的内容管理对象,10,管理对象的定义方式,基于各信息系统信息处理的需要，以减少对 信息的重复采集、加工和存储为目的，进行,管理对象的选择。,最直接特征：,需要在多个系统中出现,管理者与使用者分离,常见需要大数据管理的对象有,组织机构、人员、用户,客商、物料（货品）,项目等关联型业务数据,其它用户所需要管理的核心数据,管理对象的定义方式 基于各信息系统信息处理的需要，以减少对,11,编码体系,常用,编,码形式,分,类码、,顺,序码、,组,合码,单维,度,分类,码,与多,维,度复,合,编码,编码体系单维度分类码与多维度复合编码,12,编码体系差异及选择,薄膜 衣片,单维度分类码,10,0,00,6,01,3,44,西药,编码部分：,A000001567,属性部分：,血液 系统,多维,度,用,药,复合码,物,通用名,*,剂型,*,药品批,号,*,类型,甲钴胺 片,薄膜衣 片,国药准字,H20051440,血液系统用药物,缺陷：,弹性较差，个别类目上的代码改 变时会影响其他编码；,层次较多时，代码位数较长；,扩展性差，不利于增加新的描述,分类；,编,A,码,：,总,西,长,药,度过长。,后,9,位为顺序,码,编码体系差异及选择薄膜 衣片单维度分类码编码部分： A000,13,编码体系构成,编码,、,属性,属性,包,括：,唯,一性,、,共享,分,类,属性,填,写要求,序号,名称,定义,1,原料药,按照集团统一编码系统的相关,约定设置该分类。,2,片剂,(,非包衣片、,素片、压制片,),，浸膏,片,按照集团统一编码系统的相关,约定设置该分类。,3,糖衣片,按照集团统一编码系统的相关,约定设置该分类。,4,咀嚼片，糖片，异,型片，糖胶片,按照集团统一编码系统的相关,约定设置该分类。,5,肠溶片,(,肠衣片,),按照集团统一编码系统的相关,约定设置该分类。,6,调释片，缓释片，,控释片，长效片,按照集团统一编码系统的相关,约定设置该分类。,7,泡腾片,按照集团统一编码系统的相关,约定设置该分类。,8,舌下片,按照集团统一编码系统的相关,约定设置该分类。,9,含片，漱口片,(,含,漱片,),，,喉,症片,(,喉,片,),，,口腔粘附片,按照集团统一编码系统的相关,约定设置该分类。,编码体系构成编码、属性属性包括：唯一性、共享分类,14,第二部,分,企业服务规范,第二部分企业服务规范,15,企业服务规范的内容,大数据平台,接入业务系统,企业,服务总,线,ESB,触发各类事件（审核完成、数据调整等）,影响因素：是否存在需,标准。,影响因素：是否有新增、 删除、修改数据的权利,调用平台所提供的各类服务,响应平台所触发各类事件,使用大数据管,理,对,提,供,象,各,类,的,服,务,系,（,统,查询,、,=,申,报,接,、,变,入,更,业,等,）,务,系,统,对于,大,数据,管理,平,台,与接,入,业务,系,要,统,进,行,之,主,观,间,判,断,进,的,行,填写,数据交换方式的规,定,，就是企业服务规范,企业服务规范的内容大数据平台企业服务总线 ESB触发各类事件,16,制定企业服务规范的步骤,分析,系,统数,据,交换,形,式及,流,程,根据分析结果确定,服,务及事件清单,综合编码规范确定,服,务及事件的输入输出,内容,制定企业服务规范的步骤分析系统数据交换形式及流程根据,17,场景样例,1,某集团,，下,属,200,多,家分子公司，其中包括 子集团,集团总公司对于子公司无法全权控制，系统,形态较多，信息化供应商情况复杂,集团在,进行整,体,BI,分,析，部分企业直接通过,ET,L,挖掘数据,，部分企业使用手工上报平台进,行上报,分子公司多业态，业务开展相对独立。业务 系统偏重点不同。,集团设置质量部负责货品以及客商的有效性,集团设置运营部负责货品及客商统计维度类 别划分,场景样例1某集团，下属200多家分子公司，其中包括 子集,18,特征分析,分子公司存在异构系统，不可统一,允许分子公司直接增加数据,分子公司增加的数据需要集团进行核准,集团对于数据的核准不能影响分子公司 业务的开展,特征分析分子公司存在异构系统，不可统一允许分子公司直,19,常见数据交换形式,1,：多点维护、统一认证,集团大数,据管理系 统,服务 提供 组件,事件 触发 组件,客商 信息 管理人,客商,分子公司 信息,ER,P,系统一 使用人,大数据 编码库,分子公司,ER,P,系统二,分子公司,ER,P,系统三,常见数据交换形式1：多点维护、统一认证服务 提供 组件事件,20,常见数据交换形式,1,：多点维护、统一认证,集团大数,据管理系 统,服务 提供 组件,事件 触发 组件,客商 信息 管理人,客商,分子公司 信息,ER,P,系统一 使用人,大数据 编码库,分子公司,ER,P,系统二,分子公司,ER,P,系统三,常见数据交换形式1：多点维护、统一认证服务 提供 组件事件,21,数据交换形式,1,数据流程分析,业务系统,主数据服务总线,主数据流程管理平台,申报请求,申报请求处理,申报请求响应,反馈信息处理,流程启动请求,提交唯一性及正确性,属性,接收处理返回编码，保存,至本系统数据库。,使用唯一性属性在正式数据中检索,若不存在，则生成临时码，并想流程,管理平台提交申报请求。,若存在，则获取正式码及当前相关属,性。将正式码作为申报请求响应返 回。,比较当前正确性属性与申报请求中的 正确性属性，若存在差异则向流程管,理平台提交变更请求。,流程请求响应,申报审批流程,审批完成后，如审批通过，返 回正式码；如审批打回，返回,打回意见。,服务总线根据系统注册信息向,相关系统进行推送。,接收数据后，若为正常通 过，则将本系统临时码更,新为正式码；,若为审批打回，则将打回 意见通知操作者，根据打 回意见修改数据后重新进,行申报提交。,数据交换形式1数据流程分析业务系统主数据服务总线主数据流程管,22,场景样例,2,某集,团，,下,属,20,家分公,司,，,1,0,余,家控 股子,公,司,集团,总,公司,对,于分,公,司完,全,集中,控,制， 管理,系,统均,为,统一,采,购，,生,产系,统,独 立采购,企业,所,有人,员,由人,力,部门,统,一管理,客商,、,存货,数,据由,生,产、,营,销部,门,进 行录,入,，信,息,部门,进,行审核,场景样例2某集团，下属20家分公司，10余家控 股子公司,23,特征分析,整个集团中，同一功能使用相同系统,人员信息在单,一,H,R,系统中进行维护，数,据的增加由集团统一完成,客商、货品信息在大数据平台中维护， 需要多级审批，数据的增加可由下级单,位进行,在数据没有通过审核时，不允许使用,特征分析整个集团中，同一功能使用相同系统人员信息在单,24,常见数据交换形式,2,：统一维护、多点使用,集团大数,据管理系 统,服务 提供 组件,事件 触发 组件,员工 数据 管理人,员工,分子公司 数据,ER,P,系统一 使用人,大数据 编码库,分子公司,ER,P,系统二,分子公司,ER,P,系统三,常见数据交换形式2：统一维护、多点使用集团大数 据管理系 统,25,制定企业服务规范的步骤,分析,系,统数,据,交换,形,式及,流,程,根据分析结果确定,服,务及事件清单,综合编码规范确定,服,务及事件的输入输出,内容,制定企业服务规范的步骤分析系统数据交换形式及流程根据,26,样例服务列表,常见服,务,种类,查询,全,量、,增,量,申报,启,动审,批,流程,直,接加,入,数据,变更,启,动,审,批,流程,直,接修,改,数据,封存,启,动审,批,流程,直,接修,改,数据,常见事,件,种类,推送,申,报、,变,更、封存,序 号,服务编码,服务名称,服务描述,PT_M_001,GetMediTypesSrv,获取药品分类清单。,PT,_M_002,GetMediCountByTypeSrv,获取指定类别药品数量。,PT_M_003,GetMediByTypeSrv,获取指定类别药品数据,。,PT,_M_004,GetNewMediByTypeSrv,获取指定类别药品增量数,据,。返回 指定药品类别某时点后更新过的药,品数据。,PT_M_005,GetMediByCodeSrv,根据药品编码获取药品数据。,PT_C_001,GetCustTypesSrv,获取客商分类清单,PT_C_002,GetCustCountByTypeSrv,获取指定类别客商数量。,PT_C_003,GetCustByTypeSrv,获取指定类别客商数据,PT_C_004,GetNewCustByTypeSrv,获取指定类别客商增量数据,PT_C_005,GetCustByCodeSrv,根据客商编码获取客商数据,PT_G_001,GetCorpsSrv,获取公司数据,PT_G_002,GetNewCorpsSrv,获取公司增量数据,PT_G_003,GetCorpByCodeSrv,根据公司编码获取公司数据,PT_D_001,GetDeptsSrv,获取部门数据,PT_D_002,GetNewDeptsSrv,获取部门增量数据,PT_D_003,GetDeptByCodeSrv,根据部门编号获取部门数据,PT_D_004,GetDeptsByCorpSrv,获取指定公司部门数据,PT_D_005,GetNewDeptsByCorpSrv,获取指定公司部门增量数据,PT_P_001,GetPersonsCountSrv,获取人员数量,PT_P_002,GetPersonsSrv,获取人员数据,PT_P_003,GetNewPersonsSrv,获取人员增量数据,PT_P_004,GetPersonByCodeSrv,根据人员编码获取人员数据,PT_P_005,GetPersonsByCorpSrv,获取指定公司人员数据,PT_P_006,GetNewPersonsByCorpSrv,获取指定公司人员增量数据,RQ_001,ReqMediByTypeSrv,指定类别药品申报,RQ_002,ReqCustByTypeSrv,指定类别客商申报,RQ_003,ReqCorpSrv,公司申报,RQ_004,ReqDeptSrv,部门申报,样例服务列表常见服务种类序 号服务编码服务名称服务描述P,27,制定企业服务规范的步骤,分析,系,统数,据,交换,形,式及,流,程,根据分析结果确定,服,务及事件清单,综合编码规范确定,服,务及事件的输入输出,内容,制定企业服务规范的步骤分析系统数据交换形式及流程根据,28,样例服务定义,序号,数据项名称,数据项,类型,备注,1,Type,客商类别,字符,在客,商,类别,清,单中,存,在,的,客商,类,别,编码,2,Start,开始记录数,数字,3,Count,返回数量,数字,序号,数据项名称,数据项,类型,备注,1,success,成功标志位,数字,1：,成功；,0,：失败,2,errcode,错误代码,字符,成功时为空,3,message,错误信息,字符,成功时为空,4,count,数据数量,数字,客商数据集合,中,的,记,录,数,量,5,datas,客商数据,复杂类型,服,务标,识,PT_C_003,服,务名,称,获取指定类,别客,商,数据,（,G,etCu,s,tB,y,T,y,peSr,v,）,服,务描,述,获取指定类,别客,商,数据,。,与,PT_C_002,配,合使,用,获取,批,量数,据,时使,用,。,根,据客,商,类别，,返,回对,应,类别的,客,商数,据,。采用,分,页形,式,进行获,取,，调,用,方根据,通,过,PT_C_002,服务获取,的,客,商,数,量,，,确,定,调,用,本,服,务,的,次,数,。,为,防,止,一,次,性,传,输,数,据,量过,大，本服务,内置,限,定一,个,对于,返,回数,据,集合,的,数量,限,制。,现,约定,此,限制,为,1000,。,根,据输,入,的不同,客,商类,别,，返回,所,对应,的,客商数,据,格式,，,具体格,式,见客,商,数据描,述,。,输入,输出,样例服务定义数据项名称数据项类型备注1Type客商类别字符在,29,第三部,分,数据清理方案,第三部分数据清理方案,30,数据清理方案,对于,原,始数,据,的处理,及,清,理,式,具,完,成,由,于数据,规,则改变,导,致的修改,对,于不符,合,规范数,据,的清理,对,于重复记录的,原始数据数据量,一,般采用,线,下工,使用,Excel,作为,数,据,采,集,工,具,清理,药品数,据,量,类,别,数量,医疗器,械,15974,西,药,33660,中成,药,20197,方,中药,材,2927,中药饮,片,17789,食,品,322,日用,品,714,包,材,58,生物制,品,634,其,它,556,化妆,品,964,化学试,剂,3,保健,品,2102,合,计,95900,客商数,据量,类,别,数,量,药,店,16351,个,人,1302,医,院,21644,其他单,位,2171,生产,商,5300,经销,商,13893,合,计,60661,数据清理方案对于原始数据的处理及清理式具完成由于数据,31,清理流程图,用友,方,用户,方,1,。整,理,新旧大小类对照关系表,5,。全角字符筛选,，,提交,：,全角字符替换确认表,1,4,。核对药监局网,站,做数据清理,，,完成后提交,E,x,c,e,l,文,件,1,3,。问题讨论,，,整理数据清理规,则,1,2,。对排重的数据,，,合并并做新数据分,配,1,1,。分工进行数据排重,，,完成后提交,E,x,c,e,l,文,件,1,0,。试清理,讨论并制定信息属性和分,类,9,。数据清理培,训,8,。生成对应数据清,理,用的,E,x,c,e,l,文,件,3,。统计大小类数据量分析表,4,。提交数据清理分工表,2,。大小类对照,：,系统数据后台处,理,7,。全角字符替换,：,系统数据后台处,理,1,5,。将清理过的,E,x,c,e,l,文,件,导入到系统中,，,替换原有数,据,6,。确,认,全角字符替换确认表,数据清理工作流程,清理流程图用友方用户方1 。整理5 。全角字符筛选， 提交：,32,适用于：期初数据清理，日常使用中的数据合并,ID,名称,属性,A000001,康泰克,颗粒物,ID,名称,属性,合并,A000002,康泰克,2,颗粒物,A000001,1,、建立专用区域存放被清理数据,2,、在被清理数据上标明被合并目标对象,3,、被清理数据保留一定时间,可通过生存周期统计确定保留时间。,对于重复记录的处理,适用于：期初数据清理，日常使用中的数据合并ID名称属性A00,33,第四部,分,接入系统改造,第四部分接入系统改造,34,接入系统改造方案,数据,库,改造,档,案改造,属,性对照,关,系处理,用,户信息,改,造,系统,功,能改造,历,史数据,处,理,新,增数据,处,理,反,馈信息,处,理,数据推送模式,主动查询模式,接入系统改造方案数据库改造档案改造,35,接入系统档案改造建议,ID,名称,属性,A000001,康泰克,颗粒物,集团大数据对象,业务档案数据对象,(,运营大数据,系统共享数,据,),ID(,操作,码,),名称,主,ID,属性,进货地区,RRR0005003,康泰克,A000001,颗粒物,上,海,5.5,RRR0005004,康泰克,A000001,颗粒物,北,京,5.6,业务单据,业务单,据,ID,销售对象,数量,DDD0000001,RRR000500,3,500,接入系统档案改造建议ID名称属性A000001康泰克颗粒物集,36,大数据部,署,模式,管理平台对接,独,立部署模式,模,块部署,模,式,独立中间件,独立数据库,作,为,NC,模块部署,共,享,NC,基本档案数据,所有系统均通过服务与,大数据部署模式管理平台对接独立部署模式模块部署模式,37,目录,大数,据,建,设,目,的及,建,设方式,大数据方,案解读,产品运行效果展示,目录大数据建设目的及建设方式大数据方案解读,38,系统运行效果演示,大数据管,理,平台,数据初,始,化,服,务 数据日,常,申,报,服务 数据查,询,服务,数据管,理,服务 数据推,送,服务,大数据服务总线,发布方式,数据发,布,格式,接入业务系统,D,e,mo,数据无,缝,提交 数据推送,系统运行效果演示大数据管理平台 数据初始化服务 数据日常申报,39,大数据管,理,平台,大数据管理平台,40,数据服务总线,数据服务总线,41,接入系统,接入系统,42,谢谢！,谢谢！,43,