技术培训-建模培训与实战

,单击此处编辑母版标题样式,单击此处编辑母版副标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2011/1/7,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2011/1/7,#,单击此处编辑母版文本样式,第二级,第三级,单击此处编辑母版标题样式,数据仓库建模培训与,实战,用,友华表软件技术有限公司,BI,咨询顾问 马,鹏程,2010,年,1,月,1,日,需求分析,仓库建模,ETL,BQ,展现,目录,为什么建模？,工具用什么？,模型怎么建？,模型怎么用？,模型是什么？,指标落地,数据存储与集中机制,方案中的,指标,与,维度,数据库中的,模型,数据获取,指标展现,BQ,中的,分析界面,模型是什么？,没有落地的指标,没有落地的指标,是浮云,可见而不可及,建模的价值？,一个图纸到实体验证的过程,一,个凝聚,IT,与行业经验的过程,（企业个性与行业积累）,为企业高端决策打下基础的过程,为企业,IT,规划打下基础的过程,目录,为什么建模,？,工具用什么？,模型怎么建？,模型怎么用？,建模工具有哪些？,主流建模工具：,Sybase,PowerDesigner,（数据库建模专业工具）,CA Erwin,（数据库,/,仓库建模专业工具）,IBM Rational(,软件工程建模专业工具,),Microsoft Office Visio,（综合性工具）,Sybase PowerDesigner,15-,安装运行信息,安装路径：,安装过程：,选择安装路径后，默认下一步即可,产品,注册,：,复制,压缩包中的“,pdflm15.dll,”,到安装目录覆盖同名文件！,运行,程序，点击,Tools-License Parameters-Standalone Seat-Local License,导入压缩包中的,license.lic,注册授权文件,！,产品运行：,开始,-Sybase-PowerDesigner 15-PowerDesigner,Sybase PowerDesigner,15,新建工程,File-New Project,新建工程，选择工程存放目录及工程名称,Sybase PowerDesigner 15,使用入门,新建一个模型：,File=New Model,可创建概念模型、逻辑模型、物理模型,目录,为什么建模,？,工具用什么？,模型怎么建？,模型怎么用？,2.1,模型怎么建,-,需求分析,需求分析,逻辑模型,导出验证,物理模型,概念模型,需求归类、分析共性,找出指标、维度、参数,分析源数据与目标结果之间差异,字段差异，数据粒度差异等,包含字段：,公司、客户、部门、地区、人员、时间、单据类型、单价、金额等字段,数据粒度：,数据粒度以周为分析单位,源数据与目标数据差异：,数据字段多，且粒度更细,分析的目标是什么？,分析的源头是什么？,2.2,模型怎么建,-,概念,模型,-,确定主题,1,、根据业务场景分析主题，每个主题下再根据分析场景进行分类：,财务主题,-,应收应付分析,2,、明确,数据仓库的分析对象，然后对每个主题的内容进行较详细的描述，包括：,确定主题及其属性信息,描述每个属性的取值情况,固定不变的,半固定的,经常变化的,确定主题的公共码键,主题间的关系：主题间联系及其,属性,需求,分析,逻辑,模型,导出,验证,物理,模型,概念,模型,分析,主题,实体,模型,2.3,模型怎么建,-,概念,模型,-E-R,模型,需求,分析,逻辑,模型,导出,验证,物理,模型,概念,模型,分析,主题,实体,模型,应收明细,公司,部门,员工,单据类型,存货,地区,实体模型：,万物皆实体，应收应付的单据，公司、客户、销售员都是一个实体，而每个实体之间有很多关联关系。,实体关系：,一对一、一对多、多对一、多对多,2.4,模型怎么建,-,概念,模型,-,实战,需求,分析,逻辑,模型,导出,验证,物理,模型,概念,模型,分析,主题,实体,模型,第一步：,Project,上右单击,-New-Conceptual Data Model,第二步：输入模型名称,第三步：添加实体,第四步：双击实体，添加实体的属性字段信息,第五步：添加实体间关系,2.5,模型怎么建,-,逻辑模型,-,星型模型,需求,分析,逻辑,模型,导出,验证,物理,模型,概念,模型,星型,模型,数据,粒度,时间,ID,销售,事实表,单价,金额,数量,“Fact Table”,事实,表,市场,ID,产品,ID,行业,ID,产品维,包装,品牌,产品,描述,Dimension Table,时间,ID,年,日,时间维,Dimension Table,行业维,行业描述,行业名称,行业,ID,Dimension Table,市场,ID,地区维,区域类型,区域名称,市场描述,Dimension Table,产品链,部门,类型,产品类型,ID,行业类型,月,产品,ID,产品类型,ID,2.6,模型怎么建,-,逻辑模型,-,数据粒度,在设计过程中需要考虑数据仓库中数据粒度的划分原则，即数据单元的详细程度和级别。,数据越详细，粒度越小，级别就越低,数据综合度越高，粒度越大，级别就越高,。,一般将数据划分为：,详细数据、轻度总结、高度总结,三种粒度，或者采用更多级的粒度划分方法。例如：,根据时间跨度进行的统计有：天，周，月，季度，年,对于不适合进行统计的属性值，可以采样获取数据,粒度的划分将直接影响到数据仓库中的数据量以及所适合的查询类型，粒度划分是否适当是影响数据仓库性能的一个重要方面。,需求,分析,逻辑,模型,导出,验证,物理,模型,概念,模型,星型,模型,数据,粒度,数据粒度举例：,永和大王：,180,家门店，,6,个餐段，,120,个菜品，,6,中交易方式，,3,中套餐模式,财务,想看全年每天各门店的销售额：,365*180=,64800,条数据,运营,想看一个细化到每天小时级别的多维分析：,3(,年,)*365,(,天,)*24(,小时,)*6(,交易方式,)*180(,家门店,)*120(,菜品,),=,3405888000,条数据,2.7,模型怎么建,-,物理模型,-,实战,需求分析,逻辑模型,导出验证,物理模型,概念模型,Tool-Generate Physical Data Model,通过逻辑模型 生成物理模型,注意,:,要选择数据库类型,DBMS,：,SqlServer 2005,2.8,模型怎么建,-,导出验证,-,脚本导出,需求分析,逻辑模型,导出验证,物理模型,概念模型,Model-Properties-Preview-Save,得到自动生成脚本并保存,2.9,模型怎么建,-,导出验证,-,数据库创建模型,需求分析,逻辑模型,导出验证,物理模型,概念模型,数据库导入脚本并运行,2.10,模型怎么建,-,物理模型,-,海量数据优化,需求分析,逻辑模型,导出验证,物理模型,概念模型,引入冗余：,适当冗余数据，减少检索次数及关联表,多放一些你需要的豆子,建立,数据序列：,按顺序摆放的数据，查询性能更,高,把豆子按大小个排序,表的物理,分割：,将大表分库、分区、分表，提高查询效率,把豆子分类摆放,建立索引：,有效的索引，提高查询命中率,把你需要的豆子标识上不同的颜色或者编号,如何在一堆豆子中,找到你需要的那颗？,四步成型：实际项目中的操作方式,1,、选择业务过程：,一,个分析的业务环节或者一个需求点,2,、声明粒度：,决定了数据汇总的高度，决定了数据量，和汇总层次,3,、识别维度：,分析数据的角度有哪些,4,、识别事实：,分析的指标数值有哪些,目录,为什么建模？,工具用什么？,模型怎么建？,模型怎么用？,模型怎么用,指导,ETL,开发：,ETL,的数据目标,通过历史数据验证优化：,验证模型，分析过往,