数据资源处理技术

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第七章 数据资源管理技术,7.1,企业数据处理方式,1,、联机事务处理形式处理信息,OLTP,：即联机事务处理（,OnLine Transaction Processing,），以事务处理的形式来处理信息，涉及到对要输入的信息的收集和处理，再对收集和处理的信息加以利用，去更新已有的信息。,OLTP,是事件驱动，面向应用的，基本特点：,支持日常的业务,事务驱动,面向应用,数据是当前的并在不断变化,存储详细数据,(,每一个事件或事务,),支持办事人员或行政人员 对应业务的变更频繁的存取,利用业务数据库和数据库管理系统提供支持,7.1,企业数据处理方式,2,、联机分析处理形式处理信息，并利用信息进行决策,OLAP,：即联机分析处理（,OnLine Analytical Processing,）是一种为支持决策而进行的信息处理方式，是跨部门的，面向主题的，基本特点：,支持长远的业务战略决策,分析驱动,面向主题,数据是历史的,数据反映某个时间点或一段时间,数据是静态的，除数据刷新外,数据是汇总的,优化是针对查询而不是更新,支持管理人员和执行主管人员,利用数据仓库提供支持,P170-,图,7-1,OLAP,和,OLTP,的区别：,联机分析处理和传统的联机事务处理,(On Line Transaction Processing,OLTP),是两种性质不同的数据处理方式。,OLTP,主要用来完成基础业务数据的增、删、改等操作，如民航订票系统、银行储蓄系统等等，对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率。,OLAP,应用是对用户当前及历史数据进行分析、辅助领导决策，主要通过多维数据的查询、旋转、钻取和切片等关键技术对数据进行分析和报表。,7.1,企业数据处理方式,3,、在信息应用过程中管理信息,企业在管理信息时应考虑：,考虑适当的技术组织信息，以便信息处理使用者能逻辑的使用信息，而不必了解信息的物理组织形式,字段,记录,-,文件,-,数据库,-,数据仓库,考虑使用权限：更新、使用权限等,考虑信息的更新与维护：信息备份、信息的保存时间、信息的存储技术、更新技术等,7.2,文件组织,7.2.2,数据的物理组织和,逻辑组织,（,1,）文件存储介质,顺序存取设备，随即存取设备,（,2,）数据的逻辑组织与物理组织,人,机,对,话,面,外存,内存,文件分类：存储介质分,（,3,）数据传送,外存,内存,数据缓冲区,物理块,物理记录（数据块）的传送,7.2.3,几种文件组织方式,1,、数据组织的层次,数据库,文件,1,文件,2,文件,n-1,文件,n,.,记录,1,记录,2,记录,n-1,记录,n,数据项,1,数据项,2,数据项,n-1,数据项,n,.,逻辑数据元素之间的关系,学生数据库,学生情况文件,学生成绩文件,学生,1,学生,n,学号,姓名,性别,学号,姓名,性别,96001,章,男,96004,女,王,.,.,.,记录,数据项,（,1,）顺序文件组织,外存设备,记录,1,记录,2,记录,3,记录,4,记录,5,.,（,2,）索引文件,索引非顺序文件,学号,姓名,数学,物理,计算机,9601,9604,9603,9602,9605,记录地址,A,B,C,D,E,学号,记录地址,9601,A,9602,D,9603,C,9604,B,9605,E,索引,（,3,）链表文件,职工号,姓名,部门编号,工作年限,特资额,1111,SDSS,DT,2,0,2323,DSD,NW,4,0,4545,HGG,DT,7,0,6545,HJGG,DT,54,0,6767,HHG,NW,6,0,1232,HHH,NW,4,0,4321,UYY,EA,3,0,4543,TU,DT,5,0,1234,IUYY,DT,5,0,记录地址,A,B,C,D,E,F,G,H,I,7.3,数据库系统,7.3.1,数据库处理与数据库类型,数据库处理的三个基本活动：,更新维护共享数据库,使用能共享数据库数据的应用程序,通过数据库管理系统提供查询,/,响应及报告功能，使用户能直接快速地访问数据库,（,2,）数据库处理系统,银行文件处理系统,客户交易,帐户核对,处理,文件修,改核对,帐户核,对程序,客户财务,报表,存款处理,存款文,件修改,存款,程序,客户票据,贷款分析,报告,分期贷款,处理,分期贷款,文件修改,分期贷款,程序,核对帐户,程序,存款账目,程序,分期贷款,程序,客户交易程序,数据库管理系统,客户数据库,查询,银行数据库处理系统,2,、数据库类型,操作数据库（业务,数据库,）,管理数据库：经汇总处理，由管理者使用,信息仓库：当年和历史数据标准化处理后，由管理人员使用,分布式数据库：企业各部门各自拥有的数据库,外部数据库：信息服务公司生成与维护,（,1,）企业数据库种类：,数据库管理,操作系统,数据库,管理系统,应用程序,数据库,数据字典,DBMS,7.3.4,数据库设计,1,、信息的转换,现实世界,事物类：相关性质的集合,客观事物,人,信息世界,实体集合,实体：相关属性的集合,实体,及,联系,加工转换,数据世界,文件,记录,相关数据项的集合,数,据,库,DBMS,模型,存储,结构,二进制数据的集合,加工,转换,客观世界,信息世界,数据世界,组织（事务及其联系）,实体及其联系,数据库（概念模型）,事物类,实体集,文件,事物（对象，个体）,实体,记录,特征（性质）,属性,数据项,三个不同世界术语对照表,2,、数据库设计步骤,（,1,）对现实世界进行需求分析,（,2,）建立,E-R,模型,（,3,）从,E-R,模型导出关系数据模型,3,、数据库设计例子：某学院,“,教学管理,”,数据库模型的设计,（,1,）需求和调查分析：,教学管理,可以查询学生成绩,可以查询学生教师情况,输入学生成绩,需要可以查询教师哪些信息？,教师,学生,考虑研究生吗？,有没有系部？,系,课程,3,、数据库设计例子：某学院,“,教学管理,”,数据库模型的设计,（,2,）,E-R,图设计,p186,图,7-12,7-13,系,系代号,系名称,系主任,电话,教师,编号,姓名,专业特长,职称,学号,姓名,性别,年龄,课程号,课程名,学时数,学生,课程,学习,成绩,m,n,3,、数据库设计例子：某学院,“,教学管理,”,数据库模型的设计,（,3,）关系数据模型：,对于,1,：,n,的联系方式：,系,(,系代号，系名称，系主任姓名，办公地址，电话,),教师,(,教师编号，教师姓名，专业特长，系代号，住址，电话,),对于,m,：,n,的联系方式：,学生,(,学号，姓名，性别，年龄，系代号,),课程,(,课程号，课程名，学分,),学习,(,学号，课程号，成绩,),“,教学管理,”,数据库的关系数据模型如下：,根据图,7,14,教学管理,”,E-R,图转化成,(,实体,),系,(,系代号，系名称，系主任姓名，办公地址，电话,),(,实体,),教师,(,教师编号，教师姓名，专业特长，系代号,),(,实体,),学生,(,学号，姓名，性别，年龄，系代号,),(,实体,),课程,(,课程号，课程名，学分,),(,联系,),学习,(,学号，课程号，成绩,),(,联系,),教学,(,教师号，课程号，授课班评估，学院评估,),根据关系模型的设计，可以在计算机上实现数据库的建立,实例：,厂长号,姓名,年龄,厂号,厂名,地点,厂长,工厂,管理,1,1,仓库号,地点,面积,货号,品名,价格,仓库,产品,存放,数量,n,1,7.4,数据库的发展,7.4.1,数据仓库,数据仓库（,Data Warehouse,）是一个面向主题的（,Subject Oriented,）、集成的（,Integrate,）、相对稳定的（,Non-Volatile,）、反映历史变化（,Time Variant,）的数据集合，用于支持管理决策。,数据仓库有四个特点：,面向主题。数据仓库中的数据是按照一定的主题域进行组织。,集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。,相对稳定的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留。,反映历史变化。数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息,(1),只包含决策信息,数据仓库特征：,数据仓库,销售市场数据库,销售额数据库,顾客数据库,竞争统计,按年和季度求平均值,顾客分类,(2),多维的数据,数据仓库特征：,在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。,比如：,对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析出其相互关系。,多维数据：,时间（月份）,销售渠道,1,2,3,批发,零售,地区,销售额,数据仓库系统体系结构：,一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、,OLAP,服务器以及前端工具与应用四个部分。,数据仓库体系结构图,数据仓库,DBMS,MRDB,MDDB,数据抽取,数据净化,数据载入,数据集市,报表,查询,EIS,工具,OLAP,工具,数据挖掘工具,操纵平台,管理平台,（,1,）数据仓库,(,DW,，,Data Warehouse),由数据源、数据的存储与管理构成。,（,2,）联机分析处理技术（,OLAP,，,On-Line Analytical Processing,）是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。,OLAP,的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。,OLAP,也可以说是多维数据分析工具的集合。,（,3,）数据挖掘（,DM,，,Data Mining,）是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。数据挖掘的过程：,数据仓库,7.4.2,联机分析处理,OLAP,联机分析处理首先是由关系数据库泰斗之一,Codd,在,90,年代初期提出的。当时，,Codd,认为联机事务处理（,OLTP,）已经不能满足终端用户对数据库查询的需要，,SQL,对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询结果并不能满足决策者提出的要求。,OLAP,的提出：,在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。,比如：,对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析出其相互关系。,因此提出了多维数据库和多维分析的概念，即,OLAP,多维数据：,时间（月份）,销售渠道,1,2,3,批发,零售,地区,销售额,多维分析的基本动作：,（,1,）切片：某个维度上的取值选定一个固定值,地区,产品,时间,销售额,地区,产品,销售额,2001,年,10,月,多维分析的基本动作：,（,3,）旋转：对各个坐标的旋转