第06章-数据库和数据仓库技术15021

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,6,章 数据库和数据仓库技术,6.1,企业数据处理方式,6.2,文件组织,6.3,数据库系统,6.4,数据仓库和商业智能,6.1,企业数据处理方式,以联机事务处理形式处理信息,以联机分析处理形式处理信息，并利用信息进行决策,在信息应用过程中管理信息,图,6-1,联机事务处理与联机分析处理,数据项,记录,文件,数据库,数据库,文件,3,文件,2,文件,1,记录,3,记录,2,记录,1,数据项,3,数据项,2,数据项,1,6.2,文件组织,6.2.1,文件组织术语和概念,字段,记录,某个数据库中的一份表文件，该文件存储了选修,管理信息系统,课程的,10,级物流专业的同学名单。每列是一个,字段,，每行为一个,记录,。,从数据库原理的角度来看，表中反映了“学生”这一类,实体集,（,Entity Set,），表中的每一行是该类型中的一个具体的,实体,，每个实体都具有学号、姓名、专业名称等,属性,6.2.2,数据的物理组织和逻辑组织,图,6-2,信息的物理组织与逻辑组织,图,6-4,逻辑数据元素之间的关系,6.2.3,文件的组织方式,学生数据库,学生情况文件,学生成绩文件,记录,数据项,学生,1,学生,n,学号,姓名,性别,学号,姓名,性别,9608101,张勇,男,9608138,王英,女,记录,1,记录,4,记录,3,记录,2,记录,2,图,6-5,磁盘顺序文件,1,顺序文件组织,2,索引文件,记录地址,学号,姓名,数学,物理,Basic,主关键字,(,学号,),记录地址,A,870701,张,68,74,72,870701,A,B,870705,李,95,87,92,870705,B,C,870707,赵,77,83,84,870707,C,D,870712,周,85,81,88,870712,D,E,870721,陈,62,64,61,870721,E,F,870724,王,82,88,92,870724,F,G,870736,黄,75,74,77,870736,G,记录地址,学号,姓名,数学,物理,Basic,主关键字,(,学号,),记录地址,A,870712,周,85,81,88,870701,D,B,870724,王,82,88,92,870705,G,C,870707,赵,77,83,84,870707,C,D,870701,张,68,74,72,870712,A,E,870736,黄,75,74,77,870721,F,F,870721,陈,62,64,61,870724,B,G,870705,李,95,87,92,870736,E,(b),非索引顺序文件索引,(a),索引顺序文件索引,3,链表文件,记录地址,职工号,姓名,部门编号,部门指南,工作年限,DT,入口,A,1111,-,DT,C,-,NW,入口,B,1121,-,NW,E,-,C,1981,-,DT,D,-,D,2014,-,DT,H,-,E,2084,-,NW,F,-,F,2918,-,NW,-,EA,入口,G,3001,-,EA,I,-,H,3101,-,DT,J,-,I,3241,-,EA,-,J,3358,-,DT,-,NE,入口,K,3861,-,NE,L,-,L,3871,-,NE,-,部门代码,（辅关键字符）,链表长度,（记录个数）,链头指针,（入口地址）,部门代码,（辅关键字符）,链表长度,（记录个数）,链头指针,（入口地址）,DT,5,A,EA,2,G,NW,3,B,NE,2,K,4,倒排文件,辅关键字,指针表,辅关键字值,指针,部门编号,DT,1111,1981,2014,3101,3358,NW,1121,2084,2918,EA,3001,3241,NE,3861,3871,工作年限,N,N,5,1111,2014,2084,2918,5,N,10,3101,3861,15,N,20,3001,3871,N,20,1981,透支现额,%,0,1111,2014,2084,2918,3101,3861,100,1121,3001,3241,3358,3871,200,1981,Inquiry,Customer Transaction,Processing,Saving,Install,Database Management System,Check,Customer Database,A Database Management System (DBMS) is a set of computer,programs that controls the creation, maintenance and use of,the Database of a organization and its end user.,6.3.2,数据库管理系统,图,6-8 DBMS,的主要功能,数据库,管理,操作系统,数据库,管理系统,应用程序,数据库,数据词典,Database,Management,Operating,System,DBMS,Application,Programs,* Data development,* Data interrogation,* Database,Maintenance,* Application,development,Database,Data dictionary,* Data Development,由,Database Administrator (DBA),开发,用,Data dictionary Language,去开发,.,A Data dictionary is a computer-based,catalog or directory containing metadata,that is data about data.,数据库查询,Database interrogation,query language, report generator,Corporate Payroll Reporting System,Highlight your selection and press Enter,Main Menu.,Employee File Maintenance,Tax Report,Printer,SQL ( Structured Query Language),SELECT NAME, SSNO, DEPARTMENT, SALARY,FROM EMPLOYEE, PAYROLL,WHERE EMPLOYEE.SSNO=PAYROLL.SSNO,AND,CLASSIFICATION=“ FINANCIAL ANALYST”,*,数据库的维护,在,DBMS,的支持下,用,UTILITY,等,* 应用开发程序,用,Data Manipulation Language DML,不必用通常程序设计语言 ，如,COBOL,图,6-9,数据模型,6.3.3,数据库系统,S,1,R,2,R,4,R,3,S,6,S,7,S,9,S,8,S,5,S,4,S,3,S,2,学号,姓名,年龄,性别,学生关系框架：,学号,姓名,年龄,性别,课程关系框架：,学号,姓名,年龄,性别,学习关系框架：,（,a,）网络模型,（,b,）层次模型,（,c,）关系模型,图,6-10,数据库的三级体系结构,用户,A,1,工作区,用户,A,2,工作区,用户,B,工作区,外模式,A,（子模式,A,）,外模式,B,（子模式,B,）,子模式,/,概念模式,映射,A,子模式,/,概念模式,映射,B,概念模型（模式）,模式（内模式映射）,DBMS,OS,.,图,6-11,三个不同的世界,客观世界,信息世界（概念世界）,数据世界,组织（事物及其联系）,实体及其联系（概念模型）,数据库（数据模型）,事物类（总体）,实体集,文件,事物（对象、个体）,实体,记录,特征（性质）,属性,数据项,表,6-7,三个不同世界术语对照表,客观,事物,事物类：,相关性质集合,人,实体,及,联系,实体集合,实体,相关属性集合,数,据,库,文件,记录,相关数据项集合,存储,结构,二进制数据集合,加工,转换,加工,转换,E-R,模型,DBMS,的数据模型,DBMS,的计算机世界,现实世界,认识选择描述,信息世界,6.3.4.2,数据库设计步骤,对现实世界进行需求分析,了解组织机构情况，为分析信息流做准备；,了解各部门业务情况，调查各部门输入和使用的数据，及处理数据的方式与算法；,确定数据库的信息组成及计算机系统应实现的功能。,建立信息世界中,E-R,（概念）模型,建立分,E-R,图；,综合分,E-R,图，产生总,E-R,图。,从,E-R,图导出计算机世界的关系数据模型,E-R,图中每个实体，都相应地转换为一个关系,将,联系转换成一个关系,某学院,“,教学管理,”,数据库模型,设计,“,系和教师关系,”,的分,E-R,图,设计,“,学生和课程关系,”,的分,E-R,图,设计,“,教师与课程关系,”,的分,E-R,图,将上述三个分综合，建立学院教学管理总,E-R,图,将,学院,“,教学管理,E-R,图,”,所描述的信息（概念）世界中的概念模型转化为计算机上由关系型,DBMS,支持的关系数据模型。,设计,“,系和教师关系,”,的分,E-R,图,该学院下设四个系：管理工程系、会计系、市场营销系和信息管理系。每个系有一个系主任主管该系工作。,将,“,系,”,设为一个实体，该实体具有以下属性：系代号、系名称、系主任姓名、办公地点、电话。其中系代号是主关键字,该学院聘请了一定数量的专职教师。,将,“,教师,”,设为一个实体，该实体具有以下属性：教师编号、教师姓名、专业特长。其中教师编号是主关键字。,学院聘请教师后，分配到各系。,一个系有多个教师；一个教师只能属于一个系。,“,教师,”,实体与,“,系,”,实体之间发生一对多（,1,：,M,）的,“,分配,”,联系。,教学管理总,E-R,图,图,6-13“,教学管理”,E-R,图,28,业务流程调查举例,教学管理,学籍处理,1,学生登记表,学生,学生档案,招生办,各院系,教务处,制定教学,计划,2,教师基本,信息管理,3,教室管理,4,教学计划,教师信息,教学计划,教师信息,教室信息,教师任课情况,教学,秘书,人事,处,统计报表,处理,8,制定教学,计划,5,成绩管理,7,学生选课,6,学生成绩,学生档案,统计报表,课表,教务,处,学生,教师,各院系,校领导,上级,主管,各院系,教务处,教务处,6.3.5,数据库技术的发展趋势,数据管理方式：集中式 分布式,数据模型：关系数据库 多媒体数据库、面向对象数据库,（,a,）,(b),图,6-14,分布式数据库的结构形式,数据库的分布,左图：集中式数据库 右图：分布式数据库,6.4.1,数据仓库,数据仓库之父,W.H.Inmon,：,“,数据仓库是一个面向主题的（,Subject Oriented,）、集成的（,Integrated,）、非易失的（,Non-Volatile,）、随时间变化的（,Time Variant,）的数据集合，用于支持管理决策,”,。,图,6-15,数据仓库源于业务数据库,6.4.2,联机分析处理,联机分析处理,(On-Line Analytical Processing,，,OLAP),：主要是对大量多维数据的动态综合、分析和归纳。,OLAP,中的一个主要操作是,“,多维分析,”,，即通过对信息的多种可能的观察形式进行快速、稳定、一致和交互性的存取，允许管理决策人员对数据进行深入分析。,图,6-16,多维视图示例,切片和切块,(Slice and Dice),钻取,(Drill),旋转,(Rotate)/,转轴,(Pivot),从,OLTP,到,OLAP,OLAP,和数据仓库,OLAP,应用构建于数据仓库而非数据库之上，主要是由于以下三个技术方面的原因 ：,计算机处理速度阶跃式增长，单位字节的存储和处理成本大幅度降低，是保证数据仓库有效运行的物理基础；,决策分析理论的完善和应用使得数据仓库中的分析技术能够有效实现，使得决策人员可以直接从系统中获得需要的决策支持信息；,数据仓库系统中，数据用于支持各种分析任务，并生成多角度，多层次和不同粒度上的分析结果,.,OLAP,中的基本概念 ,变量,:,从现实系统中抽象出来，用于描述数据的实际含义。,维,:,人们观察数据的特定角度,维的层次,类别,:,构成一个维的独立的数据元素，是存在于层里每一个数据。,维、层和类别的关系示意图,OLAP,中的基本概念 ,维的取值：也称为维的成员,度量：企业收集和存储的用于评价业务状况的数值性数据，以监测和评估企业成效。,多维数组,数据单元（单元格）,多维数组的取值称为数据单元,多维数据立方体,OLAP,的基本操作 切片（,Slice,）,在多维数组的某一维上选定其维成员的动作称为切片,在多维数组（维,1,，维,2,，,维,n,，度量）中选中某一维，如维,i,，并取其某一维成员（设为维成员,Vi,），所得的多维数组的子集（维,1,，维,2,，,维成员,Vi,，,维,n,，度量）称为在维,i,上的一个切片。,OLAP,的基本操作 切块（,Dice,）,数据切块就是将完整的数据立方体切取一部分数据而得到的新的数据立方体。,选取多维数组（维,1,，维,2,，,，维,n,，度量）中若干维度（通常是,3,个维度便于图形显示）的取值范围，从而形成了多维数据的子集（维,1,，维,2,，,，,Ai ,维,i Bi,，,，,Bj ,维,j Y,的规则,商务智能应用系统,目前商务智能和数据挖掘工具分为三类：,通用单任务类,通用多任务类,面向专门领域类,IBM,商业智能解决方案,BI,的数据挖掘解决方案,Intelligent Miner,在,sybase,数据库窗口直接操作下列命令：,1,、创建数据表,create table performance,(,code char(8) not null,attitude decimal(3,1) null,ability decimal(3,1) null,Performance decimal(3,1) null,note char(24) null,),6.5,、,SQL,结构查询语言,2,、其他,SQL,命令,Select * from performance where code=,001,Insert into performance(code,attitude,ability,performance) values(,001,8.8,9.5,9.6,),Update performance set performance code=,001,attitude=,8.8,ability=,9.5,performance =,9.6,Delete performance where code=,001,Any other Questions?,Any other Comments?,