MIS管理信息系统.ppt

第7章数据资源管理技术 理解并掌握数据资源的管理观数据资源的管理技术 教学目标 第7章数据资源管理技术 主要内容文件组织数据库技术 第7章数据资源管理技术 企业的重要资源劳动力 原材料 资金 设备 信息广义的数据资源管理包括 文件组织数据库数据规划数据管理 7 1企业数据处理方式 1 以联机事务处理形式处理信息 OLTP 2 以联机分析处理形式处理信息并利用信息进行决策 OLAP 7 1企业数据处理方式 图7 1联机事务处理与联机分析处理 7 1企业数据处理方式 3 在信息应用过程中管理信息何种技术组织信息 以便信息使用者能逻辑地使用信息 而不必了解信息的物理组织形式信息的使用权限信息的维护和更新 7 2文件组织 数据组织的层次人们需要用数据来进行决策和采取行动如果这些数据能够在限定的时间内被检索处理 这些数据就产生了价值 成为信息 因此需要将数据有序的组织起来 才能对数据进行有效的处理 数据的逻辑组织有四个基本的逻辑元素 数据项记录文件数据库 7 2 1文件 数据库的基础 为什么需要文件大量的企业数据不可能存放在主存中某一时刻 企业只使用其中的一部分数据企业的数据一般以文件形式组织起来 7 2 1文件 数据库的基础 文件的分类按存储介质光盘文件磁盘文件打印文件按文件在信息系统中所执行的功能主文件事务文件报告文件工作文件程序文件文件与数据库 7 2 2数据的物理组织与逻辑组织 数据组织的相关概念数据项是组成数据系统的有意义的最小基本单位 它的作用是描述一个数据处理对象的某些属性 记录与数据处理的某一对象有关的一切数据项构成了该对象的一条记录 标识记录的数据项称为关键项 文件相关 同类 记录的集合称为文件 数据库按一定方式组织起来的逻辑相关的文件集合形成数据库 数据仓库按一定方式将各种异构的数据库组织起来 7 2 2数据的物理组织与逻辑组织 数据的物理储存与传送自学问题磁盘与磁带在数据存储方面各有什么特点 什么是数据的逻辑组织 什么是数据的物理组织 如何实现逻辑组织与物理组织之间的数据传送 7 2 3几种文件组织的层次 7 2 3几种文件组织的层次 文件组织形式建立并确定数据记录的物理顺序和逻辑顺序之间的对立关系 逻辑数据记录 物理存储方式 顺序文件索引文件链表文件倒排文件 顺序映射关系 7 2 3几种文件组织的层次 顺序文件文件中数据记录的物理顺序与逻辑顺序一致 文件记录按关键字值的递增 或递减 次序排序 形成其逻辑顺序 7 2 3几种文件组织的层次 图7 5磁盘顺序文件 7 2 3几种文件组织的层次 索引文件具有索引表的文件称为索引文件 7 2 3几种文件组织的层次 索引文件具有索引表的文件称为索引文件 主文件 索引表 关键字学号与学生记录地址的对应表 7 2 3几种文件组织的层次 链表文件 7 2 3几种文件组织的层次 倒排文件带有辅索引或倒排索引的文件称为倒排文件 7 3数据库系统 数据库数据库管理系统 7 3 1数据库处理 工薪程序1 工薪文件1 技能管理程序2 个人情况变动程序3 职工技能文件2 个人情况变动文件3 职工工薪 教育背景 工薪增加 文件管理的问题是 你所要的信息在不同的文件中 而且以不同的方式组织 一个文件被不同的程序调用 没一个能产生你所要信息的格式 没有一个程序合用 7 3 1数据库处理 存在问题数据冗余与数据不一致性数据结构的不一致 数据联系弱缺少数据字典 缺少灵活性 工薪程序1 工薪文件1 技能管理程序2 个人情况变动程序3 职工技能文件2 个人情况变动文件3 职工工薪 教育背景 工薪增加 7 3 1数据库处理 银行文件处理系统 数据库处理系统 7 3 1数据库系统 优点完善的数据字典和数据模型数据独立性方便的接口完整的数据控制功能提高了系统的灵活性 银行数据库处理系统 7 3 1数据库系统 7 3 2数据库管理系统 DBMS是一组计算机程序 控制组织和用户的数据库的生成 维护和使用 具有以下功能 7 3 2数据库管理系统 数据库开发数据字典数据库查询数据库维护应用与开发 7 3 3数据库模型与数据库组织结构 数据库模型模型功能使数据以记录的形式组织在一起 综合反映各种业务信息 既综合又没有冗余 模型能反映用户各业务信息所存在的内在联系 而且与DBMS数据模型一致 模型的类型网状型层次型关系型 目前最流行的是关系型数据库 7 3 3数据库模型与数据库组织结构 数据库组织结构数据库的三级组织结构模式外模式内模式 7 3 3数据库模型与数据库组织结构 7 3 3数据库模型与数据库组织结构 数据库的二级映射外模式 模式映射 当模式改变时 使外模式保持不变 从而应用程序不变 保证了数据与程序的逻辑独立性 模式 内模式映射 当数据库存储结构改变 使模式保持不变 从而应用程序不变 保证了数据与程序的物理独立性 7 3 4数据库设计 7 3 4数据库设计 1 信息的转换 三个不同世界术语客观世界信息世界数据世界组织 事物及其联系 实体及其联系数据库 概念模型 事物类 总体 实体集文件事物 对象 个体 实体记录特征 性质 属性数据项 实体及其联系 概念模型 E R图 7 3 4数据库设计 2 数据库设计的步骤对现实世界进行需求分析详细调查 数据和处理 1 了解组织结构 为分析信息流作准备 2 了解各部门业务情况 调查各部门输入和使用的数据及处理数据的方式与算法 3 确定数据库的信息组成及计算机系统应实现的功能 建立信息世界的E R模型从E R导出计算机世界的关系数据模型 7 3 4数据库设计 7 3 4数据库设计 E R图描述现实世界的概念模型概念 实体 属性 联系约束 映射基数 码和参与约束 7 3 4数据库设计 E R图设计原则真实性原则避免冗余原则简单性原则合适性原则 用实体或属性或联系集 7 3 4数据库设计 实体 Entity 是一个有着一系列显著的 易辨认的属性的对象 实体可以是具体的 物体 人物等 实体也可以抽象的 事 概念 事物之间的联系 确定实体的指导找出问题中的大模块问题陈述中的名词 7 3 4数据库设计 属性 Attribute 实体的特性 它描述了实体的一个部分 一个实体可由若干个属性来刻画 如学生 学号 姓名 性别 码 Key 唯一标识实体的属性集 如 学号为学生的码 确定属性的指导可能将名词当作属性 但不应将其和实体混淆 3 某学院 教学管理 数据库概念模型设计 1 系和教师 的分E R图学院下设四个系 管理工程系 会计系 市场营销系和信息管理系 每个系有一个系主任主管该系工作 一个系代号 名称 办公地点和电话 学院聘请了若干教师 教师由编号 姓名和特长描述 聘请的教师被分配到各个系 一个系有多名教师 每名教师仅属于一个系 7 3 4数据库设计 3 某学院 教学管理 数据库概念模型设计 2 系 学生和课程 的分E R图学院每年招收新生 分配到各个系 学生由学号 姓名 性别 年龄来描述 学院各系制订了教学计划 设置多项课程 课程由课程号 课程名和学分描述 根据教学计划的要求 一个学生应修多门课程 每门课程由很多学生来学习 每个学生的每门课程都有成绩 7 3 4数据库设计 3 某学院 教学管理 数据库概念模型设计 3 教师和课程 的分E R图教师在教学活动中与课程发生联系 一个教师可以上多门课程 一门课程可以由多个教师来上 教师授课完成后 将被学生和院方评估 7 3 4数据库设计 3 某学院 教学管理 数据库关系模型设计 7 3 4数据库设计 7 3 4数据库设计 出版社每年出版多本图书 一本书可由若干作者完成 一个作者可以参与多本书的编写 图书信息包括书名 ISBN 页数 类别 出版社和价格 作者信息包括身份证号 姓名和地址 此外 还要描述图书各作者的位次 3 某出版社 图书管理 数据库概念与关系模型设计 7 3 4数据库设计 3 某出版社 图书管理 数据库概念与关系模型设计 7 3 5数据库技术的发展趋势 数据与信息的内容与类型发生了变化数据析取的方法发生了变化需求从单维发展到多维信息来源从内部向外部扩展信息的表现形式呈现多样化数据管理方式从集中到分布 数据模型从关系数据库扩展到多媒体数据库 面向对象数据库 7 3 5数据库技术的发展趋势 1 分布式数据库 a b 图7 14分布式数据库的结构形式 7 3 5数据库技术的发展趋势 2 多媒体技术在数据库中的应用 能够储存且管理数值 文字 表格 图形 图像 声音等多媒体的数据库 7 3 5数据库技术的发展趋势 3 面向对象数据库 面向对象数据库管理系统提供给用户使用很方便的技术 它能将各种媒体上的数据连接起来 也提供了开发应用程序可重用技术 以更新对象及对象的应用 7 4数据仓库与数据库 7 4 1数据仓库 一个面向主题的 集成的 非易失的 时变的数据集合 用于支持管理决策 数据仓库是指能存储 检索 管理或操纵大量数据的系统 数据仓库包括组织中数据库的数据和外部的数据 特点 非常大质量非常高而且可检索面向某一主题而不是面向事务处理在整个组织应用的范围内进行设计 7 4 1数据仓库 图7 15数据仓库源于业务数据库 7 4 1数据仓库 数据本身 可供数据存储 访问的硬件及网络基础结构 可从原始数据源析取数据 将这些数据转化成规范格式 并存入数据仓库中的软件 图表查询工具 在数据仓库中进行数据挖掘的用户使用的图形查询工具 使信息系统人员维护 升级数据仓库的管理软件 数据仓库的主要组成部件 7 4 1数据仓库 将组织中随时间推移而出现的数据孤岛集中起来市场分析数据库中知识发现 KDD 数据仓库的作用 7 4 1数据仓库 建立数据仓库看起来是一项大的挑战折衷的策略 实施数据集市 DataMarket 数据集市是一个数据库 由组织中某一个部门所需要的数据组成 它所包含的数据仅描述一部分公司运营情况 数据集市 7 4 2联机分析处理 1 从OLTP到OLAP 7 4 2联机分析处理 1 从OLTP到OLAP 7 4 2联机分析处理 OLAP应用构建于数据仓库而非数据库之上 主要是由于以下三个技术方面的原因 计算机处理速度阶跃式增长 单位字节的存储和处理成本大幅度降低 是保证数据仓库有效运行的物理基础 决策分析理论的完善和应用使得数据仓库中的分析技术能够有效实现 使得决策人员可以直接从系统中获得需要的决策支持信息 数据仓库系统中 数据用于支持各种分析任务 并生成多角度 多层次和不同粒度上的分析结果 OLAP和数据仓库 7 4 2联机分析处理 OLAP中的基本概念 变量 从现实系统中抽象出来 用于描述数据的实际含义 维 人们观察数据的特定角度维的层次类别 构成一个维的独立的数据元素 是存在于层里每一个数据 7 4 2联机分析处理 OLAP中的基本概念 7 4 2联机分析处理 OLAP中的基本概念 2 维的取值 也称为维的成员度量 企业收集和存储的用于评价业务状况的数值性数据 以监测和评估企业成效 多维数组数据单元 单元格 多维数组的取值称为数据单元 7 4 2联机分析处理 OLAP中的基本概念 2 7 4 2联机分析处理 OLAP的基本操作 切片 Slice 在多维数组的某一维上选定其维成员的动作称为切片在多维数组 维1 维2 维n 度量 中选中某一维 如维i 并取其某一维成员 设为维成员Vi 所得的多维数组的子集 维1 维2 维成员Vi 维n 度量 称为在维i上的一个切片 7 4 2联机分析处理 OLAP的基本操作 切块 Dice 数据切块就是将完整的数据立方体切取一部分数据而得到的新的数据立方体 选取多维数组 维1 维2 维n 度量 中若干维度 通常是3个维度便于图形显示 的取值范围 从而形成了多维数据的子集 维1 维2 Ai 维i Bi Bj 维j Bj 维度n 度量 这个多维数据子集被称为切块 7 4 2联机分析处理 OLAP的基本操作 下钻 上卷 DrillDown RollUp 数据下钻 向下钻取 是从较高的维度层次下降到较低的层次上来观察多维数据数据上卷是下钻的逆向操作 是对数据进行高层次聚合的操作 7 4 2联机分析处理 OLAP的基本操作 旋转 Rotate 不同维度间的旋转 维层次间的旋转 数据旋转是改变维度的位置关系 使最终用户可以从其他视角来观察多维数据 7 4 2联机分析处理 OLAP的基本操作 旋转 Rotate 不同维度间的旋转 维层次间的旋转 数据旋转是改变维度的位置关系 使最终用户可以从其他视角来观察多维数据 7 4 3商务智能 7 4 3商务智能 20世纪80年代末 机器学习方法在数据分析中的应用导致数据库知识发现 KDD KnowledgeDiscoveryinDatabase 的产生 20世纪90年代以来 以数据挖掘技术为核心的商务智能 知识发现在商业的应用 受到了学术界和业界的广泛关注 知识发现 数据挖掘与商务智能 7 4 3商务智能 商务智能应用系统 目前商务智能和数据挖掘工具分为三类 通用单任务类通用多任务类面向专门领域类 7 4 3商务智能 IBM商业智能解决方案 7 4 3商务智能 BI的数据挖掘解决方案IntelligentMiner 7 4 4数据挖掘 DataMining 数据挖掘 知识发现 从海量数据中淘 金 7 4 4数据挖掘 DataMining 数据挖掘的特点 传统的决策分析技术中 都是决策人员事先给出逻辑假设和模型 而后在数据中进行检验和参数评估 数据挖掘是数据驱动 始于纷繁复杂的海量数据 利用强大的数据分析工具和特定的知识提取方法 从数据出发 挖掘中其中有效的模式 从而获得潜在的 新颖的以及有用的知识 7 4 4数据挖掘 DataMining 数据挖掘的任务 数据挖掘的基本任务是预测 prediction 和描述 description 预测就是利用数据中已知的变量和字段来确定一些感兴趣的未知或未来的值 如分类等 描述则集中于寻找一种人类能够理解和解释的模式对数据进行刻画 如聚类 关联规则等 7 4 4数据挖掘 DataMining 数据挖掘的分类 按所挖掘的模式的类型将数据挖掘划分为 概念描述 归纳或简约 分类和预测聚类关联规则其它的一些模式识别和统计方法 7 4 4数据挖掘 DataMining 概念描述 归纳 概念描述与数据概化密切相关以简洁的形式在更一般的 而不是在较低的 抽象层描述数据是很有用的允许数据集在多个抽象层概化 便于用户考察数据的一般行为与OLAP的区别更为复杂的数据类型用户控制与自动处理 7 4 4数据挖掘 DataMining 分类和预测 分类 给定已有的数据和类别 通过分类算法得到描述和区分数据类或概念的模型 预测 将上述分类模型应用到要进行测试的数据上 对未来或者未知的数据进行预测 贷款分类模型 7 4 4数据挖掘 DataMining 聚类分析 客户的聚类分析 聚类是将一个数据集按照某个标准分成几个簇的过程 每个簇内部的数据按照该标准具有很高相似性 而簇之间的数据的相似性很低 聚类与分类不同分类中 类标记事先给出 是一种监督学习的方法 聚类没有事先给定类别 属于一种非监督的学习 7 4 4数据挖掘 DataMining 关联规则挖掘 关联规则挖掘 就是对业务的所有不同类型的信息进行全面的处理 得到不同类型信息之间的相互关系 从而进一步分析不同信息之间潜在的逻辑规律 为业务运作提供参考和决策支持 技术层面讲 关联规则挖掘是在给定的事务数据库中找到所有满足最小支持度和最小置信度的形如X Y的规则 练习1 设计一个图书借阅数据库 图书馆需要保存全部图书的信息 书号 书名 作者 出版社 日期 还要登记读者信息 读者编号 姓名 地址 性别 年龄 单位 颁发借书证 需要保存借阅记录 借出日期 还书日期 请设计E R图 并最后转换成关系逻辑数据模型 练习2 某厂生产多种产品 每种产品又要使用多种零件 一种零件可能装在多种产品上 每种零件由一种材料制造 每种材料可用于不同零件的制作 有关产品 零件 材料的数据字段如下 产品 产品号 产品名 产品单价零件 零件号 零件名 单重 单价材料 材料号 材料名 计量单位 材料单价要求 1 请画出产品 零件 材料的E R图 2 请将该E R图转换为关系数据模型 练习3 应用题 某课题组对某软件公司的工作管理系统进行调查 得到工资发放过程如下 公司现有员工500人 每月8日发工资 发放工资的过程是每月3日到5日由财务部门根据已经存档的上月工资发放清单和人力资源部门送来的人员及工资变动表填写本月工资发放清单中的职工号 姓名 部门 人员类别 基本工资 岗位工资 绩效工资和病事假扣除款 并按部门编制统计表 按人员类别统计表和汇总表 要求 1 画出系统业务流程图 2 画出系统数据流程图 3 画出软件功能结构图 4 数据库的概念设计和逻辑设计 练习3 应用题 表5 1工资发放清单制表部门 财务部单位 元 表5 2人员与工资变动表制表部门 人力资源部单位 元 制表人 李节制表日期 2003 03 07审核 许铁审核日期 2003 03 08 制表人 王明制表日期 2003 03 03审核 许铁审核日期 2003 03 08 练习3 应用题 参考答案 练习1 参考答案 转换为关系逻辑数据模型如下 图书 书号 书名 作者 出版社 日期 读者 读者编号 姓名 地址 性别 年龄 单位 借阅 书号 读者编号 借出日期 还书日期 参考答案 练习2 参考答案 E R图转换关系数据模型产品 产品号 产品名 产品单价 零件 零件号 零件名 单重 单价 材料号 材料量 材料 材料号 材料名 计量单位 材料单价 产品 零件 产品号 零件号 零件数 7 3 4数据库设计 7 3数据库系统 再见 Doyouhavemadeaprogresstoday 10 2续 数据库数据的存取过程 应用程序A 用户工作区 状态码 系统缓冲区 数据库 OS DBMS 物理数据库描述 概念模式 应用程序A的子模式 10 4数据库设计规范化 数据库设计规范化 范式理论篇 P345 必要性 解决在关系模式设计时 存在的数据存储异常现象 数据冗余 修改异常 插入异常 删除异常等 10 4续 第二规范型 如果一个关系模式属于1NF 并且所有的非关键字都完全地依赖于关键字 即不存在部分依赖 则称该关系模式属于第二规范型 即2NF 10 4续 第一规范型 如果一个关系模式中的属性都是单纯的 即不可再分为更小的属性 则称该模式是属于第一规范型 FirstNormalForm 即1NF 10 4续 第三规范型 如果一个关系模式属于2NF 并且不存在非关键字传递地依赖于关键字 则称该关系模式属于第三规范型 3NF 10 4续 适当的规范化 规范化程度越高 数据冗余 更新异常 连接运算时间 查询时间 效率