第1章数据仓库的概念与体系结构课件

数据仓库与数据挖掘数据仓库与数据挖掘7/12/20247/12/20241数据仓库与数据挖掘数据仓库与数据挖掘教材教材 数据仓库与数据挖掘 陈志泊 主编 2009年5月第一版 清华大学出版社7/12/20247/12/20242数据仓库与数据挖掘数据仓库与数据挖掘参考书籍参考书籍l数据挖掘概念与技术（第3版），Jiawei Han,Micheline Kamber,Jian Pei 著，机械工业出版社，2012l数据挖掘原理,David Hand,Heikki Mannila,Padhraic Smyth 著，机械工业出版社，20057/12/20247/12/20243数据仓库与数据挖掘数据仓库与数据挖掘实验作业上交地址实验作业上交地址 ftp:/172.19.11.4 用户名：用户名：stq 密密 码：无码：无7/12/20247/12/20244数据仓库与数据挖掘数据仓库与数据挖掘第第1章章 数据仓库的数据仓库的概念与体系结构概念与体系结构7/12/20247/12/20245数据仓库与数据挖掘数据仓库与数据挖掘如何处理历史数据？如何处理历史数据？l删除已经失效的历史数据。l先对历史数据作介质备份，然后删除，以防万一需要查看。l建立一个数据仓库系统，通过建立分析模型，从中挖掘出符合规律的知识并用于未来的预测与决策中。7/12/20247/12/20246数据仓库与数据挖掘数据仓库与数据挖掘1.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成l数据仓库(data warehouse)通常指一个数据库环境，而不是指一件产品，它提供用户用于决策支持的当前和历史数据，这些数据在传统的数据库中通常不方便得到。7/12/20247/12/20247数据仓库与数据挖掘数据仓库与数据挖掘1.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成l数据仓库的概念l数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受：l数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持（DDS）。7/12/20247/12/20248数据仓库与数据挖掘数据仓库与数据挖掘数据仓库是面向主题的(Subject-Oriented)l数据仓库的数据是以分析主题为中心来组织的。主题是一个抽象的概念，是企业决策分析所涉及的分析对象。按照面向主题的方式进行数据组织时，首先确定主题，然后根据主题，确定相应的数据内容。l例如，若企业决策人员预分析客户的财务信息，则需要把关于客户的各种财务信息综合在“Customer Financial”这一主题中。7/12/20247/12/20249数据仓库与数据挖掘数据仓库与数据挖掘7/12/20247/12/202410数据仓库与数据挖掘数据仓库与数据挖掘数据仓库是集成的（Integrated）l数据仓库的数据来自于多个不同的数据源。l多个数据源经常是异种或异构的，存在数据重复和语义不一致问题l不是对这些数据源中某些数据的复制，而是对这些数据源中数据的进一步抽象。l它需要按照统一的结构、一致的格式、一致的度量单位、一致的语义，从不同的数据源提取数据并进行清洗、转换、综合、抽象，最后集成为面向主题的数据集合，确保数据的综合性、宏观性和一致性。7/12/20247/12/202411数据仓库与数据挖掘数据仓库与数据挖掘7/12/20247/12/202412数据仓库与数据挖掘数据仓库与数据挖掘数据仓库是反映历史变化的(Time-Variant)l数据仓库中的数据是历史数据，应该随时间的延长不断增加新的数据内容。（周期性更新）l数据仓库中的数据是综合数据，这些综合数据一般都与时间有关，如按照时间段进行综合的数据。这些综合数据要随着时间的延长而不断地变化。7/12/20247/12/202413数据仓库与数据挖掘数据仓库与数据挖掘数据仓库是相对稳定的(Non-Volatile)l数据仓库的数据主要供企业决策分析之用,很少进行修改，所涉及的数据操作主要有两类：l数据加载l数据查询和联机分析l数据仓库的数据一般都是历史数据，是对多个不同数据源进行统计、综合和重组后导出的数据。只要数据源中与数据仓库相关的数据不发生改变，数据仓库中的数据就不应该被改变。l一般来说，无需事务管理、并发控制与恢复等机制7/12/20247/12/202414数据仓库与数据挖掘数据仓库与数据挖掘7/12/20247/12/202415数据仓库与数据挖掘数据仓库与数据挖掘7/12/20247/12/202416数据仓库与数据挖掘数据仓库与数据挖掘1.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成l数据仓库的特点：数据仓库的特点：l面向主题；面向主题；l集成的；集成的；l相对稳定的；相对稳定的；l反映历史变化。反映历史变化。7/12/20247/12/202417数据仓库与数据挖掘数据仓库与数据挖掘1.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成l数据仓库的组成：l数据仓库数据库；l数据抽取工具；l元数据：技术元数据与业务元数据；l访问工具；l数据集市（Data Marts）；l数据仓库管理；l信息发布系统。7/12/20247/12/202418数据仓库与数据挖掘数据仓库与数据挖掘数据仓库与数据库的区别数据仓库与数据库的区别 数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。l数据库是面向事务的设计，数据仓库是面向主题设计的。l数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。l数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。7/12/20247/12/202419数据仓库与数据挖掘数据仓库与数据挖掘数据库技术的进化数据库技术的进化7/12/20247/12/202420数据仓库与数据挖掘数据仓库与数据挖掘 补充：补充：1.知识发现知识发现&数据挖掘的引入数据挖掘的引入数据到知识：数据是原材料，它只描述发生了什么事情，并不能构成决策或行动的可靠基础。通过对数据进行分析找出其中关系，赋予数据以某种意义和联系，这就形成了所谓的信息。信息虽然给出了数据中一些有一定意义的东西，但是它往往和人们所要完成的任务没有直接的联系，也还不能作为判断、决策和行动的依据。对信息进行再加工，即进行更深入的归纳分析，才能获得更有用的信息，即知识。7/12/20247/12/202421数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：1.知识发现知识发现&数据挖掘的引入数据挖掘的引入l何为知识?从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。7/12/20247/12/202422数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：1.知识发现知识发现&数据挖掘的引入数据挖掘的引入客观世界收集数据分析信息深入分析知识决策与行动7/12/20247/12/202423数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：1.知识发现知识发现&数据挖掘的引入数据挖掘的引入当今世界正处于一个“信息爆炸”的时代。据估计全世界的信息总量每18个月翻一番，随着近年来Internet的迅速发展，大量的数据好像一下子涌到我们的面前，可以说我们不是缺少信息，而是被信息淹没了，不知道如何才能从中迅速找到我们真正需要的知识。面对信息社会中数据的爆炸式增长，人类分析数据和从中提取有用信息的能力，远远不能满足实际需要。虽然数据库管理系统可以高效、实现数据录入、检索和维护等管理功能，但不能发现数据中关联和规则，也不能根据现有的数据预测未来的发展趋势。因此目前人类陷入了一个尴尬的境地，即“丰富的数据”（data rich）和“贫乏的知识”（knowledge poor）并存。所以迫切需要一种能够智能地自动地把数据转换成知识的技术和工具。这样就导致了知识发现、数据挖掘理论的提出。7/12/20247/12/202424数据仓库与数据挖掘数据仓库与数据挖掘我们数据丰富，但知识贫乏7/12/20247/12/202425数据仓库与数据挖掘数据仓库与数据挖掘数据挖掘：在数据中搜索知识（有趣的模式）7/12/20247/12/202426数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：2.知识发现知识发现&数据挖掘是什么数据挖掘是什么l知识发现（Knowledge Discovery from Database）是从数据集中抽取和精化新的模式。它是一门交叉性学科，涉及机器学习、模式识别、统计学、智能数据库、知识获取、数据可视化、高性能计算、专家系统等领域。数据仓库特定数据集知识模式清洗与集成选择与转换数据挖掘评估与表示知识发现过程示意知识发现过程示意数据库7/12/20247/12/202427数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：2.知识发现知识发现&数据挖掘是什么数据挖掘是什么l数据挖掘（Data Mining）：就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。可以看出数据挖掘仅是知识发现的一个主要步骤。7/12/20247/12/202428数据仓库与数据挖掘数据仓库与数据挖掘补充：补充：2.知识发现知识发现&数据挖掘是什么数据挖掘是什么图形用户界面模式评估数据挖掘引擎数据库或数据仓库服务器数据库数据仓库知识库过滤过滤数据清理数据清理数据集成数据集成典型的数据挖掘典型的数据挖掘系统结构系统结构7/12/20247/12/202429数据仓库与数据挖掘数据仓库与数据挖掘Data Mining in Business Intelligence Increasing potentialto supportbusiness decisionsEnd UserBusiness Analyst DataAnalystDBADecision MakingData PresentationVisualization TechniquesData MiningInformation DiscoveryData ExplorationStatistical Summary,Querying,and ReportingData Preprocessing/Integration,Data WarehousesData SourcesPaper,Files,Web documents,Scientific experiments,Database Systems7/12/20247/12/202430数据仓库与数据挖掘数据仓库与数据挖掘Data Mining:Confluence of Multiple Disciplines Data MiningMachineLearningStatisticsApplicationsAlgorithmPatternRecognitionHigh-PerformanceComputingVisualizationDatabase Technology7/12/20247/12/202431数据仓库与数据挖掘数据仓库与数据挖掘1.2 数据挖掘的概念与方法数据挖掘的概念与方法l数据挖掘的概念l数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(Knowledge Discovery in Database,KDD)。7/12/20247/12/202432数据仓库与数据挖掘数据仓库与数据挖掘1.2 数据挖掘的概念与方法数据挖掘的概念与方法l数据挖掘的方法：1.直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据（例如对一个特定的变量）进行描述，包括分类（classification）、估值（estimation）和预言（prediction）等分析方法。7/12/20247/12/202433数据仓库与数据挖掘数据仓库与数据挖掘1.2 数据挖掘的概念与方法数据挖掘的概念与方法2.间接数据挖掘 没有选出某一具体的变量并用模型进行描述，而是在所有的变量中建立某种关系，如相关性分组（affinity grouping）关联规则（association）和聚类（clustering）等分析方法。7/12/20247/12/202434数据仓库与数据挖掘数据仓库与数据挖掘1.2 数据挖掘的概念与方法数据挖掘的概念与方法l数据仓库与数据挖掘的关系l若将数据仓库（Data Warehouse）比作矿井，那么数据挖掘（Data Mining）就是深入矿井采矿的工作 l数据挖掘是从数据仓库中找出有用信息的一种过程与技术 7/12/20247/12/202435数据仓库与数据挖掘数据仓库与数据挖掘补充：数据挖掘与传统分析方法的区别补充：数据挖掘与传统分析方法的区别l数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知,有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的,即数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识,挖掘出的信息越是出乎意料,就可能越有价值.在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。7/12/20247/12/202436数据仓库与数据挖掘数据仓库与数据挖掘补充：数据挖掘的应用补充：数据挖掘的应用q数据挖掘技术从一开始就是面向应用的。商业：数据库营销（Database Marketing），客户群体划分（Customer Segmentation&Classification），背景分析（Profile Analysis），交叉销售（Cross Selling），客户流失性分析（Churn Analysis），客户信用评分（Credit Scoring），欺诈发现（Fraud Detection）等金融：预测存/贷款趋势，优化存/贷款策略；抽取预测模式；监督交易活动，发现交易规则。信用保险：分析保险客户的要求和信誉，保险风险行为模式以及欺诈行为。7/12/20247/12/202437数据仓库与数据挖掘数据仓库与数据挖掘过程控制/质量监督：鉴别产品执照过程中的缺陷；管理由异常行为引起的通信网络数据。化工/医药：从各中文献中自动提取有关化学反应的信息，发现新的有用的化学成分，分析和解释有利于提高产品质量、改进产品功能和增加公司利润的重要数据。工程与科学数据分析：分析科学数据；数据库模式集成；传感数据分析和处理。司法：帮助调查案件，诈骗检测，洗钱认证，犯罪组织分析等。军事信息系统中的目标特征提取、态势关联规则挖掘等。7/12/20247/12/202438数据仓库与数据挖掘数据仓库与数据挖掘补充：数据挖掘应用案例补充：数据挖掘应用案例l数据挖掘在市场营销中的应用数据挖掘在市场营销中的应用 基于数据挖掘的营销，常常可以向消费者发出与其以前的消费行为相关的推销材料。卡夫(Kraft)食品公司建立了一个拥有3000万客户资料的数据库，数据库是通过收集对公司发出的优惠券等其他促销手段作出积极反应的客户和销售记录而建立起来的，卡夫公司通过数据挖掘了解特定客户的兴趣和口味，并以此为基础向他们发送特定产品的优惠券，并为他们推荐符合客户口味和健康状况的卡夫产品食谱。7/12/20247/12/202439数据仓库与数据挖掘数据仓库与数据挖掘l竞技运动中的数据挖掘竞技运动中的数据挖掘 美国著名的国家篮球队NBA的教练，利用IBM公司提供的数据挖掘工具临场决定替换队员。想象你是NBA的教练，你靠什么带领你的球队取得胜利呢？当然，最容易想到的是全场紧逼、交叉扯动和快速抢断等具体的战术和技术。但是今天，NBA的教练又有了他们的新式武器：数据挖掘。大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。7/12/20247/12/202440数据仓库与数据挖掘数据仓库与数据挖掘 系统分析显示魔术队先发阵容中的两个后卫安佛尼.哈德卫(Anfernee Hardaway)和伯兰.绍(Brian Shaw)在前两场中被评为17分,这意味着他俩在场上，本队输掉的分数比得到的分数多17分。然而，当哈德卫与替补后卫达利尔.阿姆斯创(Darrell Armstrong)组合时，魔术队得分为正14分。在下一场中，魔术队增加了阿姆斯创的上场时间。此着果然见效：阿姆斯创得了21分，哈德卫得了42分，魔术队以88比79获胜。魔术队在第四场让阿姆斯创进入先发阵容，再一次打败了热队。在第五场比赛中，这个靠数据挖掘支持的阵容没能拖住热队，但Advanced Scout毕竟帮助了魔术队赢得了打满5场，直到最后才决出胜负的机会。7/12/20247/12/202441数据仓库与数据挖掘数据仓库与数据挖掘l“尿布与啤酒尿布与啤酒”的故事的故事 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。7/12/20247/12/202442数据仓库与数据挖掘数据仓库与数据挖掘 一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在尿布与啤酒背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。7/12/20247/12/202443数据仓库与数据挖掘数据仓库与数据挖掘l数据挖掘应用到商业银行中数据挖掘应用到商业银行中 数据挖掘技术在美国银行和金融领域应用广泛。金融事务需要搜集和处理大量数据，对这些数据进行分析，可以发现潜在的客户群、评估客户的信用等。例如，美国Firstar银行等使用的Marksman数据挖掘工具，可以根据消费者的家庭贷款、赊帐卡、储蓄、投资产品等，将客户分类，进而预测何时向哪类客户提供哪种产品。另外，近年来在信用记分的研究和应用方面也取得了可喜的进步。Credit Scoring技术就是利用所掌握的客户基本资料、资产以及以往信用情况等，对贷款客户进行评估，作出最有利于银行的决定。7/12/20247/12/202444数据仓库与数据挖掘数据仓库与数据挖掘1.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品l联联机机事事务务处处理理（OLTPOLTP）与与联联机机分分析析处处理（理（OLAPOLAP）的比较）的比较7/12/20247/12/202445数据仓库与数据挖掘数据仓库与数据挖掘1.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品OLAP技术的有关概念：多维数据集、维度、度量值和多维分析；lOLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP lOLAP工具 7/12/20247/12/202446数据仓库与数据挖掘数据仓库与数据挖掘1.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品l数据仓库实施中的三个关键环节l数据抽取；l数据存储与管理l数据仓库面对的是大量数据的存储和管理l并行处理l针对决策支持查询的优化l支持多维分析的查询模式l数据表现 7/12/20247/12/202447数据仓库与数据挖掘数据仓库与数据挖掘1.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品l数据仓库实施方法论l数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败。7/12/20247/12/202448数据仓库与数据挖掘数据仓库与数据挖掘1.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品l常用数据仓库产品比较l常用OLAP工具介绍；l各数据仓库厂商提供的解决方案 IBM、Oracle、NCR、Microsoft、SAS等7/12/20247/12/202449数据仓库与数据挖掘数据仓库与数据挖掘微软公司的解决方案微软公司的解决方案7/12/20247/12/202450数据仓库与数据挖掘数据仓库与数据挖掘1.4 数据仓库系统的体系结构数据仓库系统的体系结构l两层数据仓库体系结构两层数据仓库体系结构 7/12/20247/12/202451数据仓库与数据挖掘数据仓库与数据挖掘1.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来l数据仓库的产生数据仓库的产生l联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来，这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要的一切数据。这个数据中心就叫做数据仓库。简单地说，数据仓库就是一个作为决策支持和联机分析应用系统数据源的结构化数据环境，数据仓库要研究和解决的问题就是从数据库中获取信息的问题。7/12/20247/12/202452数据仓库与数据挖掘数据仓库与数据挖掘1.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来l数据仓库的发展数据仓库的发展1.以报表为主 最初的数据仓库主要用于快速产生企业内部某些部门的报表。2.以分析为主 目的是了解报表数据的含义，需要对更详细的数据进行各种角度的分析。3.以预测模型为主 提供数据采集工具，利用历史资料创建预测模型。4.以营运导向为主 为现场即时决策提供信息。5.以实时数据仓库、自动决策应用为主 决策由事件触发，并自动完成。7/12/20247/12/202453数据仓库与数据挖掘数据仓库与数据挖掘1.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来l数据仓库的未来数据仓库的未来l在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。l在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。l在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，并与Internet/Web技术紧密结合。按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备。7/12/20247/12/202454数据仓库与数据挖掘数据仓库与数据挖掘