BI基础知识

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,BI,基础知识,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,各种概念之间的关系,Data Warehouse,Artificial,Intelligence,Data Mart,OLAP,Decision Support System,Data Mining,Operation Database,Business Intelligent System,Database System,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,BI,是将,数据,转换成,信息,的过程，然后通过发现将信息转化为,知识,。,Gartner Group,BI,是将,数据,转换成,知识,并将知识应用到商业行为上的一个过程。,Data Warehouse Institute,商业智能领域：,DSS,、,OLAP,、数据仓库、,ETL,、数据集市、数据挖掘、商业建模,.,为提高企业运营性能而采用的一系列方法、技术和软件的总和,商业智能,Business Intelligence,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,企业数据仓库,EDW,企业数据仓库定义：,详细交易及相关业务数据的集合􀂋,包含必要的内部与外部信息􀂋,来自于多个数据源,/,业务操作系统􀂋,保存一定的时间周期􀂋,按照企业内业务规则所决定的模型来存储,企业数据仓库作用：,基于数据,/,信息来回答相关的业务问题和提供决策支持，并确保：一致、集成的数据存储􀂾,任意的数据粒度􀂾,在整个企业的业务范围􀂾,保持企业内一致的信息视图,企业内一致的信息视图,（,Single Version of the Truth,）,集成的企业信息（,Integrated corporate information,）,不针对特定应用（,Application neutral,）,无冗余（,Non redundant,）,用于报表和决策支持（,Reporting and decision making,）,最详细的数据和信息,（,Detailed Data,）,任何时候，针对任意数据，提出任意业务问题,（,Ask any question, any data, any time,）,数据仓库的特点,数据仓库领域的两位大师,Bill Inmon,数据仓库之父，数据仓库概念的创始人,理论：,Corporate Information Factory(CIF),主要著作：,数据仓库,、,企业信息工厂,主要著作：,数据仓库工具箱维度建模的完全指南,、,数据仓库生命周期工具箱 设计、开发和部署数据仓库的专家方法,Ralph Kimball,数据仓库方面的知名学者,理论：,Mutildimensional Architecture(MD),企业信息工厂,数据仓库总线,企业总线,总线架构矩阵,数据架构形态,各数据架构比较,Inmon vs Kimball,Inmon,Kimball,Overall approach,Top-down,Bottom-up,Complexity of the method,Quite complex,Fairly simple,Data Orientation,Data derived,Process oriented,Primary audience,IT audience,End user,Tool,3NF,Dimensional Modeling,Architectural structure,Enterprise wide ,Data warehouse feeds department databases,Data mart model a single business process,Enterprise consistency achieved through bus,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,OLTP,与,OLAP,针对特定问题的联机数据访问和数据分析技术,满足对数据进行多角度、快速、一致、交互、深入观察,使用预定义的多维数据视图对数据进行分析处理，支持对数据的切片、切块、钻取。,多维数据库是一种以多维数据存储形式来组织数据的数据管理系统，在使用时需要将数据从关系数据库中转载到多维数据库中方可访问。,也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统,(Real time System),。衡量,联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间,(Response,Time),，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。,OLTP,数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。,On-Line Analytical Processing,On-Line Transaction Processing,OLTP,与,OLAP,OLTP,OLAP,用户,操作人员,低层管理人员,决策人员,高级管理人员,功能,日常操作处理,分析决策,DB,设计,面向应用,面向主题,数据,当前的,最新的细节的,二维的,历史的,聚集的,多维的集成的,统一的,存取,读,/,写数十条记录,读上百万条记录,工作单位,简单的事务,复杂的查询,用户数,上千个,上百个,DB,大小,100,MB-GB,100,GB-TB,ROLAP,表示基于关系数据库的,OLAP,实现（,Relational OLAP,）,MOLAP,表示基于多维数据组织的,OLAP,实现（,Multidimensional OLAP,）,ROLAP,MOLAP,沿用现有关系数据库技术,专用技术,响应速度相对,molap,要慢,性能好，响应速度快,数据转载计算速度快,数据转载速度慢,存储空间耗费小，维数没有限制,需要进行预计算，可能导致数据爆炸，维数有限，无法支持维的动态变化,借助,rdbms,对数据存储，无文件大小限制,受操作系统平台文件大小限制，难以达到,tb,级,可以通过,sql,语句实现详细数据和概要数据的存储,缺乏数据模型和数据访问的标准,不支持预计算的读写操作,无法完成维之间的运算,无法完成多行计算,支持高性能的决策支持计算,复杂的跨维计算,多用户读写操作,行级计算,ROLAP,vs MOLAP,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,DSS,产品,产品名称,产品内容,方法论,数据仓库项目组织步骤、人员角色、建设放方案等一系列方法的集合，指导方针,数据仓库,数据模型的建模方法；,统一的概念模型、逻辑模型；,数据库中对应的组织（物理化,）,技术组件与功能,ETL,功能组件；,前端门户组件、模版；,元数据管理；用户与组织；,权限组织；,应用分析集合,面向业务的分析；,面向问题的专题；,固定报表；,即席查询分析；,KPI,；,分析、互动流程,数据组织过程与个性应用实现,数据的加载、清洗、组织规划的过程；,用户本地的需求整理与实现；,与开发者的经验、技能相关,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,数据挖掘,改变未来世界的十大新兴技术,机器与人脑的接口,塑胶晶体管,数据挖掘（,Data Mining,）,数字权利管理,生物测定学（,Biometrics,）,语言识别处理,微光学技术（,Microphotonics,）,解开程序代码（,Untangling Code,）,机器人设计,微应用流体学（,Microfluidics,）,资料来源：,Technology Review,（麻省理工学院,2002,年,1,月出刊,）,什么是数据挖掘？,定义：,从,海,量的数据库,中选择、探索、识别出有效的、新颖的、具有潜在效用的乃至最终,可理解的模式,以获取,商业利益,的非平凡的过程,-,Fayyad，Piatetsky-Shapiro,特征：,处理海量的数据；,揭示企业运作中的内在规律；,为企业运作提供直接决策分析，并为企业带来巨大经济效益。,Data,Information,Knowledge,Wisdom,Data + context,Information + rules,Knowledge + experience,数据挖掘涉及领域,神经计算,数据库,知识发现,数据挖掘,统计学,模式,识别,机器学习,人工,智能,数据挖掘基本概念,模型（,Model,）,vs,模式（,Pattern,）,数据挖掘的根本目的就是把样本数据中隐含的结构泛化（,Generalize,）到总体（,Population,）上去,模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析,模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析,算法（,Algorithm,）：一个定义完备（,well-defined,）的过程，它以数据作为输入并产生模型或模式形式的输出,描述型挖掘（,Descriptive,）,vs,预测型挖掘（,Predictive,）,描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征,预测型挖掘：根据观察到的对象特征值来预测它的其他特征值,描述型挖掘可以是目的，也可以是手段,几类基本的挖掘算法,关联规则（模式、描述型）,发现数据集中的频繁模式,例如：,buy(x,”diapers”),buy(x,”beers”) 0.5%, 60%,分类与预测（模型、预测型）,发现能够区分或预测目标变量（唯一的）的规则或者函数,分类的目标变量一般是范畴型的，而预测则是数量型的，并不必然带有任何时间延续型的暗示,例如：股票市值的预测，病人病情的判断,聚类（模型、描述型）,对数据分组以形成新类，类标记是未知的,例如：市场细分,孤立点探测（,Outlier Detection,）（模式、预测型）,分析异常或噪声数据的行为模式,例如：欺诈检测,BI,各概念关系,商业智能,数据仓库,OLAP,技术,DSS,产品,数据挖掘,商业智能工具,主题,工具分类,建模工具：,Powerdesigner,、,Erwin,ETL,工具：用于数据的集成和处理,Datastage,、,Infomatic,、,Automation,数据质量工具：一般集成在,ETL,工具中,分析工具：,报表工具：,BO,、,COGNOS,、,OBIEE,、,MicroStrategy,OLAP,工具：,COGNOS,、,BO,、,OBIEE,(Hyperion),BI,分析门户：一般集成在分析工具中,数据挖掘工具：,SAS Enterprise Miner,、,SPSS Clementine,元数据管理工具：,metacenter,、,CA,、,Infomatic,