资源描述
SAP BI知识收集一、SAP NetWeaver BI BI是SAP NetWeaver 的核心组件，它提供了DW、BI 平台、BI套件去最大的获取有用的信息。BI 提供了复杂的报表和分析工具。（图1 ）BI 的关键组件（图2）SAP相关的产品1、 EP：Enterprise Portal，代表企业的前端，就是通过WEB浏览器而不是SAP的专有用户界面提供对SAP的和非SAP资源的门户访问。2、 ECC：SAP ERP Central Component ，以及其前身R/3和R/3 Enterprise 均为联机事务处理系统（OLTP），它们可以满足许多客户日常事务处理的需要。3、 SCM：供应链管理，对业务过程的执行与协调进行流线化操作，从而增强了计划导向的业务过程。4、 CRM：客户关系管理，被用在客户相关的端对端的过程中。可以全方位的审视你的客户和你的企业间不同触点。（图2）BI架构架构可以分为三层： 1、sourcing data 2、storing it in the warehouse 3、reporting on it with analytics二、数据流 BI 详细数据流图 1、DataSource：是BI系统的一个数据对象，用来从源系统抽取和准备数据。三、数据获得层（数据源）（图4）数据获得四、DW层的相关组件（图5）BI数据仓库：物理存储 DW层主要是为企业报表提供需要的数据，对这些数据进行抽取、清洗、集成、管理。包括的有DW、ODS、DM、Open Hub Service；DW为相当长的时间内存储了详细的数据。DW层主要涉及到以下组件：1、数据抽取（Data ETL）（1）Source System ：源系统包括SAP R/3 、Non SAP、XML 、Database。（2）InfoSource ：信息源描述了企业在特定情况下，所有可用主数据或事物数据的总量。数据有一个从数据源到信息源的转入过程。一个信息源由许多信息对象（InfoObject）组成；在BI中，InfoObject是基本的信息载体，用来结构化信息，这些都是数据对象必须的。（3）如何转入数据？通过定义传输规则，定义数据源是怎样转入信息源中。 a、从文件系统中转出数据： 用户可以从文件系统中加载事物数据和主数据，例如：Excel、CVS及ASCII文件。这些文件可以来自用户工作站，也可以来自某一应用程序服务器，可以直接在BI中定义并更新元数据，也就是数据源。 SAP提供用CVS和ASCII格式自动加载平面文件数据。 在文件系统加载前应检查文件的正确性。 b、通过BAPI 方式转入数据： Staging BAPI （分段运输商业应用程序接口），是为了能够在应用层上从非SAP数据中抽取数据，SAP BI提供了一个接口。其作用：一个就是把第三方ETL与SAP BI相连；二是能够提供对SAP BI对象的访问，因此使得客户化的数据抽取程序成为可能。 c、从关系数据库中传输数据： 在缺省的情况下，系统会开通与数据库管理系统得连接，当从SAP内核中初始化一个BI应用程序服务器时，SAP系统在数据库管理系统基础上运行。也可以与更多的数据库相连，就可以访问外部数据库，还可以用SAP支持的数据库管理系统提供的表和视图来转入数据。 在与数据库取得连接的情况下：可以从SAP支持的数据系统中加载数据；将数据库与BI相连形成源系统，直接访问外部关系型数据库管理系统；通过生成数据源，使得BI可以感知到这些元数据。 d、传输XML格式的数据： 通过XML格式的数据与BI的数据在分段传输（Data Staging）相集成，BI在分析外部数据方面的灵活性得到了支持。通过用户联网的HTTP协议，可以把XML格式的数据传输到BI中，还可以把它与统一的数据基础相集成。 这一解决方案的基础是使用SAP Web应用程序服务器提供的SOAP服务。通过这一服务，可以向ABAP环境下的RFC兼容功能模块中传输格式的数据。 为了以XML传输数据，在BI中会生成一个以该文件为基础的特殊数据，该数据源还设有和Delta队列服务连接所需的接口，对每一个XML数据源还生成RFC兼容模块，主要是对Delta队列中的数据进行更新。 e、通过DB Connect：允许相关的数据库直接被连接；它可以与外部数据库管理系统创建一个连接。通过输入元数据和原始数据，这种必须的结构在BI中将被生成，数据就被直接的、有效的加载，这种技术运行在J2EE引擎，也支持J2EE连接架构。 f、通过UD Connect：能够连接几乎所有的相关的、多维的数据源。可以转换、转移像平面文件这种数据。 Relational Source可以用DB Connect，也可以用UD Connect传数据，Multi-dimensional Source是用UD Connect, SAP Source是用BI Service API，File 是用File Interface，XML是用Web Service。 （4）PSA（持续分段传输区域）：用来存放从源系统中获的数据，是一个临时存储区域，为ETL提供一个工作区域；与原系统数据接近，存储时间比DW短，是短期的存储（如果原系统的数据量比较大的话）；可以起到数据备份和源系统数据共享的作用。系统会给每一个数据源及源系统分配一个PSA。数据在PSA中存储时不会发生变化，BI中的数据记录首先被转化成转入结构的格式；随后，对每一个数据包执行一个TRFC程序，转入结构中的数据被写入PSA表（二维表）中并存储在那里，每张PSA表的结构与其相应的转入结构一致。2、聚集（aggregation） Aggregate：优点：提高查询效率；缺点：占据内存空间和处理资源，不能看见近期加载的数据。集成的类型有： （1）Minimum （2）Maximum （3）SUM（是最多的选择）3、BI 加速器（BI Accelerators）加速器解决的是一个执行效率的问题，它用在NetWeaver7.0以及更高的版本。它指引在BI 信息立方体中的信息去创建一个高度压缩的结构能将任何一个用户要求的数据载入到内存。在SAP NetWeaver加速器查询进程完全是在内存中利用高性能聚集技术，然后发送数据到BI 分析引擎为用户输出数据。加速器用的几个地方：（1） 数据进入DW时：原数据向BI系统抽取（2） 数据出去的时候：报表查询加速器涉及到技术：（1）软件技术：TREX：搜索和分类引擎，最早设计是为了非结构的数据（像Google）BI Accelerator ：是用TREX技术（索引、检索、压缩）建立的，去处理结构数据。（2）硬件要求： CPU ：Intel 64 bit 、Supplied：IBMUP 、OS ：Linux SLES 94、数据仓库工作台（DW Workbench） （图6）DWW （1）Modeling ：建立、修改数据库对象和数据转换对象，创建InfoObject、InfoCube、DSO （2）Administration ：数据加载的时间周期、监视和数据的管理；monitor：监视、控制数据的加载过程，创建处理链的执行和监视。 （3）Transport Connection ：BI传输工具的设置 （4）Documents：为文件修改的界面；为BI对象添加、建立、搜索不同不版本、语言、格式的连接。 （5）BI Content：为用户提供活动的内容 （6）Translation：提供语言翻译 （7）Metadata repository ：可以快速查询元对象、交换不同系统间的元数据、用THML页输出元数据列表、显示对象图形。5、InfoCube (信息立方体) InfoCube主要的目标是支持BI查询；它被用于存放长期的总结的、合计的数据。InfoCube的几种类型：（1） RemoteCube: 远程Cube，来自其他DW的Cube（2） MultiCube : 可以综合几个Cube，供使用（3） BasicCube : 信息立方体最主要的功能就是为BI的查询提供服务。（1）InfoCube的几种形式： a、物理数据存储器：包括基本的InfoCube和多个InfoCube b、虚拟数据存储器：包括远程立方体（Remote Cubes）、SAP远程立方体、有服务功能的虚拟信息立方体。 只有基本的InfoCube在物理上才包括数据库中的数据，虚拟的InfoCube只是显示数据集的逻辑化视图。 InfoCube是从一个InfoProvider中获得。 InfoCube将一组InfoObject集合在一起，一个InfoCube包括一组与星型结构相关的表，位于中心的大型实事表包含InfoCube中的主数据，外围的是几个存储InfoCube特征值的多维表；InfoCube的主要数据与维度表的特征值有了关联，这个特征值决定了粒度（精细的程度），主要数据是在InfoCube 进行管理的，逻辑上属于同类的特征值（例如：特点和区域是属于区域维度的）归到同一个维度表中。一个InfoCube可有16个维度表，一个维度表可以由128个特征构成。维表不能大于事实表的20% （2）基本的信息立方体结构：在SAP中，信息立方体是采用的星型模型，由中间一个大的实事表（Fact table）和周围的维度表(Dimension table)构成，实事表和维度表都是关系数据库表格。每个维度表包含多个特性(Characteristics) ；特性里面又包含有属性（Attributes）、文本(Texts) 和层次(hierarchies) 结构。这样做的好处：第一、当实事表和维度表都相当大时，在查询的时候就会影响性能，我们就可以把维度表分成很小的表，由SID相关联。这样就可以提高其性能。第二、可以方便数据的移动、修改。第三、可以实现主数据的共享，不同的InfoCube都可以用这个主数据（星型的扩展模型） Dimension的Key（DIM ID）是由机器自动产生，它是唯一定义维度表的属性值。这个DIM ID 在实事表里是个外键。在实事表里的所有记录都能唯一确定。维表和主数据表是由SID表连接的。维表不包含主数据信息，主数据是被存储在独立的表中。 Classic Star Schema AND BW Schema 的区别： （图）Basic Star VS。 BI Extended Star 上图讲解了经典模型与SAP BW星型模型的区别： 1、在经典模型中，信息立方体由事实表和维度表组成，而SAP星型模型中，信息立方体由事实表、维度表（SID表，存放SID值）、主数表（层次、属性、文本）组成。 2、在SAP BW 中，事实表称为关键值（指标），维度属性称为特性，描述属性称为文本，维度表中不包含主数据。 3、6、DSO（数据存储对象） 在BI中，DSO是一种主要的物理存储对象，它们是被用来存储详细（事物层）的记录。DSO和InfoCube构成了仓库的物理存储。而DSO又是由ODS 和DW所构成。（1）数据存储对象的结构： a 、待激活队列（Activation Queue）：存储代激活数据，激活后删除这些数据。在DTP 过程中，记录首先被写入待激活表。 b 、激活表（Active Data）：存储激活后的数据，通过非模态定义了一个语义的主键（业务关联的）。报表通过BEx用到这张表 c 、变更记录（Change Log）：用于存储新旧记录的变更记录，可以用作其它对象的增量机制。从这个Change Log中连接对象被更新，这些数据要是支持来自DSO用队列方法。Change Log的技术主键包括：请求、数据包、数据记录号。 （图）DSO（2）PSA、DSO、InfoCube的比较： 7、ODS（操作数据存储）Operation Data Store数据从PSA上抽取到，并对数据进行转换、清洗、整理存储在ODS对象，PSA从源系统直接抽到数据，并未对数据进行整理，是低水平的操作需要，不会存储太长时间。在ODS进行整理后的数据可以传递给DW也可以直接用于报表。ODS作用：1、作为PSA和DW的一个缓冲区2、对数据进行整理。1、ODS分类： （1）标准的ODS对象： a 、进入的ODS对象：数据以本来的形式保存后，可以使数据的管理更加兼容。以及对数据进行有选择的更新。 b 、一致的ODS对象：数据以粒度的状态存储，而且被统一化 c 、与应用系统有关的ODS对象：数据根据一些与商业有关的问题集合在一起，这种数据是操作报表问题的基础，用户可以直接使用ODS对象，也可以直接在InfoCube中更新这些数据。(2) 事务ODS对象： 这种数据不需要用户的激活就可以直接用于报表，只包含一组活动的数据，并不包含版本形式的数据，要定义以一个基于事务ODS对象的企业资源管理的查询，用户就必须为事务ODS建立一个信息集（InfoSets）. ODS 对象中的信息存储是透明的，是二维的数据库表。8、主数据（Master） 主数据包括以下几种类型：Text 、Attribute、Hierarchies五、BI platform BI platform 层是提供复杂的分析任务和分析功能的BI 服务。它包括通过BEx 分析导航处理请求数据的分析引擎；在BI 一体化计划过程中，支持进入和操作数据的接口；特殊的分析工具（如：Analysis Process Designer(APD )、DM ）, 对数据的挖掘、合并、处理、存储、分析。1、OLAP services面向事务处理的OLTP环境和面向分析的OLAP环境应该是单个的实体；对商业过程产生的复杂信息不能容易的用来做分析对象，所以数据在最初被清洗(Cleaning) ，然后做技术和规则的准备，数据的分析是来自于知识（Knowledge）；这样就能帮助机构基于这些数据定义商业粒度（Business Strategy），为商业加工（Business Processes）提供支持。最后形成一个闭环。Data WarehouseTransactionsMaster DataBusiness StrategyKnowledgeBI DMBI AnalyticsKM soft infoBusiness ProcessGenerationHomogenizationCleaning操作环境信息环境OLTPOLAP（图）OLAP与OLTP的比较OLAP依靠大量历史的、操作的数据，它允许根据各种商业观点进行多维分析（Multidimensional analyses）。OLAP的种类：（1）、ROLAP：关系数据库使用的OLAP （2）、MOLAP：多维度数据库使用的OLAP （3）、混合OLAP2、planning（计划）3、analysis process designerBW380: 提供详细的分析过程（Analysis Process）和数据集市程序（Data Mining Procedures）APD是引用SAP BI的一部分，提供一种工具去支持复杂的分析任务。4、Data Mining（数据集市）数据集市是一个多维的。数据集市是一个数学法则的运用，很大数据量时，能自动决定你关注的部分和关联很难发现的数据。数据集市可以发现和关联开始隐藏或者没有考虑到的数据。数据集市不仅是数学法则的纯运用，更多的是深入到复杂数据的发现过程；这个过程是反复进行很多步骤。获得有效的结果需要预定执行的步骤去保证数据的质量；同样，在执行数据集市之后，需要对结果评估，是否修改数据集市模型的参数，这是唯一的方法去保证发现感兴趣的、有意义的关联。SAP BI的数据集市的优点: （1）标准的功能 （2）容易使用接口 （3）可以结合到APD （4）提供第三方接口5、Metadata repository Service（元数据库服务） 六、BI suite/BEx Tool set BI 套件里包含了BEx ，能提供复杂的报表和查询工具。1、Query Designer在SAP BI里，BEx Query Designer是一个定义查询的独立工具。在创建查询的时候要选择InfoProvider。（1）可以在BEx Query Designer里创建查询（2）可以改变已经存在的查询（3）在BEx分析器或者WEB浏览器打开查询 InfoProvider：是一个对象，为了信息查询而建立的对象。这个对象里面包括：InfoCube、InfoObject、DSO。InfoProvider它既是物理存储空间，也可以是虚拟存储空间；就是到描述与报表相关的视图和任何对象。只是为了查询收集临时数据，但它不能永久的存储的在那里。我们比较关注的是它2个物理的Infoproviders：InfoCubes 和DataStore objectsInfoProvider的种类： （1）MultiProvider ：MultiProvider和InfoSet可以联合别的InfoProvider到一个逻辑组；为报表提供使用，他们不能持久地存储数据，只是查询需要时收集数据。（图）MultiProvider的概念 MultiProvider与Infoset在概念上十分相似，但他们在技术上的连接有很大的区别，MultiProvider是用合并，而InfoSet是连接（内部连接和外部连接） Infoset：类似数据库视图，实现并发处理收集到不同表。为InfoProvider一种语义上的视图，并且连接他们。支持Infoset的InfoProvider有InfoObjects、DSO、InfoCube。功能：为查询提供信息；内部和外部连接；为依靠时间数据提供短暂连接。它是通过BEx执行的。 用MultiProvider设计查询的时候，实际上是把所有涉及的InfoProviders，独立执行查询，然后再并联起来；这样提供了系统得执行效率。分析的结果是把所有独立查询的结果再合并起来。（3） VirtualProvider：是一个很特殊的概念，就像所有的提供者，发送信息去查询；他只是一个逻辑视图，数据不能物理存储在BI里；这些数据在查询执行后来自源系统。VirtualProvider 的使用范围：A、 为了从SAP源系统获得最新的数据B、 一个小数量的移动C、 在同一时间很少用户去做查询设计工作在一个InfoArea里只能存在同一个InfoProvider。RDA：是一个从不同源系统提供的分析信息框架，前提要这些源系统得数据可用， InfoSource的概念：2、Report Designer3、Web Application designer4、BEx Analysis (Microsoft Excel based) 5、BEx Web Analysis6、BEx General Analysis function7、Information Broadcasting Information Broadcasting 能从接口通过e-mail或者SMS自动的发送有关问题的信息8、Portal Integration七、Administrator Workbench（管理工作台）1、Monitoring2、Scheduling3、Administrator八、Open Hub Service把BI的数据向外部系统传递数据。这些数据的传输，是一个处理链或者（regularly scheduled）。SAP System / ApplicationNon SAP System / Application .SAP BI Open Hub ServiceCRMERPDataMart 所有SAP BI对象服务的数据源：1、 信息立方体（多提供者）2、 DSO3、 信息对象特征（属性、文本） 数据可以用Open Hub Service 、写入数据库表和平面文件从上面的这些数据对象中抽取。 在Open Hub Service 情景里很重要的是Open Hub 目的地，这为数据输出后放在那里提供了很重要的参数。 Open Hub Service 是与数据仓库工作平台相分离的，它是包含在数据流里。 Open Hub Service的功能：1、 支持所有的SAP BI 数据对象：InfoCubes（including MultiProviders）,DataStore objects,characteristic InfoObjects (attributetexts) 2、 分发对象：DB表，CVS格式的平面文件3、 Open Hub 目的地是作为数据流的一部分：数据流选项的使用（如：数据转换）、转移过程的目标对象、自动使用处理链4、 “全局”或“局部”的抽取模式5、 监视器：集成监视器、应用日志 Open Hub Service 的组件：1、 建模：Open Hub 目的地、Open Hub数据源、转换2、 运行：数据转移过程九、ABAP词典 1、SAP 词典中包含了四种类型的表（或结构） （1）聚合表 是SAP特有的结构，它包含了与数据库内其他表的一对多的关系；这个一对多实际上就是数据库表本身。查看SAP 聚合表时，会发现一条表的描述，但它实际上是作为表池（Table Pool）的一部分和其他聚合表一起存储 。 （2）聚簇表 与聚合表类似，他也是以数据库中到其他表的一对多关系为基础的。许多聚簇表都与称为表聚簇（table cluster）的一张大表一同存储。与聚合表的差别是表池内容纳了大量表，而表簇只容纳了一小部分表。 （3）内表 它用于有定义字段结构，但不能存储长期数据，相反它们只在程序执行过程中使用，定义内表的一种简单的方式是把它们描述成在程序执行和处理过程中数据的临时存储者。（4） 透明表表示与一张数据库表的一对一关系，透明表、数据库表和字段包含了与SAP表定义相同的名称。2、表组件 （1）字段：是存储数据的一列 （2）数据元数：SAP数据元数包含的是描述性的字段标签和数据库字段的在线文档。每个字段都需要分配数据元数，接下来是每个数据元数必须分配一个域。（4） 域：域是一种ABAP词典数据对象，它描述了表字段的技术特性；包括类型、长度、格式和存储值。 3、ABAP的词典中的结构和含件 结构是一组在逻辑意义上组合在一起的字段；尽管表内的数据是在数据库中存储，但结构只包含程序在运行阶段临时组织在一起的数据。结构看上去很像ABAP词典中的表，结构一般都会用在ABAP程序设计中，与透明表遵守相同的命名规范。 结构和表的名称不能与ABAP词典中的定义相同 ABAP词典表和结构的3种主要区别是：（1） 结构不包含主键（2） 结构不包含任何技术特性（3） 结构没有关联数据库表注：1、 Infoset：定义了一个数据对象、标准的信息立方体和信息对象（有主数据的特性）的连接。可以说Infoset 是BI 明确的数据视图。在BI套件里可用活动的Infoset去定义查询。2、 SAP XI：Exchange Infrastructure,是可以从SAP系统或者Non SAP向BI系统传输数据。用SAP XI 传输数据是基于SOAP（简单对象的Access协议）；SAP是基于普通的标准，因此能够使外部业务系统集成。在应用中SAP XI提供多应用之间的访问接口，能够很快的进行统间的整合，从而轻松的融入整体业务过程。3、 RFC：Remote Function Call ，远程功能调用；4、 CPI-C：Common Program Interface Communications，通用程序接口通信；5、 EDI：Electronic Data Interface，电子数据交换；6、 OLE：Object Linking and Embedding，对象连接与嵌入；7、 ALE：Application Link Enabling；
展开阅读全文