Powercenter 基础知识介绍 - 1

Powcenter Lookup Transformation parse error昨天同事跟我说他做的lookup 出现很奇怪的错误，override sql 明明是好好的，但到workflow里跑就出了问题，这个override 里有查询优化的语句，还有分析函数，跑是就是莫名其妙少了语句。后来在网上找了一些资料，问题终于解决。How to do:For other SQL overrides, configure the followingcustom propertyin the Administration Console for the Integration Service:lookupOverrideParsingSetting=1Restart the integration server, the problem has been settled.Powercenter 基础知识介绍 - 11Install & Concept1.1Powercenter的安装，架构，组件及其主要功能；1. 安装Powercenter 7.12,8.11客户端，知识库服务器及Informatica服务器件；需要指定注册码;在本机上建立供测试用的的Informatica Server；2.7.12的Windows的一台机器上只能装一个这样的Server，建立时需要指定关联的库；除了需要指定注册码外，还需要指定数据库连接许可码；知识库服务器没有关联的名称，只有端口，指定密码；4. 用知识库管理器（Repository Manager）添加已存在的知识库服务器；添加知识库时，指定知识库名称和登入用记户，连接时还需指定密码以及知识库的IP和端口；5. 用知识库服务器管理平台（Repository Server Administration Console）连接，管理知识库服务器以及创建新的知识库以及删除知识库；添加时指定知识库服务器所在机器名（或者IP）和端口，登入时再输入密码；登入后可以在当前的知识库服务器上创建新的知识库（新建的知识库有两个默认的用户，没有文件夹），也可以对已经存在的知识库作如下管理操作：启动，关闭知识库，备份与恢复，查看当前连接，当前锁及活动日志，向用户发布消息等等；1.2服务器端组件及相互关系：1. 知识库是元数据的集合，存放在数据库中，可以使用多种数据库作为知识库（包含的数据库对象包括表OPB_XXX，索引和视图REP_XXX）；具体原数据表说明可以参考后面介绍.2. 知识库服务器用来控制各个组件（Designer，Workflow，Informatica Server等）对知识库的存取；3. Informatica Server用来控制Workflow的实际运行；4. 机器的某个端口上可以建立一个知识库服务器；5. 一个知识库服务器管理一到多个知识库；6. 一个知识库与一到多个Informatica Server关联；1.3客户端组件及相互关系：1. Designer用来设计Mapping（包含Source数据源，Transformation数据处理和Target目标，与ETL一一对应）；2. Session是Mapping的实例化（相关的数据库对象或者文件都要指定正确的连接方式或者目录）；3. Workflow Manager用来组织一个或多个Session来实际运行；4. Workflow Monitor用来监控Workflow的运行；1.4组件关系图2Repository & Designer manager2.1Repository Manager1. 用户，组和权限A. 用户名和一个密码对应，组没有密码；B. 一个用户属于一到多个组；C. 默认有两个用户（Administrator，另一个用户与知识库同名）和两个组（Administrators，Public）；D. 权限可以赋给用户，也可以赋给组，有八种权限（Browse Repository，Use Designer，Use Repository Manager，Use Workflow Manager，Administer Repository，Administer Server，Super User，Workflow Operator，许多权限需要和文件夹权限结合使用，详细说明可参考帮助文档）；E. 用户成功登录后可以更改密码；F. 用户被Disable后不能够登入；G. 默认的用户和组的权限无法更改，也无法删除这些用户与组或更改用户的组；2. 文件夹A. 文件夹是Powercenter对象的集合，文件夹有如下属性：名称，属主，所属组，状态，权限许可，是否可共享；B. 文件夹的权限许可分为三种：Read（查看文件夹中的所有对象），Write（在文件夹中创建对象以及更改文件夹中已有的对象）Execute（执行或排程文件夹中的Workflow）；C. 不同用户对文件夹的权限分为三类：属主，所属组，知识库，可以对这三类用户设置权限许可；D. 当文件夹可共享时，可以在其它文件夹中创建对这个文件夹中对象的捷径或者复制这些对象，这个属性设为共享后就不可再更改回来；3. 对象锁和用户连接A. 知识库管理锁来控制对知识库的并发更新；B. 因为网络故障或者Powercenter客户端或者服务器的异常关闭，可能会出现一些遗留锁或者遗留连接，需要管理员手工关闭；附Powercenter知识库:学习Informatica：元数据库Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，且非常有用的表及视图介绍一下。基于这些东西，我们即可以根据不同的需求查出自己需要的数据，也可以开发一些辅助的Infa应用程序。OPB_ATTR:INFORMATICA(Designer,Workflow等)设计时及服务器设置的所有属性项的名称，当前值及该属性项的简要说明例如：ATTR_NAME:TracingLevelATTR_VALUE:2ATTR_COMMENT:Amountofdetailinthesessionlog用途：可以通过该表快速查看到设计或设置时碰到的一些属性项的用途与说明OPB_ATTR_CATEGORY:INFORMATICA各属性项的分类及说明例如：CATEGORY_NAME:FilesandDirectoriesDESCRIPTION:Attributesrelatedtofilenamesanddirectorylocations用途：查看上表所提的属性项的几种分类及说明OPB_CFG_ATTR:WORKFLOWMANAGER中的各个Folder下的SessionConfiguration的配置数据，每个配置对应表中一组Config_Id相同的数据，一组配置数据共23条例如：ATTR_ID:221ATTR_VALUE:$PMBadFileDir用途：查看所有的SessionConfiguration的配置项及值，并方便的进行各个不同Folder间的配置异同比较OPB_CNX:WORKFLOWMANAGER中关于源、目标数据库连接的定义，包括RelationalConnection,QueueConnection,LoaderConnection等例如：OBJECT_NAME:Orace_SourceUSER_NAME:oralUSER_PASSWORD:?53S$+*$*XCONNECT_STRING:Oratest用途：查看在WorkFlowManager中进行配置的所有连接及其配置数据OPB_CNX_ATTR:上表所记录的所有数据库连接的一些相关属性值，一种属性值一条数据。例如对于RelationalConnection类的连接，有附加三个属性，对应该表则有三条记录，分别记录其RollbackSegment,EnvironmentSQL,EnableParallelMode的属性值，分别对应ATTR_ID为10,11,12例如：OBJECT_ID:22ATTR_ID:10ATTR_VALUE:1（代表EnableParallelMode为选中）VERSION_NUMBER:1用途：查看所有配置好的连接的相关属性值，及一些环境SQL及回滚段设置，方便统一查看及比较OPB_DBD:INFORMATICADESIGNER中所有导入的源的属性及位置例如：DBSID:37DBDNAM:DSS_VIEWROOTID:37用途：关联查看所有源的属性OPB_DBDS:INFORMATICAMAPPING中所引用的源，即Mapping与上表中源的对应关系例如：MAPPING_ID:3DBD_ID:4VERSION_NUMBER:1用途：查看一个定义了的源被哪些Mapping引用过，作为他的源或给出Mapping名，根据OPB_MAPPING表关联，可以查看该Mapping引用到哪些源OPB_EXPRESSION:INFORMATICADESIGNER中所有定义了的表达式例如：WIDGET_ID:1003EXPRESSION:DECODE(IIF(TYPE_PLAN!=05,1,0),1,QTY_GROSS,0)用途:通过与OPB_WIDGET表关联,查看整个元数据库中的所有Expression转换模块中的表达式定义OPB_EXTN_ATTR:WORKFLOWMANAGER中的EditTasks时的Mapping页中，选中Targets时，其相关属性的设置值。每个属性值一条记录。例如：ATTR_ID:2ATTR_VALUE:ora_test1.bad用途：通过关联直接查看所有Session的相关目标表数据加载设置OPB_FILE_DESC:INFORMATICA中所有文本文件的读入规则定义，如分隔符等例如：STR_DELIMITER:11,FLD_DELIMITER:9,44,0CODE_PAGE:936用途：查看系统中不同的文本的规则定义Informatica的元数据包括了我们在开发与配置时所碰到的所有数据，当然理论上我们可以通过直接修改数据库值来更改设置，但列出这些表的用途，仅是给大家一个查看信息的简便方法，即使对元数据库很熟了，也强烈建议不要直接修改元数据表的值，而应该通过Informatica工具来进行更改。OPB_GROUPS:INFORMATICA中所有组的定义例如：GROUP_ID:2GROUP_NAME:Administrators用途：查看当前系统中所设置的所有组Informatica的元数据包括了我们在开发与配置时所碰到的所有数据，当然理论上我们可以通过直接修改数据库值来更改设置，但列出这些表的用途，仅是给大家一个查看信息的简便方法，即使对元数据库很熟了，也强烈建议不要直接修改元数据表的值，而应该通过Informatica工具来进行更改。OPB_GROUPS:INFORMATICA中所有组的定义例如：GROUP_ID:2GROUP_NAME:Administrators用途：查看当前系统中所设置的所有组OPB_MAPPING:INFORMATICA中所有Mapping的存储，并存储着Mapping的一些如最后一次存储时间、说明等属性信息例如：MAPPING_NAME:m_PM_COUNT_BILLMAPPING_ID:1521LAST_SAVED:03/27/200620:00:24用途：这张表的用途非常大，可以通过本表数据的查询，得出如某个时间以后修改过的所有Mapping，所有失效了的Mapping，这个表的更大作用是和其他表作关联，得出更多Mapping相关的信息OPB_MAP_PARMVAR:INFORMATICA中Mapping的所有参数的定义，及其初始值等相关信息例如：MAPPING_ID:1538PV_NAME:$DP_ENABLE_RAND_SAMPLINGPV_DEFAULT:0用途：查看系统作所设置的所有参数信息，与OPB_MAPPING关联可以根据所给出的Mapping名查看该Mapping下所设置的所有参数信息OPB_METAEXT_VAL:IINFORMATICA元数据扩展信息，记录了在设计中，所扩展的所有元数据相关信息以下是某个Session的元数据扩展例如：METAEXT_NAME:COMMENTOBJECT_TYPE:68(Session)PM_VALUE:TheLinksMainTable,DesignbyJack用途：查看在设计中所有扩展了的元数据信息，通过关联可以查看指定对象的元数据扩展信息，帮助集中查看了解设计过程中的一些信息OPB_OBJECT_TYPE:INFORMATICA设计中所有对象的定义表例如：OBJECT_TYPE_ID:1OBJECT_TYPE_NAME:SourceDefinition用途：可以查看到现在INFOMATICA所定义了的所有对象，可作为其他表的关联维表，查看某个对象的所有相关信息OPB_PARTITION_DEF:SESSION中所有的PARTITION定义例如：SESSION_ID:2578PARTITION_NAME:Partition#1用途：通过关联，根据Session的名称，查出该Session所包含的所有Partition设置OPB_REPOSIT:INFORMATICAREP服务器配置相关信息例如：DATAVERSION:5002PEPOSIT_NAME:hnsever用途：查看INFORMATICAREP服务器配置信息OPB_REPOSIT_INFO:INFORMATICAREP数据库连接配置信息例如：REPOSITORY_NAME:TEST-REPDB_USER:infa_userDB_NATIVE_CONNECT:infa_connHOSTNAME:hnseverPORTNUM:5001用途：查看INFORMATICAREP服务器数据库连接配置信息OPB_SCHEDULER:WORKFLOW中的所有SCHEDULER设置信息表例如：SCHEDULER_ID:81SCHEDULER_NAME:Scheduler_DAY_10START_TIME:3/13/2005/00/20用途：该表记录了所有的SCHEDULER信息，以及它的各项属性设置，方便整体进行考虑各个SCHEDULER间的调度配合OPB_SERVER_INFO:INFORMATICASEVER服务器配置信息例如：SERVER_NAME:INFA_SEVERTIMEOUT:300HOSTNAME:hnseverPORT_NO:4001IP_ADDRESS:196.125.13.1用途：查看INFORMATICASEVER服务器配置信息OPB_SESSION:WORKFLOW中的所有Session，记录了Session与Mapping的对应关系及Session相关的一些基本属性例如：SESSION_ID:11MAPPING_ID:3用途：查看Session与Mapping对应关系，通过关联得出Session名与Mapping名的对应OPB_SESSION:WORKFLOW中的所有Session，记录了Session与Mapping的对应关系及Session相关的一些基本属性例如：SESSION_ID:11MAPPING_ID:3用途：查看Session与Mapping对应关系，通过关联得出Session名与Mapping名的对应OPB_SESSION_CONFIG:记录了WORKFLOW中所有Session的Config配置信息例如：CONFIG_NAME:default_session_configCOMMENTS:Defaultsessionconfigurationobject用途：查看当前系统中所有配置了的SessionConfig信息OPB_SESS_FILE_REF:INFORMATICA抽取过程中的所有FlatFile与Session的相关关系定义例如：SESSION_ID:682FILE_ID:66用途：查看整个系统中的FlatFile源的相关情况OPB_SESS_FILE_VALS:系统中所有FlatFile文件的具体情况，包括文件名、路径等例如：SESSION_ID:1560FILE_NAME:PTM_LU_CHILD.txtDIR_NAME:$PMSourceFileDirPTM用途：通过关联可以查看到Session相关的Flat文件名及其路径，以及查看系统所有相关Flat文件及统计OPB_SESS_TASK_LOG:这是INFORMATICA对于Session运行的所有日志的信息记录，并且记录下Session的出错情况。例如：INSTANCE_ID:6MAPPING_NAME:m_ASSET_SUB_ACCOUNTLOG_FILE:C:ProgramFiles.s_ASSET_SUB_ACCOUNT.logFIRST_ERROR_MSG:Noerrorsencountered.用途：这是在查Session运行情况的最终要的表之一，可以最简便的得到Session是否运行正常及当初错时的首个错误简要信息，以及日志文件的位置OPB_SRC:INFORMATICADESIGNER中所定义的所有源例如：SRC_ID:12SUBJ_ID:27FILE_NAME:AM_EQP_ASSESSSOURCE_NAME:AM_EQP_ASSESS用途：通过Subj_Id的关联，可以查出每个Folder中所有定义了的源OPB_SRC_FLD:INFORMATICA中源表的所有字段的定义例如：FLDID:82SRC_ID:12SRC_NAME:FLAG_ID用途：关联上表，得出该源表的所有字段，及其定义和相关属性值OPB_SRV_LOC_VARS:INFORMATICA系统服务器配置中，所有的系统变量及变量的当前值例如：VAR_ID:13VAR_NAME:$PMRootDirVAR_VALUE:D:ProgramFilesInformaticaPowerCenter7.1.1Server用途：查看当前服务器的所有系统变量及其当前值OPB_SUBJECT:INFORMATICA中所有主题定义，即所有Folder的定义及相关属性例如：SUBJ_NAME:OAMSUBJ_ID:2GROUP_ID:3用途：Folder的ID是其他很多表的外键，作为其他表的关联，可以查看该Folder下的所有相关对象信息OPB_SWIDGET_INST:记录一个Session中所用到的Mapping引用到的所有对象及其相关属性，即细到每个转化模块一条记录例如：SESSION_ID:11MAPPING_ID:3INSTANCE_NAME:LKP_OTHER_CHECK11PARTITION_TYPE:1用途：查看每个Session所引用到的所有对象，及其当前的属性值OPB_SWIDGINST_LOG:INFORMATICA运行后，所有运行了的Session中相关源及目标对象的运行日志，即运行的时间，抽取的数据成功条数等例如：TASK_INSTANCE_ID:92PARTITION_ID:1PARTITION_NAME:Partition#1WIDGET_NAME:SQ_SHIFT_CODEAPPLIED_ROWS:723START_TIME:2004-11-48:48:12END_TIME:2004-11-48:48:31用途：这是INFORMATICA运行后，对每个对象的运行情况的最详细的日志记录，对于数据正确性的检查，性能的调优等有着很重要的参考价值OPB_SWIDG_GROUP:在INFORMATICADESIGNER中Union_Transformation模块上的所有Group的定义表例如：SESSION_ID:1410GROUP_NAME:PM_GROUP1用途：该表单独记录了Union_Transformation模块上所有设置了的Group，可以通过关联查出一个Session上所有的UnionGroup定义OPB_TABLE_GROUP:在INFORMATICADESIGNER中RouterTransformation模块上的所有Group的定义表.例如：OBJECT_ID:3409ATTR_VALUE:FROM_ID=xx用途：该表单独记录了RouterTransformation模块上所有设置了的Group，以及Group的分组条件，可以通过关联查处出一个Mapping中Router的所有分组设置及其分组条件OPB_TARG:在INFORMATICADESIGNER中所有目标表的定义OPB_TABLE_GROUP:在INFORMATICADESIGNER中RouterTransformation模块上的所有Group的定义表.例如：OBJECT_ID:3409ATTR_VALUE:FROM_ID=xx用途：该表单独记录了RouterTransformation模块上所有设置了的Group，以及Group的分组条件，可以通过关联查处出一个Mapping中Router的所有分组设置及其分组条件OPB_TARG:在INFORMATICADESIGNER中所有目标表的定义例如：TARGET_ID:3SUBJ_ID:2TARGET_NAME:HAM_DEPT用途：该表存储了所有的目标表定义，通过关联可以查出某个Folder下所有的目标表定义OPB_TARGINDEX:在INFORMATICA中对目标表，可进行Index的定义，该表存储了所有目标表Index的定义例如：TARGET_ID:1626INDEXNAME:IDX_AUDIT用途：查出所有在INFORMATICA中进行的Index定义，及相关目标表信息OPB_TARGINDEXFLD:INFORMATICA中目标表上进行了Index定义的相关的所有字段例如：INDEXID:6FLDNAME:AREC_BILL_ID用途：进行关联查出在INFORMATICA中进行了Index定义的表及其字段OPB_TARG_FLD:INFORMATICA中所有目标表的字段信息例如：TARGET_ID:131TARGET_NAME:CHECK_PROPERTY用途：查看目标表的所有字段信息，或给出字段名，查找该字段在那些目标表中出现过OPB_TASK:WORKFLOW中所有Task的记录，包括Session，Worklet，WorkFlow等例如：TASK_ID:1717TASK_NAME:s_OAM_LOG_ARR用途：该表是Workflow关于Task的记录的主表，通过关联可以查出某个folder下所包含的所有Workflow、Worklet、Task等，以及查出一个Workflow下的所有TaskOPB_TASK_ATTR:该表记录了Task的所有属性值，每个属性一条记录例如：ATTR_ID:2ATTR_VALUE:s_AM_ASSET_TYPE.log用途：查看相关Task的属性设置，查找系统中同一属性设置的所有TaskOPB_TASK_INST:Task实例表，与OPB_TASK表信息类似，但该表主要突出的是Workflow与Task的关系，而OPB_TASK表是Task的基表例如：WORKFLOW_ID:9INSTANCE_NAME:s_USED_KIND用途：查找一个Workflow下的所有Task信息OPB_TASK_INST_RUN:该表记录了所有Task每次运行的日志信息，包括当前的运行起始时间，服务名等例如：INSTANCE_NAME:s_ASSET_ACCOUNTSTART_TIME:2004-11-315:20:01END_TIME:2004-11-315:20:08SERVER_NAME:ETL-SVR用途：该表记录了Task每次运行的日志信息，其中关于时间的信息对于性能调优有着极其重要的作用，也可以观察同一个Task，一段时间的运行效果，评估服务器的运行情况等OPB_TASK_VAL_LIST:该表记录了某些Task中的属性值，例如CommandTask中的Command值例如：TASK_ID:2990PM_VALUE:DEL“D:FILE_LIST.TXT”VAL_NAME:DELETE用途：可以查看当前系统中设置的任务属性值，也可查看所有的Command的命令值OPB_USERS:该表记录了RepManager中所设置的所有用户，及其相关属性例如：USER_ID:5USER_NAME:DEMOUSER_PASSWD:hG634$7.USER_PRIVILEGES1:79用途：可以查看系统中INFORMATICA所定义了的所有用户及相关属性OPB_USER_GROUPS:该表记录了RepManager中用户与组的关系例如：USER_ID:2GROUP_ID:3用途：查看一个组中存在哪些用户，或关联出每个用户到底属于哪个组OPB_VALIDATE:该表纪录Designer或WorkflowManager中设计开发时，所有Validate的信息例如：OBJECT_ID:4INV_COMMENTS:ReplacedsourceV_RCT_CREDITduringimport.用途：查看同一个对象的历史Validate信息，查看对象的修改历程OPB_VERSION_PROPS:该表纪录了系统中各种对象的当前版本信息，最后的修改时间。包括最小到各个Mapping中的各个模块的当前版本信息。OPB_VALIDATE:该表纪录Designer或WorkflowManager中设计开发时，所有Validate的信息例如：OBJECT_ID:4INV_COMMENTS:ReplacedsourceV_RCT_CREDITduringimport.用途：查看同一个对象的历史Validate信息，查看对象的修改历程OPB_VERSION_PROPS:该表纪录了系统中各种对象的当前版本信息，最后的修改时间。包括最小到各个Mapping中的各个模块的当前版本信息。例如：OBJECT_ID:5OBJECT_NAME:FLT_CLM_BDLLAST_SAVED:08/20/200622:52:29用途：查看系统中各模块对象的最后更改时间。OPB_WFLOW_VAR:该表纪录了Workflow的中，各个系统变量的定义，是Workflow设计过程中，所有各模块间系统变量的设计纪录例如：SUBJECT_ID:2VAR_NAME:ErrorMsgVAR_DESC:ErrormessageforthistasksexecutionLAST_SAVED:08/20/200622:38:41用途：查看Workflow中相应的系统变量的设计OPB_WIDGET:该表是所有Mapping中的所有转换模块的基础信息表，记录了每个转换模块的基础信息例如：WIDGET_NAME:AGG_PIM_RESWIDGET_TYPE:9IS_REUSABLE:0用途：可以与其他表进行关联，按条件查出需要各个基础的转换模块OPB_WIDGET_ATTR:该表是OPB_WIDGET的子表，记录了每一个转换模块的各种属性值。一个模块的一个属性占一条记录。例如：WIDGET_ID:2WIDGET_TYPE:11ATTR_VALUE:$PMCacheDir用途：该表纪录了所有的转换模块的所有属性值，是在做某属性查找时非常有用的一个基础表，通过与其他表的关联即可得出同一设置的所有转换模块的信息OPB_WIDGET_FIELD:该表纪录了各个转换模块中所有字段的定义例如：WIDGET_ID:4FIELD_NAME:IN_PL_CDWGT_PREC:10WGT_DATATYPE:12用途：可以实现对某个字段名称的统计与查找OPB_WORKFLOW:该表是Workflow定义的一个基表，记录下Workflow的关系信息例如：WORKFLOW_ID:6SERVER_ID:0SCHEDULER_ID:3用途：该表主要可以用于作关于Workflow的各种相关查找的关联表REP_DB_TYPES:该表记录了INFA所支持的数据库的类型例如：DATYPE_NUM:3DATYPE_NAME:ORACLE用途：该表是系统的一个基础代码表，用于显示INFA所支持的所有数据库类型REP_FLD_DATATYPE:该表记录了INFA所支持的各种数据类型以及INFA所支持的各种数据库的数据类型例如：DTYPE_NUM:3001DTYPE_NAME:charDTYPE_DATABASE:ORACLE用途：该表是系统的一个基础代码表，用于显示INFA所支持的所有数据类型REP_SRC_KEY_TYPES:该表记录了INFA在源定义中所设定的所有键值类型例如：KEYTYPE_NUM:1KEYTYPE_NAME:PRIMARYKEY用途：该表是系统的一个基础代码表，用于显示INFA源设计中，所有支持的键值类型REP_TARG_KEY_TYPES:该表记录了INFA在目标定义中所设定的所有键值类型例如：KEYTYPE_NUM:2KEYTYPE_NAME:FOREIGNKEY用途：该表是系统的一个基础代码表，用于显示INFA目标设计中，所有支持的键值类型REP_TARG_TYPE:该表记录了INFA的目标表类型例如：TARGET_TYPE:1TYPE_NAME:DIMENSION用途：表是系统的一个基础代码表，用于显示INFA设计中，所有支持的目标表类型