DB2数据仓库性能经验

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,效益质量 2006,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,DB2,数据仓库性能经验,2007,年,08,月,电信行业数据仓库应用,0,内容提要,系统,概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素,数据库架构设计,分区的使用及优化,数据仓库的空间管理,应用设计 优化,1,总体技术架构,2,DB2中数据应用举例,3,数据仓库服务器,配置,IBM p5-570(4路1.5GHz POWER5处理器,16GB内存),主机名：p570_dwe；,运行软件：DB2(node1、2、3、4)、Hyperion,服务器A,配置,IBM p5-550(2路1.5GHz POWER5处理器,4GB内存),主机名：p550：,运行软件：OLAP、DB2 node0、Datastage,磁盘阵列,配置,IBM,DS4800(56x73GB磁盘,4GB Cache),划分为9组RAID5，共90个LUN，每个LUN 34G,软件,软件及版本,数据仓库,IBM DB2 8.2,web服务器,IBM WebSphere Application 6.0,ETL工具,IBM Datastage 7.0,软硬件配置,4,内容提要,系统,概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素,数据库架构设计,分区的使用及优化,数据仓库的空间管理,应用设计优化,5,项目中数据仓库的主要性能要素,架构与分区,单事例,模式,数据分层,多节点分区,存储结构,数据空间,索引空间,日志空间,应用数据空间,合理的分区,应用设计,表的分区键,表的索引,SQL优化,数据类型的优化,物理分表,6,数据库架构设计-初版,使用别名跨库访问速度慢,(Db2 7.2)并行load 导致锁表空间,大数据量时日志空间报错,资源分散利用率低，IO差,7,数据库架构设计-优化版,DSS数据仓库,表空间调整后并行load，提高IO、CPU等资源利用率,模式实现虚拟的数据应用层,8,分区的使用及优化,系统性能的提高,CPU/IO,优化后,帐单表 29830644条数据 232,设备表 10997977条数据 16,优化前,帐单表 29830644条数据 102,设备表 10997977条数据 431,9,数据仓库的空间管理,1.数据、索引、日志分开减少应用IO冲突,2.数据库使用的日志表空间=ETL最大事务日志空间,3.采用合理的分区键，使数据分布均匀,Cust.customer_detail,中有cust_id和cert_no,最初采用cert_no做分区键,INSERT遇到的问题？,IO,性能,提高,合理,日志,空间,考虑到空间利用率，最后改变分区键，旧分区键建立索引,select count(cert_no),dbpartitionnum(cert_no),from Cust.customer_detail_200708,group by dbpartitionnum(cert_no),cert_no有部分默认值,Cust_id是唯一标识,独立的,数据空间,10,建表语句中分区与空间管理,CREATE TABLESPACE MID_DATA,IN DATABASE PARTITION GROUP NODEGROUP11,PAGESIZE 32K,MANAGED BY DATABASE,USING,(Device/dev/rmid1_data_lv1 491520,)ON DBPARTITIONNUM(1),USING,(Device/dev/rmid1_data_lv2 491520,)ON DBPARTITIONNUM(2),USING,(Device/dev/rmid1_data_lv3 491520,)ON DBPARTITIONNUM(3),USING,(Device/dev/rmid1_data_lv4 491520,)ON DBPARTITIONNUM(4),EXTENTSIZE 64,PREFETCHSIZE 256,BUFFERPOOL IBMDEFAULTBP,OVERHEAD 12.67,TRANSFERRATE 0.18,DROPPED TABLE RECOVERY OFF;,CREATE TABLE MID.TB_CUST_DETAIL_200708,(BILL_MONTH INTEGER NOT NULL,CUST_ID DECIMAL(16,0)NOT NULL,CUST_SEQ DECIMAL(20,0),CERT_NO INTEGER,BIRTHDAY INTEGER,),DATA CAPTURE NONE,IN MID_DATA,INDEX IN MID_INDEX,PARTITIONING KEY,(CUST_ID,)USING HASHING,NOT LOGGED INITIALLY;,比目录方式性能好,11,应用的优化-SQL,配置 MAXLOCKS列表的百分比,LOCKLIST锁资资源大小,LOCKTIMEOUT,锁等待超时时间,锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁,SQL0911N 死锁或超时,数据库和应用上如何解决呢？,行锁,表锁,优化,项目强制规定,所有事务及时COMMIT,FORCE APPLICATION (ID),12,应用的优化-索引,Insert into cust_bill,Select a.*,b.*,From cust a,bill b,Where a.cust_id=b.cust_id,注：7百万*3亿的接口数据关联,如何从建模和应用上实现优化呢？,Cust和Bill表建模时候是否考虑到主键和外键？,多表关联时候如何确定COST最小？,存储过程和SQL执行比较慢如何定位原因？,应用中复杂,的语句是否,考虑过执,行计划？,reorg修改表的很多信息,runstats 更新统计信息，,一般晚上空闲时候执行,REORGCHK 根据统计公式,计算表是否需要重整,优化器分析SQL,基于成本的优化器,如：关联时,索引扫描而不,是使用表扫描,优化要点,建立合适的索引,避免表扫描,13,数据类型的优化（OLAP）,数据值,数据类型1,数据类型2,备注,ABCDE 123 FGH,CHAR（50）,VARCHAR（50）,可变长,2007.08.28,timestamp,integer,年月日 20070828,DAYOFWEEK、DATE 函数限制,1234567890,VARCHAR（18）,Integer,decimal(18,0),0001234567,+8613612345678,VARCHAR（20）,integer,失真不影响内容,1.提高数据存储空间的利用率，降低系数,2.合适数据类型应用时能提高关联速度,14,大数据量的应用优化,CDR数据,按月进行分表,5月,6月,7月,8月,7百万/月的客户资料，3亿条/月详单数据。,采用分区技术之外，如何提高应用系统性能呢？应用上如何实现？,根据时间或地域,来进行物理分表,如：,表名_200708,表名_20070828,表名_010,表名_地区_年月,使用动态SQL,采用4节点，每个,节点多大数据量？,175万客户资料关联,7500万的数据,15,大数据量分表,1.单个事务数据量小，提高应用执行速度，系统资源压力小。,2.如果ETCL整个过程REDO,避免使用DELETE产生大量日志，影响系统性能。,IMPORT FROM/dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month|_|v_city_id,LOAD FROM/dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month|_|v_city_id|NONRECOVERABLE,16,内容提要,系统,概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素,数据库架构设计,分区的使用及优化,数据仓库的空间管理,应用设计 优化,17,基于DB2的数据仓库应用和展现,18,完毕，,谢,谢！,19,