安徽移动经营分析数据库设计

安徽移动经营分析系统数据库设计规格书安徽移动通信股份有限公司南京联创科技股份有限公司2003 年 9 月修改历史版本号日期编与后修改内容2003/08/26赵懿敏、陈昌辉形成框架、模版2003/09/06陈昌辉完成文档格式调整，参考文献、附件内 容、修改历史。2003/09/08张宇闻、邓玉春完成对象设计部分内容。概述安徽移动经营分析系统属于大规模的数据仓库应用系统，数据库管理系统对数据的管理能力极为重要。经过慎重考虑，选才I DB2 EEE作为数据仓库管理系统，DB2 EEE支持Share Nothing 的结构，支持分节点并行管理数据，各节点使用独立的CPU、内存、I/O通道对数据实现独立的管理，可以提高数据管理的性能。随着安徽移动业务的不断拓展，未来经营分析系统将面临数据扩展的问题。DB2能够自动地实现比较高效的后台数据重分布，这将给我们的系统管理带来极大方便。 总体设计 数据库对象命名规则 数据库命名规则安徽移动经营分析系统数据库采用以下名称：数据仓库：BASS_DW清单数据库：BASS_CDR报表数据库：BASS_RPT系统管理数据库：BASS_MM 节点命名规则安徽移动经营分析系统是基于数据仓库的分析系统，数据量巨大，数据库采用分节点并行管理数据的技术，节点的命名规则如下：NODE_ 。 【注】：SERVERNAME:主机机器名缩写。NN :两位节点序号，从 01, 02, 03 节点组命名规则节点组采用如下命名原则：NDGP_ 。【注】：MM:两位节点数，节点组所包含节点数转换为两位字符，如08:代表该节点组包含 8个节点。NN:两位序号，在命名上区分包含相同节点数的节点组时，采用的两位序号， 如：01,02-表空间命名规则应用数据表空间名称以 TBS开头，后跟表空间类型，最后面为应用子系统缩写代码和流水号，长度不超过 16个字符。具体格式如下表所示: 具体格式如下表所示：表空间类型命名系统表空间SYSTEM临时表空间TEMP_nn接口表表空间TBS_INTF_xxxx_nn,如 TBS_INTF_USRARCH_01资料表表空间TBS_USR_xxxx_nn,如 TBS_USR_USRARCH_01清单表表空间TBS_CDR_xxxx_nn,如 TBS_CDR_VOICE_01中间表表空间TBS_MID_xxxx_nn,如 TBS_MID_USRARCH_01事实表表空间TBS_FACT_xxxx_nn,如 TBS_FACT_KEY_01帐务表表空间TBS_ACCT_ xxxx_nn,如 TBS_ACCT_BILL_01备份表空间TBS_BAK_xxxx_nn索引表空间TBS_IDX_xxxx_nn, 如 TS_IDX_ USRARCH _01【注】：xxxx为某类业务数据的缩写代码；nn为二位的流水号；系统表空间必须具有固定的名称(system)表命名规则表名可以不用包含子系统的名称，本系统中表名的命名规则为：TableTypeAb_FunctionTypeAb其中：TableTypeAb表名类型缩写，由 1 2位元英文字母构成，主要包括：将相关联 的表赋以合适统一的前缀即可，前缀含义如下：Tf_资料表Tf_fact_事实表Td_参数表Tmp_临时表Tp_中间表采用英文名称，除了一些标准的或通用的缩写，如 cdr外，都尽量全部拼写的单词，只有在名字全长超过 32个字母时才考虑进行缩写；不得使用汉语拼音缩写。英文单词的使用应该力求准确、恰当 索引命名规则IDX_PK , FK , UIX , BM_ 其中：? PK用于主键的索引? FK如果索引建立在外键上?UIX Unique 约束?BM Bitmapped 索引? IDX普通索引（Index ）? 表名的缩写? columns short name 索引字段名的缩写约束命名规则PK , FK, UNQ, CHK_PK如果是主键FK如果是外键UNQUnique 约束CHKCheck constraints.table short name 表明缩写constraint name 对于约束的描述数据库设计数据库分库设计针对数据仓库的特点和具体需求情况，将数据库分为四个序号数据库数据库命名软/硬件平台备注1中央数据仓库AMCC_DWIBM P690,AIX UNIX数据仓库2清单存储库AMCC_CDRIBM P690,AIX UNIX清单存储3报表处理数据库AMCC_RPTIBM P690,AIX UNIX报表数据处理4管理数据库AMCC_MDWindows 2000 Server系统管理？安全认证主要用途如下：1 .中央数据仓库：经营分析系统核心数据库，按照企业模型存放所有的资料，不包含往月清单，提供经营分析系统分析数据。2 .清单存储数据库：经营分析系统按照“12+1”3 . 报表处理数据库：为了满足报表需求，同时避免报表数据处理对数据仓库中主题分析 构成影响，因此将报表数据库独立出来，专门用作报表处理。4 . 管理数据库：经营分析系统管理数据库，是专门用来进行系统管理的数据库，存放安全管理数据，系统运行日志等数据。数据库配置参数设计DB2数据的优化一方面是优化运行在数据库上的应用，另一方面就是对数据库和数据库实例本身进行的优化，而对数据库和数据库实例的优化又主要是靠一系列配置参数的调整来达到 的。2.需要调整的数据库实例配置参数和建议值：配置参数名称说明一般配置sheapthres排序堆阈值Sortheap *可能同时连接的不同应用程序数maxagents代理程序的最大数目大于等于 maxapplsIntra_parallel分区内并行开关因为L个分区只有一个CPU,所以该参数 offfcm_num_buffersFcm缓冲区数设的点，这是节点间通信的通道fcm_num_rqbFcm请求块数18000fcm_num_connectFcm连接项数160003.需要调整的数据库配置参数和建议值:配置参数名称说明一般配置dft_queryopt缺省的查询优化级别3dbheap数据库堆4800 * 4klogbufsz日志缓冲区512 * 4kbuffpage缓冲池大小在01ap系统中，建议为系统剩余内存*locklist锁定列表的最大存储器Between (512 * 36 * maxappls) / 4096 and (512*72 * maxappls) / 4096app_ctl_heap_szr应用程序控制堆1024sortheap排序堆大小在01ap系统中，建议为系统剩余内存*stmtheap语句堆大小Sql语句编译的时候使用，8192applheapszr应用程序堆大小384maxlocks最大的锁数量100 * （每个应用程序512锁定*每个锁定 32字节 * 2） / （locklist * 4096 字节）Num_iocleans页清除期数量每一个CPU 一个Num_ioserverI/O服务器数量多少个逻辑卷多少个ioservermaxappls最大的应用程序数此参数指定可与一个数据库连接（本地和远程）的并行应用程序的最大数目logfilsiz日志文件大小根据实际数据量logprimary主日志文件数量根据实际数据量logsecond辅日志文件数量根据实际数据量logretain日志利用类型recovery数据库分区设计鉴于安徽移动经营分析系统数据处理量巨大的特点，同时根据主机平台的配置，我们将数据库进行了分区，共分为8个节点，其中1个节点作为主节点，又称控制节点，其他 7个节点作为从节点。节点命名如下：NODE_YT01, NODE_YT02, NODE_YT03, NODE_YT04,NODE_TL01, NODE_TL02, NODE_TL03, NODE_TL04 。 节点组设计在DB2 EEE中，数据可以跨节点存储，数据存储在表中，表是建立在表空间上的，表空间又是构建在节点组上的，而节点组是由不同的节点（分区）构成的，这样表中的数据就可以 分布在组成该表所在的节点组的各个表分区上。不但可以有多个节点组成节点组，还可以由单个节点组成节点组，大表跨越所有分区组成的节点组，而小表可以放在一个分区内。根据安徽移动的前期交流的结果数据仓库的硬件配置是两台主机，分别配置8个CPU ,32G内存。根据这个配置，我们可以将数据库分8个节点（分区），每个节点2个CPU,8G内存。具体的节点组划分情况如下所示，不同节点组可以使用同一个节点序号节点组名称节点数节点主要用途NDGP_08_018NODE_YT01NODE_YT04, NODE_TL01 NODE_TL04各种清单、帐单；缴费记录、销帐 记录；业务纪录、业务费用纪录、 参数表。NDGP_04_014NODE_YT01 ,NODE_YT03, NODE_TL01, NODE_TL03客户资料、用户资料、个人大客户 资料、集团大客户资料、变更历史、 事实表等NDGP_04_024NODE_YT02 ,NODE_YT04, NODE_TL02, NODE_TL04中间表，记录数在100万以上的事 实表。NDGP_02_012NODE_YT02,NODEYT_04记录数在10 100力事实表NDGP_02_022NODE_TL02,NODETL_04记录数在10 100力事实表NDGP_01_011NODE_YT01记录数少于10万条且一般不与跨 多个节点的表进行关联的表NDGP_01_021NODE_YT03记录数少于10万条且一般不与跨 多个节点的表进行关联的表NDGP_01_031NODE_TL01记录数少于10万条且一般不与跨 多个节点的表进行关联的表NDGP_01_041NODE_TL03记录数少于10万条且一般不与跨 多个节点的表进行关联的表表空间划分原则DB2 EEE以表空间形式存储数据库的数据，包括表、索引、对象（ Object）、序列号 （Sequence）、存储过程等。表空间是DB2 EEE数据库的逻辑结构，每个表空间又由若干的物理数据文件组成。表空间划分应考虑业务管理和应用处理的需要，例如对某类业务数据经常进行独立地处理或维护。同时应兼顾性能的优化，尽量将可能并发存取的数据分布在不同的物理硬盘上使I/O负载均衡，以减少资源竞争和冲突、提高系统处理性能。经营分析系统表空间的划分，遵循了下列原则：应用数据必须与系统数据字典的数据分开存储于不同的表空间。按业务划分数据， 不同应用的数据应存储于不同的表空间， 减小一个表空间的数据影响多个应用。按业务管理需要独立处理或维护的数据， 例如独立进行数据备份或清理， 应考虑存储在独立的表空间。表和索引应分离，需存储在不同的表空间，以便分布到不同的数据文件、硬盘上，并分别进行不同的物理存储参数优化。并行存取的多个分区，应考虑存放在不同的表空间，以控制分区分布到不同的数据文件、硬盘上。相对静态的表和频繁变动的表分开存放在不同的表空间以便分别进行不同的物理参数优化。安徽经营分析系统表空间的划分经营分析系统中， 清单及其他大数据量表存储都分区处理。 因此， 经营分析系统表空间的划分与分区划分相关，即保证不同分区内存取的数据，存储于不同的表空间上，以便均衡I/O的分布，充分发挥和提高系统并行存储数据的性能。经营分析系统表空间具体划分如下：数据仓库表空间划分表空间存储划分麦空间类型节点数麦空间名说明估算容量(GB)节点组数据操作特征表空间主要参数节点*裸设备容量* 裸设备数量系统表空间1SYSTEM系统表空间1GNDGP_01_01Pagesize 16K 缺省）；EXTENTSIZE 16（缺省）；PREFETCHSIZE 16（缺省）1x1G x1届时表空间8TBS_TEMP_DW_01系统临时表空 间，由系统管理96GNDGP_08_01频繁的插入8x4G x3用户临时表空间8TBS_USER_TEMP用户临时表表空 间32GNDGP_08_01频繁的插入8x1G x4参数表表空间8TBS_PARA_DW_01参数表表空间8GNDGP_08_01静态数据8x1G参数历史表空间8TBS_HIS_PARA_DW_ 01参数历史表空间8GNDGP_08_01静态数据8x1G偻口表表空间8TBS_INTF_USRARCH_01客户资料接口表 表空间16GNDGP_08_01导入及删除8x1G x28TBS_INTF_MEMBE R_01成员资料接口表 表空间8GNDGP_08_01导入及删除8x 1G x18TBS_INTF_NETMAc G网管数据接口表 表空间16GNDGP_08_01导入及删除8x 1G x28TBS_INTF_CUSTOMSERVER客服数据接口表 表空间8GNDGP_08_01导入及删除8x 1G x18TBS_INX_INTF_01接口表索引表空 间16GNDGP_08_01导入及删除8x 1G x2用户资料表空间8TBS_USR_USRARC H_01普通用户资料16GNDGP_08_01频繁的插入、修改、删除、 查询4x4G x18TBS_USR_TRADE_01交易数据表空间32GNDGP_08_01频繁的插入、修改、删除、 查询4x4G x28TBS_USR_VIPARC H_01个人大客户数据 表空间8GNDGP_08_01频繁的插入、修改、删除、 查询4x2G x18TBS_USR_GROUPARCH_01集团大客户数据 表空间8GNDGP_08_01频繁的插入、修改、删除、 查询4x2G x18TBS_HIS_USRARC H_01用户资料历史表 表空间64GNDGP_08_01插入、查询4x8G x24TBS_IDX_USRARC H_01用户资料索引表 空间16GNDGP_08_014x4G x14TBS_IDX_H_USRA RCH用户历史资料索引表空间16GNDGP_08_014x4G x1吾音清单表表空间 （含漫游清单）8TBS_CDR_VOICE_01语音清单表表空 间96GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x38TBS_CDR_VOICE_02语音清单表表空 间96GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x38TBS_CDR_VOICE_03语音清单表表空 间96GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x38TBS_IDX_CDR_VOCE语音清单索引表 空间64GNDGP_08_01Pagesize 16K8x4G x2“信清单表空间8TBS_CDR_MESS_01短信清单表表空 间64GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x28TBS_CDR_MESS_02短信清单表表空 间64GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x28TBS_CDR_MESS_03短信清单表表空 间64GNDGP_08_01频繁的导入及查询Pagesize 32K8x4G x28TBS_IDX_MESS短信索引表表空 间32GNDGP_08_01Pagesize 16K8x4G x1吉算清单表空间8TBS_CDR_SEETLE_01结算清单表表空 间64GNDGP_08_01导入、查询Pagesize 32K8x4G x28TBS_CDR_SEETLE_02结算清单表表空 间64GNDGP_08_01导入、查询Pagesize 32K8x4G x28TBS_CDR_SEETLE_03结算清单表表空 间64GNDGP_08_01导入、查询Pagesize 32K8x4G x28TBS_IDX_SEETLE结算清单索引表 空间32GNDGP_08_01Pagesize 16K8x4G x1，他清单表空间2TBS_CDR_OTHER_01其他清单表表空 间32GNDGP_02_01导入、查询Pagesize 16K2x4G x42TBS_CDR_OTHER_02其他清单表表空 间32GNDGP_02_01导入、查询Pagesize 16K2x4G x42TBS_CDR_OTHER_03其他清单表表空 间32GNDGP_02_02导入、查询Pagesize 16K2x4G x42TBS_IDX_OTHER其他清单表索引 表空间16GNDGP_02_02导入、查询Pagesize 16K2x4G x2底务资料表空间8TBS_BILL_MON_01帐单表空间（含 当月和往月）96GNDGP_08_01频繁的插入、修改、查询8x4G x38TBS_IDX_BILL_01帐单索引表空间32GNDGP_08_01频繁的插入、修改、删除、 查询8x2G x28TBS_BILL_PAY_01销帐、收费表空 间64GNDGP_08_018x4G x28TBS_IDX_BILL_PAY销帐、收费索引 表空间16GNDGP_08_018x2G x14TBS_BILL_ACCOUT_01帐务资料表空间64GNDGP_08_01频繁的插入、修改、删除、 查询8x2G x44TBS_IDX_BILL_ACCOUT帐务资料表索引 空间16GNDGP_08_018x2G x11TBS_BILL_OTHER帐务其他数据表 空间（补退费、滞 纳金、呆坏帐等）16GNDGP_01_03频繁的插入、修改、删除、 查询1x4G x41TBS_IDX_BILL_OTHER帐务其他数据索 引表空间4GNDGP_01_03频繁的插入、修改、删除、 查询1x2G x2。间表表空间8TBS_MID_CDR_01通信资料中间表 表空间96GNDGP_08_018x4G x38TBS_IDX_MID_CDR通信资料中间表 索引表空间32GNDGP_08_018x2G x24TBS_MID_USRARC H_01用户资料中间表 表空间16GNDGP_08_018x2Gx14TBS_IDX_MID_US RARCH用户资料中间表 索引表空间8GNDGP_08_018x1Gx14TBS_MID_BILL_01帐务资料中间表 表空间16GNDGP_08_018x2Gx14TBS_IDX_MID_BIL帐务资料中间表 索引表空间8GNDGP_08_018x1Gx14TBS_MID_OTHER_01其他资料中间表 表空间8GNDGP_04_014x2Gx14TBS_IDX_MID_OTHER其他资料中间表 索引表空间4GNDGP_04_014x1Gx1”实表表空间4TBS_FACT_DATA_01事实表表空间192GNDGP_08_018x4G x64TBS_IDX_FACT_01事实表索引表空 间40GNDGP_08_018x1G x51TBS_FACT_DATA_02事实表表空间20GNDGP_01_014G x51TBS_IDX_FACT_02事实表索引表空 间4GNDGP_01_012G x2日志文件系统8无米用文件系统240G频繁的读、写8x30合计2053G注：数据仓库磁盘划分内容较多， 本划分方案为估算后的方案， 实际运行过程中可以根据 实际情况进行调整， 在创建数据仓库时表空间划分可以小于上述容量， 在运行过程中进行增加O 各节点数据存储分布按照上表方案，各节点数据分布情况如下:序号节点名存储容量（GB）存储设备类型NODE_YT01209裸设备NODE_YT02238裸设备NODE_YT03204裸设备NODE_YT04238裸设备NODE_TL01248裸设备NODE_TL02206裸设备NODE_TL03232裸设备NODE_TL04206裸设备日志240文件系统合计1781清单数据库表空间划分 表空间存储划分表空间类型节点数表空间名说明表空间估算容 量(GB)节点组数据操作特征表空间主要参数节点*裸设备容量*裸 设备数量系统表空间1SYSTEM系统表空间1GNDGP_01_01Pagesize 16K 缺省）；EXTENTSIZE 16（缺省）；PREFETCHSIZE 16（缺省）1x1G x1缶时表空间1TBS_TEMP_CDR系统临时表空间， 由系统管理64NDGP_08_01频繁的插入PREFETCHSIZE 328x4G x2参数表表空间8TBS_PARAM_CDR参数表表空间8NDGP_08_018x1x1青单表表空间8TBS_CDR_BAK_01清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_CDR_BAK_02清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_CDR_BAK_03清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_CDR_BAK_04清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_CDR_BAK_05清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_CDR_BAK_06清单表表空间320GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x58TBS_IDX_CDR_BAK清单表索引表空 旬256GNDGP_08_01导入及查询PREFETCHSIZE 328x8G x4手计2221G三志文件系统8日志文件系统文件系统328x4注：由于存储空间不足，目前只设计存储六个月清单的存储容量，若需存储12个月则需要增加存储设备。各节点数据存储分布按照上表方案，各节点数据分布情况如下:序号节点名存储容量(GB)存储设备类型NODE_YT01281裸设备NODE_YT02281裸设备NODE_YT03281裸设备NODE_YT04281裸设备NODE_TL01281裸设备NODE_TL02281裸设备NODE_TL03281裸设备NODE_TL04281裸设备日志32文件系统合计2221报表数据库表空间存储划分表空间类型节点数表空间名说明节点组表空间估算容量(GB)数据主要操作特征表空间主要参数节点*裸设备容量*裸设备数量系统表表空间1TBS_RPT_SYSTEM系统表表空间NDGP_01_011Pagesize 16K（缺省）；EXTENTSIZE 16（缺省）；PREFETCHSIZE 16（缺省）1x1 x1届时表表空间1TBS_RPT_TEMP_01临时表表空间NDGP_08_0164读写8x4 x2用户临时表表空间8TBS_RPT_PARAM用户临时表表空间NDGP_08_0124读写8x1x3参数表表空间8TBS_RPT_PARAM参数表表空间NDGP_08_018查询8x1x1资料表表空间8TBS_RPT_USRARCH_01资料表表空间NDGP_08_0164读取、修改8x4x2资料表索引表空间8TBS_RPT_IDX_USRARCH_01资料表索引表空间NDGP_08_0116读取8x2x1帐单表空间8TBS_RPT_BILL_01帐单表空间NDGP_08_0196读取、修改8x4x3帐单索引表表空间8TBS_RPT_IDX_BIL帐单索引表表空间NDGP_08_0116读取、修改8x2x1L_01清单汇总表表空间8TBS_RPT_DETSUM _01清单汇总表表空间NDGP_08_01320读取、写入、修改8x8x5清单汇总表索引表空 旬8TBS_RPT_IDX_DETSUM_01清单汇总表索引表空 间NDGP_08_0132读取、写入、修改8x4x1中间表表空间8TBS_RPT_MID_01中间表表空间NDGP_08_0164读取、写入、修改8x4x2中间表索引表空间8TBS_RPT_IDX_RPT _01中间表索引表空间NDGP_08_018读取、写入、修改8x1x1单节点表空间1TBS_RPT_NODE1_02单节点表空间NDGP_01_02161x4x8单节点索引表空间1TBS_RPT_IDX_NODE1_01单节点索引表空间NDGP_01_0261x2x3双节点表空间2TBS_RPT_NODE2_01双节点表空间NDGP_02_01322x4x4双节点索引表空间2TBS_RPT_IDX_NODE2_01双节点索引表空间NDGP_02_0161x2x3数据库日志8数据库日志，使用文件 系统808x10合计761各节点数据存储分布按照上表方案，各节点数据分布情况如下:序号节点名存储容量（GB）存储设备类型NODE_YT0191裸设备NODE_YT0295裸设备NODE_YT0392裸设备NODE_YT0495裸设备NODE_TL0176裸设备NODE_TL0276裸设备NODE_TL0376裸设备NODE_TL0476裸设备日志80文件系统合计761系统管理数据库系统管理数据是运行在 WIN2G SERVER环境下的DB2 UDB EE数据库，存储设备为普通 PC SERVER硬盘，数据库中数据存储对象为表容器。同时，存储量较小，不作划分设计。 分表设计由于某些数据的数据量十分巨大，为了保证数据处理的性能，要尽量避免把这些数据放在一张表中，这样就需要对数据的存储进行数据分割，数据分割的方式一般有：分区、分表两种 方法，由于DB2数据只支持数据库分区，不支持表的分区（数据库分区也能将数据分割），因 此只能进行分表存储。并不是所有数据都需要进行分表处理，由于DB2数据库能够进行数据库分区，数据在每个分区上可以均匀分布，因此数据已经进行了分割，本设计只对每个分区上数据量大于1000万条记录的表进行分表设计。 二五幸圭的 I口日俏串安徽移动用户目前每月产生的语音清单大约在5-6亿之间，按照500万用户的估算公式，用户数（500万）X 30 （每月天数）X 8 （每天平均话单数）=12亿。安徽移动一个月的语音话 单大名在12亿左右。根据分区的结果， 将数据库分为8个分区，分区后数据得到了分流，缓解了一部分性能压力，但由于语音清单的数据量特别巨大，所以对语音清单进一步进行分表存储。分表的原则： 尽量让数据分散，同时尽量考虑便于编写应用程序。根据这个原则，对于当月语音清单，采用 如下分表原则：由于数据库分为 8个分区，每个分区管理 8分之一的数据，仍然太多，在此基础上，用六 张表存放一个月的清单，即从一日起每五天一张表。31日的数据放在最后一张表中。这样每个节点上的每一张清单表的数据量按照通用计算方法约为：12亿+ 8+ 6=2500万，按照目前实际情况计算约为：6亿+ 8+ 6= 1250万。按照清单在线存储 12+1个月的要求，共有01 12十二个月的清单数据， 再对每个月进行 分表，分成六张表，将语音清单分为78张表。短信清单短信清单的数据量与语音清单相差不大，且发展趋势是增长的趋势，故短信清单的的分表方法与清单表一样。首先，即按照分区结果，短信数据分布在 8个分区上；其次每月的清单每五天存放在一张表中，中央数据仓库中存用六张表存放当月短信清单，清单存储库中用72 （12X 6）张表存放往月12个月的短信数据。 网间结算清单网间结算清单的数据量约为语音清单的一半，考虑到已经将数据库分为8个分区，且该部分数据一般不需作即席查询，通过网间结算清单形成中间汇总数据后，一般不会再使用，顾只 考虑按月进行分表，中央数据仓库中，用一张表存放当月结算清单数据，清单存储库中用12张表存放往月12个月的结算数据。 物理存储用途划分安徽移动经营分析存储设备采用EMC SYMMETRIX DMX2000-3磁盘阵列，配置裸容量17520GB , （RAID5）24CACHE ,单盘容量146GB （注：实际数字会少于这个数值）。做完RAID5后，进行裸设备和文件系统的划分，预计损失存储比例 25%,有效存储空间约为：17520Gx 75%=13140G。上述存储容量用于两部分，主要用于数据仓库（含报表数据库、清单数据库）存储、多维 数据库和系统管理文件系统，其中数据仓库的存储主要使用裸设备，多维数据库和系统管理文 件系统采用文件系统。大致的分配方法如下：数据仓库（裸设备）：中央数据仓库：清单备份库：（六个月）报表数据库：1T系统管理文件系统：用于接口文件、数据库日志、数据库全备份、系统管理。多维数据库文件系统（5T）文件系统一：2T文件系统二：2T文件系统三:1T数据库备份、恢复策略 数据备份根据不同的情况，需要对数据库进行不同类型的数据备份，各种备份的备份工作汇总如下:序号备份类型备份周期备份方式保存周期备份结果保存方式数据库全备份一月（每月 三日晚）Backup二个月备份到文件系统，压缩后 备份到磁带库。表空间的备份周Backup一个月转移到其它路径或其它 存储设备备份重要表备份周Export三个月转移到其它路径或其它 存储设备备份数据库日志备份周Copy三个月备份到文件系统，压缩后 备份到磁带库。数据库配置备份周Db2 get dbm cfg永久转移到其它路径或其它 存储设备备份数据转储备份每月核查， 超过存储周 期备份。Export保存到磁带。说明：由于清单数据库数据量太大，且营帐系统也有备份，因此不考虑对清单数据库进行备份。数据库恢复数据库可能由于硬件和 /或软件故障而变得不能使用，同时由于接口数据出错而造成数据回退的情况下，也可能需要作恢复，不同的故障情况可能需要不同的恢复操作。这里主要介绍通过备 份出来的数据库备份文件恢复数据。数据库全恢复在数据库损坏，无法启动或正常工作的情况下，可以通过数据库全备份产生的文件来完全恢复数据库，恢复后的数据库与进行数据库全备份时的的数据库一致。表空间的恢复可以通过数据库表空间备份产生的文件局部的恢复数据库的某个或几个表空间，恢复后的表空间与进行表空间备份时的表空间一致。重要表数据恢复对通过重要表的备份数据进行数据恢复，可以使用 import 命令进行恢复。数据库日志恢复一旦数据库日志文件遭到破坏需要恢复，可以将备份的数据库日志文件拷贝到日志目录下。数据库配置恢复db2 的数据配置包括两部分：管理数据库配置参数和数据库配置参数。通过修改命令，恢复配置。磁盘划分参见附件： 错误！链接无效。系统容量要求计算和扩容要求语音清单语音话单（含智能网）每张按230 字节计算，考虑10 的漫游；500 万移动用户，平均每天产生8 条通话记录，每天产生4000 万话单。话单清单在线保存12 1 个月，每个月按30 天计算；数据库存储考虑30 索引和冗余。传统语音话单净存储容量要求计算公式：（5000000 X 8 X30 X 230） XX 13数据业务、其他新业务容量数据业务、其它新业务（ CMnet、GPRS、移动梦网等）服务使用记录的数量按传统话音业务的40考虑，每张服务使用记录在抽取前平均按400 字节考虑；话单清单在线保存12 1 个月，每个月按30 天计算；数据库存储考虑30 索引和冗余。（5000000 X 8 X30 X 400） XXX 13结算清单结算话单数量按以上两项的40 考虑，话单长度平均按200 字节考虑；话单清单在线保存12 1 个月，每个月按30 天计算；数据库存储考虑30 所以和冗余。（5000000 X 8 X30 X 200） XXX X 13 y用户账单、用户资料档案、用户交易处理记录平均每个用户客服、咨询、投诉每季度1 次，每个记录1K ，存放 3 年，共 36 笔，考虑30%的索引和冗余，则500万用户客服咨询投诉的记录存储容量为：1K X 36 X X 5000000y224GB ；用户业务历史数据平均每笔5K 字节（包含业务受理日志和联机指令处理日志等），平均每位用户办理各种业务 6 笔（以 3 年为期计算）；考虑30的索引和冗余，则500 万用户的业务历史数据存储容量为：5K X 6笔X 500万弋186GB ;综合帐务数据（t音、短信、 WAP、GPRS）平均每人每月5K字节（包含各种帐务费用数据和交费日志数据），考虑30 的索引和冗余，则500 万用户的综合帐务数据在线保存3 年的记录存储容量为：5K X 500万X X 36个月y；用户静态资料平均每人10K 字节（包含所占用的号码、 SIM 卡资料等）；考虑30 的索引和冗余，则 500万用户的静态资料的存储容量为：10K X 500万X =;合计：224GB+186GB+ y中间表的存储中间表的存储每月按照 200G 计算， 考虑到要保存历史， 但清单表只保存重度汇总的结果，保存一年的历史，初步估算需要,。事实表和多维数据存储事实表按照平均每张300M 计算， 考虑30 的索引和冗余，按照 300 张事实表计算： 300MX X 300 弋 253G ;多维数据存储采用 MOLAP 的方式，多维存储的容量要求大约是事实表的 4-7 倍，这里用7 倍 ,由于要进行CUBE 分拆， 平均分拆为 2 个。 考虑20 的计算列冗余，维存储的空间要求为：253G X 7X 2 X弋。（本估算值属于比较保守的估算，实际容量可能大于这个数值。）ETL 接口文件通话清单、结算清单、帐单、客户营业及客服交易记录、客户资料等数据的接口文件在线保存一个月。客户资料15%增量 /月；综合帐务数据5 K /人月，每个用户每月2次，则综合帐务的存储量为500万X 5K X2X 1个月y；用户业务数据5 K /人笔，平均每位用户办理各种业务6笔（ 3年内）；客户静态资料每人10 K 字节；客服交易数据1 K / 人笔，平均每位用户客服交易记录36 笔（ 3 年内）；客户资料存储量为：10Kx 500 万 X 15% + 5KX 500 万 X 6/36+1K X 36 X 500 万/36 = + +； ；通话清单存储容量=（5000000 X 8X 30 X 230） X弋290GB ;结算清单：一个月大约 150G ；ETL和ODS有效存储容量：（+ +290+150 ）弋500GB。数据仓库备份、文件系统管理容量为了对数据仓库进行全备份以及文件系统的管理，需要配备相应的文件系统，预计容量。数据仓库原始数据量合计及扩容建议合计：+19T;因此总的有效存储容量要求在19T 以上。安徽移动目前有效存储 13T ，需要进行扩容 , 以增加有效容量6T（ 裸盘容量大约，建议尽早着手准备。权限设计权限的范围安徽 BASS 系统数据仓库主要有四个方面的权限：1 为分析人员提供数据查询权限；2 为维护人员提供维护权限；3 为内部程序提供相关的操作，创建等权限；4 . 数据库管理员权限。权限分配的原则为了保证数据的安全，对权限分配使用原则：? 分析人员只能对事实表数据查询；? 不同分析人员查询数据的范围，应当明确规定；? 维护人员只能对维表数据操作，但不能对表操作；?不同维护人员维护的范围应当明确规定；?内部程序不分配超过其所需权限的权限；?内部程序的用户名/密码应当保密；?数据库管理员拥有对数据库的全部权限BASS数据仓库权限实现的方法数据仓库以 旧M DB2为平台，使用 DB2的权限管理方法，结合主机系统的权限管理，来实现 数据仓库权限管理。DB2权限管理通过对系统用户的管理来实现：首先在主机系统上建立用户；然后使用DB2赋权语句按上述要求为其分配权限。对象设计模型设计（E-R图）客户主题客户包括安徽移动能获取其资料的所有在网客户和潜在客户，客户可分为个人客户和集团客户。客户实体记录客户的基本信息，其他实体记录本范围内特定信息。个人大客户和集团大 客户都是客户的一部分，其基本信息在客户实体中统一记录，集团大客户成员是集团大客户中 单个客户的信息。黑名单、离网客户实体分别记录我们所关注的这些客户群体特征。客户群是客户分群项目的结果，它描述了各个客户群的特征以及营销对策建议。一个客户分群项目可能产生多个客户群，并规定其启用时间、有效期等。同时，本主题从省、营业区、业务区几个层面对可能的地域信息进行了统一编码。本主题主要实体间的关系如下表示：实体关系实体关系说明客户-个人客户个人客户是客户的一部分，通过客户类型确定一个客户是否个人客户。个人客户信息记录在客户实体中客户-集团客户集团客户是客户的一部分，通过客户类型确定一个客户是否集团客户。集团客户基本信息记录在客户实体中，特殊信息记录 在集团客户实体中。客户实体和集团客户实体通过单位标识关 联客户-个人大客户个人大客户是客户的一部分，通过大客户标识确定一个客户是否大客户。个人大客户的基本信息记录在客户实体中，特殊信息记录在个人大客户实体中。个人大客户实体和客户实体通过客户编码关联。客户-集团大客户集团大客户是客户的一部分，通过大客户标识确定一个客户是否大客户。集团大客户的基本信息记录在客户实体中，特殊信 息记录在集团大客户实体中。集团大客户实体和客户实体通过客户编码关联。集团大客户-集团大客户成员集团大客户成员既是集团大客户的一部分，也是客户的一部分，集团大客户成员的基本信息记录在客户实体中，和集团大客户有关的信息记录在集团大客户实体中，特殊信息记录在集团大客户成员实体中客户-客户群一个客户可以归不同的用户群，一个用户群包含多个客户，二 者是多对多关系，客户细分实体反映客户在不同客户群中的从 属关系。服务主题服务主题抽象核心是用户及服务类型，通过描述功能/通话级别/漫游级别/主体服务、服务类型、用户/用户群、客户之间的关系，使本主题逻辑模型具有层次性、可继承性。用户是安徽移动产品的定购者，跟安徽移动间存在商业契约关系。客户订购一个产品时就产生一个用户。服务类型是安徽移动提供的一组业务功能，捆绑了若干相关的功能、资费、优 惠规则、通话级别和漫游级别。用户选择了某一种服务类型以后，还可以自己定制功能和业务。本主题主要实体间的关系如下表所示:实体关系实体关系说明客户-用户一个客户可以拥有零个或多个用户；一个用户只属于零个或 一个客户。用户-服务类型一个用户至少对应一个服务类型；服务类型对应零个或多个 用户。服务类型-服务品牌一种服务类型只属千-个品牌；一个品牌拥有一个或多个服 务类型。用户-功能用户订购了一个服务类型之后，可以在服务类型功能的组合 关系允许范围内，对功能进行个性化的定制用户-套餐一个用户可以拥有零个或者多个套餐用户-用户群一个用户可以属于零个或多个用户群；一个用户群必须有一 个以上用户。资源主题资源主题主要记录了安徽移动的各类资源的情况，包括卡资源、号资源、营业点、代销点 的信息，同时还说明这些资源之间的关系，比如说卡、号资源可以分配到营业厅或者代销点。本主题主要实体间的关系如下表所示：实体关系实体关系说明代销商-代销点一个代销商可以拥有一个代销点；一个代销点只属千-个 代销商。服务使用主题服务使用主题主要记录客户使用产品的过程，包含了业务系统产生的数据量最大也最有价值的信息。本主题主要实体间的关系如下表所示:实体关系实体关系说明用户-清单一个用户拥有零条或多条清单；一条清单属千-个用户。帐务主题帐务主题主要反映客户与帐户之间的关系，包括费用发生、 费用交付等。一个客户拥有个或多个帐户，一个帐户由多个帐本组成，一个用户的不同帐目可以由不同帐户的账本支付。付款记录是客户从不同渠道的缴费的详细记录，根据用户付款当时的帐务情况、付款之后可能进行了销账，也可能转成了用户预存费用。本主题主要实体间的关系如下表所示：实体关系实体关系说明客户-帐户一个客户拥有零个或多个帐户；一个帐户只能被一个客户拥 有。帐户-帐务关系一个帐户可以有零个或多个帐务关系；一个帐务关系对应一 个帐户。帐户-帐本关系一个帐户拥有一个或多个帐本；一个帐本属千-个帐户。用户-明细帐单一个用户可以有零个或多个明细帐单；一个明细帐单对应一 个用户。用户-综合帐单一个用户可以有零个或多个综合帐单；一个综合帐单对应一 个用户。付款记录-销账记录一条付款记录对应零条或多条销账记录；一条销账记录对应 零条或一条付款记录。结算主题结算主题重点描述了结算帐单、结算清单之间的关系；同时按一定的原则对结算清单做了分类归并。结算类型、结算规则、结算费用项目是本主题域着重描述的结算帐单属性。本主题主要实体间的关系如下表所示：实体关系实体关系说明结算清单-结算帐单一个结算清单对应一个或多个结算帐单的结算帐目；