河北移动经营分析系统技术方案汇报

一、经营分析系统建设历程及使用情况 二、经营分析系统2.0工程项目介绍 经营分析2.0工程建设目标 经营分析2.0工程总体应用构架 经营分析2.0工程总体技术构架 经营分析2.0工程模块细节技术构架 三、项目管理计划 四、工程建设中的难点及解决方案2003年2004年2005年2007年 20032003年年BASS1.0BASS1.0项目启动项目启动，即河北移动经营分析，即河北移动经营分析系统一期工程启动，并系统一期工程启动，并于于20032003年年1212月上线月上线。TERADATA数据仓库5350主机共6个节点，18T裸存储。配套服务器6台。接口机两台。初步建立数据仓库平台，并形成九大主题应用，初步核对数据质量，进行全省推广。启动河北移动经营分析系统二期工程。扩容增加数据仓库5380主机6个节点，18T裸存储。进行一经系统开发和专题应用开发，逐步开展省内自主需求。初步建立boss互动接口，和数据质量监控机制，进一步完善数据质量。2005年启动经营分析 系统三期工程。三期工程为充分发挥系统性能，减少投资，进行系统优化，转变扩容思路，进行数据压缩和数据优化工程。效果显著，工程实施后节省7.5T存储，节省一期扩容投资。扩充分扩充分析功能析功能构建应用构建应用平台平台建立运营建立运营管理机制管理机制丰富数丰富数据源据源 2006年启动经营分析系统四期工程，即经营分析1.5。硬件数据仓库扩容4个5450节点，16T裸存储，增设7台配套服务器。进行经营分析1.5开发，建立数据集市系统，构建应用平台，完善数据管理流程，深化重点应用，加大推广力度，经营分析系统应用效果明显。2007年启动经营分析系统五期工程，即经营分析2.0。计划硬件数据仓库扩容6个5450节点，24T裸存储。整合经营分析系统门户，深化数据业务和集团客户应用，加强地市数据集市应用，建立运营管理机制。2006年2008年专题分析专题分析 功能：基本来自于集团公司规范，结合省内需求进行开发。现状：基本满足规范和业务部门使用。主要对象：省公司市场部、客服部业务主管。问题：业务部门介入不足，经营分析系统开发人员对业务熟悉程度不够。难以组织和市场结合较为紧密的专题分析。正式统计需求正式统计需求 功能：定期统计的数据分析。市场监控、考核为主。现状：基本满足业务部门的使用，需求呈上升趋势 主要对象：省公司市场部、客服部业务主管 问题：缺乏统一管理，需求较分散，部分需求重叠；口径难以维护，同一指标存在口径差异；经营分析系统应用现状经营分析系统应用现状 经营分析系统的数据质量基本满足需求。经营分析系统指标口径管理较弱。地市公司明细数据分析需求量增大。经营分析系统的应用缺乏业务层面的整理和规划。经营分析系统应用组织形式，基本以孤立的报表和多维分析为主。综合分析展现能力不强。功能：集团公司以规范形式下发的开发需求。现状：部分满足集团公司的要求。主要对象：省公司市场部、客服部业务主管 问题：集团公司规范规定了大范围框架，部分细节内容省内没有需求。为满足集团公司检查，导致部分应用成为鸡肋。集团公司规范开发内容集团公司规范开发内容 功能：临时提出统计要求。市场突发情况分析、营销活动跟踪。现状：基本满足业务部门使用。需求大幅度上升。明细数据需求逐步增多。主要对象：省公司和地市分公司业务主管。问题：缺乏统一管理，需求较分散，业务部门习惯采取该方式，导致缺乏整体规划和梳理，难以形成典型的应用。临时需求临时需求经分系统资源增长情况现状经分系统资源增长情况现状：2007年排名前四名的业务模块：有竞争对手相关分析；集团客户业务相关分析；电子渠道相关分析；区域化管理分析由于排名前四的业务模块导致经分使用的骤增，见下图：一、经营分析系统建设历程及使用情况 二、经营分析系统2.0工程项目介绍 经营分析2.0工程建设目标 经营分析2.0工程总体应用构架 经营分析2.0工程总体技术构架 经营分析2.0工程模块细节技术构架 三、项目管理计划 四、工程建设中的难点及解决方案经营分析2.0工程系统设计容量应能满足到2008年年底的2800万客户增长、话务量增长以及业务发展的要求。本期工程建设遵循经分2.0规范（2.0版），达到以下建设目标：增加中央业务平台等新数据源；建立统一的经营分析门户，将经营分析系统应用渗透到市场经营的各个环节；增强地市数据集市支撑能力，分担分公司的个性化应用，加强支撑一线营销的能力；建立数据业务深度运营管理平台（以下简称深度运营平台），提高对数据业务的专项支撑能力；优化系统资源，提升系统效能；建立数据质量监控机制，完善数据管理能力。通过本期工程建设，重点提升经营分析系统对数据业务、渠道管理、集团客户管理和客户服务方面的支撑能力，并通过经营分析门户将信息推送给广大的一线营销人员，提升市场前沿竞争能力。经分与数据源互动经分与数据源互动数据质量管理系统管理角色管理安全管理角色设置DSMP平台数据彩铃平台数据网管系统数据BOSS数据客服数据集团客户应用区域化应用营销管理应用数据业务汇总集团客户汇总基础数据存储营业营业客服客服计费帐务计费帐务网管系统网管系统应用层应用层汇总层汇总层基础层基础层DSMPDSMP平台平台彩铃平台彩铃平台通过元数据管理应用，进一步完善数据质量个性展示智能推送权限管理交流平台集市应用深度运营平台用途厂商类型推荐型号数量备注数据仓库NCR小型机NCR54506新增数据仓库设备应用结果数据库服务器IBM小型机P5502新增配套服务器ETL服务器IBM小型机P5702新增配套服务器web服务器HP小型机RX66002新增配套服务器接口机IBMPCServer38502新增配套服务器前端测试IBM小型机P5502新增配套服务器存储设备EMC存储阵列CX3-8012T新增配套存储数据仓库存储NCR存储阵列NCR545024TB数据仓库配套存储系统前台登录经分认证模块统一认证平台MSTR认证模块MAS认证模块经分数据库MSTR知识库微软域验证合法用户KPI模块生成动态系统OLAP展示即席查询报表展示系统管理通过验证未通过验证 经营分析门户 数据质量管理系统 数据业务深度运营 地市数据集市 优化管理 一经接口系统功能系统功能功能描述功能描述系统和自定义列表系统和自定义列表由管理员定义的提供系统信息的页面单元展现页面。定义的页面单元可以作为用户主页中页面单元的备选页面单元。由用户自行进行定义的页面单元的展现页面页面定义和风格设置页面定义和风格设置为用户提供页面布局方案的设置、页面风格设置、系统资源查找等功能，为用户提供页面配色方案等展现风格的设置资源访问及单点登录资源访问及单点登录经营分析门户接收用户的认证请求，将用户请求信息发送到统一认证平台，由统一认证平台为合法用户生成用户身份凭证，并将凭证反馈至经营分析门户，从而完成用户登录认证过程。其他其他还提供资源搜索、内容页面集成、系统帮助、模块注册和数据交换系统功能系统功能功能描述功能描述业务流程的整合整合经营分析系统所有前端业务流程。通过角色分组来实现不同的业务用户可以进行不同的定制。KPI的整改重新开发经营分析前端功能和界面增加前期比同期比等相关功能重新开发经营分析前端功能和界面，增加KPI红绿灯和告警功能重新开发经营分析前端KPI相关的界面，要求更加易用重新开发经营分析前端功能和界面,改造KPI权限权限管理平台改造KPI权限目前到地市，增加权限到县及更细粒度的功能工作组划分为地区小的业务工作组，不在需要按照地域划分系统前端调整公告栏的改造MSTR报表权限的改造OLAP权限的改造 经营分析门户 地市数据集市 数据质量管理系统 数据业务深度运营 优化管理 一经接口 采取的是物理集中式建设模式 数据库平台与经营分析主数据库采用不同的异构数据库 在地市数据集市系统中原则上不进行大数据量运算，而是直接将在数据仓库运算完毕的结果数据导入数据集市 数据集市中的个性化分析数据也会根据市场部门的需要返回数据仓库，供全省推广使用技术架构数据集市的数据存储采用独立的存储方式，不与经营分析主系统的存储方式同步。数据存储的类型以及存储周期主要根据地市的实际需求设计数据存储完成集团规范中要求的各种分析功能为地市技术人员提供了自主访问的功能，即地市技术人员可登录数据集市数据库，自主完成其个性化需求的运算。业务功能访问方式采用与经分主系统统一门户的访问方式。为各地市提供了自主的展示途径省中心，由省经营分析系统的维护人员定期发布，地市技术人员自主开发应用访问方式数据仓库主系统与数据集市子系统将是互为平衡的两个系统，在业务方面，不同类型的业务可能在数据仓库与数据集市间平衡，在技术方面，不同性质的运算也可能在数据仓库与数据集市间平衡数据仓库与数据集市在未来将是会共同完成经营分析系统的工作，功能不同拓展方式 满足集团公司关于地市数据集市的要求；省公司的使用人员能看到数据集市开发的公共报表，此部分报表为经分开发的报表，满足省公司和地市公司的通用需求；地市开发人员能根据下放的报表工具制作报表，在开发报表的同时，必须保证只能看到本地区的数据；地市的使用人员通过登陆数据集市前端WEB，能够看到本地区下的报表，同时根据权限的要求，管理员有权利只赋予地市用户部分报表的权限；数据集市报表数据的权限特指地区权限满足地区-县-片区-营业部等不同粒度的权限需要。系统应用：个性化应用系统应用：个性化应用和基本地市应用功能。和基本地市应用功能。个性化应用由分公司开个性化应用由分公司开发，省公司定期发布，发，省公司定期发布，基本地市应用由省公司基本地市应用由省公司统一开发。统一开发。展现门户：与省级经分展现门户：与省级经分统一界面，单点登陆。统一界面，单点登陆。存储层：省中心物理集存储层：省中心物理集中，并按照地市分区，中，并按照地市分区，通过视图访问控制权限通过视图访问控制权限，并设立自主开发库，并设立自主开发库，自主生成应用数据自主生成应用数据 经营分析门户 地市数据集市 数据质量管理系统 数据业务深度运营 优化管理 一经接口系统功能系统功能功能描述功能描述血统分析血统分析对元数据进行数据回溯的血统分析，显示组成其数据来源的相关元数据，以及数据来源关系，分析结果用图形化展现影响分析影响分析对指定元数据进行影响分析，显示指定元数据对全局的影响，影响关系以图形方式直观展现ETL映射分析映射分析支持对ETL程序映射关系的图形化维护，通过本功能，业务系统维护人员可掌握数据在整个企业的流动情况表重要程度分析表重要程度分析提供表重要程度的TopN分析功能，协助技术人员分离库表数据或进行重点监控表无关程度分析表无关程度分析提供逆向的TopN分析功能，技术人员可更有针对性地清除无用或沉寂的库表。元数据差异分析元数据差异分析可按属性值分析任意两组元数据之间的差异，差异内容包括被分析元数据的属性值及其子节点之间的异同情况，可产生差异分析报告基于石竹软件MetaOne的元数据管理系统架构基于石竹软件MetaOne的元数据管理系统拓扑图 经营分析门户 地市数据集市 数据质量管理系统 数据业务深度运营 优化管理 一经接口紧贴数据部日常营销工作，做好分析参谋服务市场工作，建设数据业务支撑平台高效信息推送机制，及时响应市场异常波动 及时响应的数据业务监控通过短信、彩信、邮件等形式及时地将业务异常情况通知给相关业务人员，全面掌控内蒙数据业务营销情况，从而迅速采取行动，保证数据业务顺利开展 目标精准的数据业务营销快速响应数据部的短期营销活动，形成快速反应通道直接参与、服务于活动的每一个过程，协助解决数据业务的重点及难点，及时提供信息分析支撑，变分析力为执行力，体现出深度运营平台的精、快、准的优势 内容全面的数据业务支撑基于经营分析提供的丰富数据内容，提供客户统一视图、彩信客户画像、音乐产品门户优化支撑等丰富的分析内容，通过多样式的形式全面支撑数据业务运营 应用分析的使用方式需要改被动访问为主动访问，形成分析与执行的闭环，尽可能以提供综合性的业务分析报告为主，通过Web、短信、彩信、邮件、终端TV方式将分析信息实时PUSH给对应的用户。1234保持系统现有架构相对稳定建设相对独立的运营支撑应用平台以深化应用，提升应用价值为核心手段适度增加新的数据源提升数据业务营销及管理水平5统一接入门户统一接入门户独立运营平台独立运营平台共享数据存储共享数据存储用户单点登录权限统一分配共享短信、邮件发送等功能支援应用嵌入管理独立运营分析平台量身定制分析模块丰富的数据统计资源应用分析数据逻辑独立存储丰富经营分析汇总数据成果高效抽取流程，快速数据响应与生成周期深度深度运营运营平台平台统一统一接入接入门户门户展示、互动展示、互动数据数据仓库仓库数据存储、反馈数据存储、反馈客户服务BOSS数据源网管系统DSMP彩铃平台本地数据源下发数据源互动接口数据源传输传输互动互动深度展示平台统一接入经营分析门户深度运营平台信息存储在数据仓库专用分区当中充分利用数据仓库当中丰富的数据资源避免系统重复加载与ETL损耗深度运营平台通过经营分析系统与BOSS、客服、DSMP、彩铃平台等发生互动统一的互动接口避免加重业务系统负担的同时，有效抑制不同营销对同一用户过打扰数据业务监控数据业务监控营销套餐监控营销套餐监控数据数据业务业务营销营销数据业务营销管理和客户服务人员数据业务营销管理和客户服务人员数据业务管理和分析人员数据业务管理和分析人员总体套餐试图沉默用户监控常规营销支撑常规营销支撑 营销活动发起 目标客户确定 实时跟踪等等数据业务精确营销支撑数据业务精确营销支撑 关联分析模型 增量预测模型 流失预测模型等等系统互动系统互动 BOSS 客服中心 短信网关等等门户运营支撑门户运营支撑客户管理支撑客户管理支撑重点业务门户优化支撑重点业务门户优化支撑音乐产品客户统一视图客户统一视图业务监控业务监控短信、彩信类SP监控监控WAP类彩铃类业务监控业务投诉恶意欠费分类用户门户优化支撑分类用户门户优化支撑短信偏好 WAP偏好飞信推广手机报推广手机上网客户画像手机上网客户画像手机报客户画像手机报客户画像彩铃客户画像彩铃客户画像彩信客户画像彩信客户画像飞信客户画像飞信客户画像 经营分析门户 地市数据集市 数据质量管理系统 数据业务深度运营 优化管理 一经接口 数据存储优化 应用优化背景 2006年初经营分析系统数据存储空间紧张已影响到系统的应用 NCR数据仓库平台的扩容成本居高不下三期工程可行性 较成熟的数据压缩技术 维护单位对系统运行的充分了解数据压缩数据压缩利用利用TERADATATERADATA数据库数据库的数据压缩技术的数据压缩技术l针对数据类型压缩针对数据类型压缩l针对数据值压缩针对数据值压缩l节省存储，降低节省存储，降低I/OI/O数据存储周期优化数据存储周期优化根据需求合理规划数根据需求合理规划数据存储周期据存储周期 汇总数据汇总数据OLAPOLAP数据数据报表数据报表数据KPIKPI数据数据过期数据的清理过期数据的清理过期数据指对当前及过期数据指对当前及今后应用无用的数据今后应用无用的数据版本变更产生版本变更产生人员变化产生人员变化产生应用推出产生应用推出产生临时表临时表合理规划、保证应用、节省存储、提高效率合理规划、保证应用、节省存储、提高效率 河北移动经营分析系统数据存储优化工程2006年初实施 当期数据仓库规模为12台主机节点，36T裸存储，18.9T可用存储 工程实施后，数据压缩节省空间为6.8T，压缩率为41.55%存储周期优化与过期数据清理，节省空间0.86T，节省率为38.12%总计节省空间7.5T数据库数据库原空间（原空间（GBGB）压缩后新空间压缩后新空间（GBGB）节省空间（节省空间（GBGB）压缩比压缩比明细库1,636,638975,356661,28240.40%汇总库4,375,8421,944,5692,431,27255.56%一经963,010512,395450,61546.79%数据集市307,86487,427220,43671.60%话单库11,649,7657,546,5154,103,25035.22%合计18,933,12111,066,2656,866,85641.55%汇总数据库原空间大小为：2243.590973 汇总数据库新空间（改变存储周期及清理过期数据后）大小为：1388.230905汇总数据库节省空间大小为：855.360068 汇总数据库的空间节省率为：38%工程实施后 所有新建库表均考虑数据压缩 数据存储周期随需求变化动态调整 过期数据定期清理，并加强备份，随时考虑恢复 目前采用的方式是每半年手工分析界面展示应用的使用情况，进行评估，并清理“垃圾”应用。经营分析2.0规范中计划将应用生命周期管理纳入数据质量管理系统。经营分析门户 地市数据集市 数据质量管理系统 数据业务深度运营 优化管理 一经接口一经子系统是省级经营分析系统的一部分，负责处理和一经系统交互功能。包括上传子系统、下载子系统和校验子系统三个部分。经营分析经营分析2.0规范新增手规范新增手机报、飞信、中央音乐机报、飞信、中央音乐平台均以此方式进行平台均以此方式进行校验检查包括：数据波校验检查包括：数据波动检查和业务逻辑指标动检查和业务逻辑指标检查检查 一、经营分析系统建设现状和使用情况 二、经营分析系统2.0工程项目技术方案介绍 三、项目管理计划 四、工程建设中的难点以及对应的解决方案 时间20082009年项 目56789101112123456789101112方案编制设计完成合同签订设备到货配套准备安装调测软件开发完工初验试运行期系统终验 人员保障情况 目前：集成商开发人员26人，开发厂家2人。计划部门：1人 业务支撑中心：4人 市场部：2人计划：集成商开发人员30人，开发厂家8人。计划部：业务支撑中心：？人 市场部：？人 一、经营分析系统建设现状和使用情况 二、经营分析系统2.0工程项目技术方案介绍 三、项目管理计划 四、工程建设中的难点以及对应的解决方案 难点：工程实施方面：设备到货和实施进度之间的矛盾 项目投资和系统支撑能力之间的矛盾 需求和系统支撑能力、系统规划之间的矛盾 业务需求和集团公司规范之间的矛盾 地市需求和系统支撑能力之间的矛盾 地市明细数据需求和系统规划之间的矛盾系统体系构架系统体系构架 问题：使用人员提出更细粒度的数据权限控制，由于涉及到报表工具、多维分析工具、及NCR的kpi系统的集成，改造难度较大系统技术构系统技术构架架 问题：WEB应用服务器压力过大 问题：portal知识库性能不稳定 问题：MSTR报表前端展现不友好，数据响应时间较长 问题：配套服务器容错较差系统应用框系统应用框架架问题：经营分析的门户界面展现不友好，功能不能满足使用人员的要求系统性能系统性能 问题：数据库性能严重不足 问题：数据库空间严重不足 问题：数据库新旧节点性能严重不匹配系统资源系统资源 问题：用户数激增，需求应用众多，导致系统性能下降，数据库数据冗余较多portal知识库现状 目请经营分析系统上的权限、菜单、用户等相关的资源统一放入一个数据库中，同时经分系统上的KPI的所有的数据为了系统的效率，也放入了相同的数据库中，此知识库在系统搭建的时候是NCR的DEMO版的TNT，没有相应的服务，数据库不稳定，经常会出现提取数据的时候，数据提取不全的问题，同时此数据库在并发连接数的限制中最多支持120个用户，导致经分的登陆用户如果同时登陆超过120个用户（实际更小，因为权限管理平台也占去一部分连接），则系统处于等待甚至登陆不了系统。解决方法Portal知识库的服务器进行硬件升级；用其他的数据库替换NCR的DEMO版的TNT，（这个同时涉及到经营分析系统前端所有程序的修改和调整）。最终效果并发连接数不在受限制，登陆经营分析系统的时候用户不会在出现等待甚至登陆不了的情况；替换NCR的DEMO版的TNT后，其他如MAS、报表等的知识库同时也可以迁移到此服务器，解决了众多的元数据分散在不同的机器消耗系统性能同时维护也不方便的问题；能够支持目前在其之上的所有的应用；MSTR报表现状解决方法报表前端展现：通过MSTR升级，要求厂商根据河北移动使用人员的使用习惯，调整展现的风格和内容；报表响应时间：原因主要是数据仓库负荷较重，目前能处理的是优化报表提取SQL，但是并不能解决根本问题；在报表工具层面，优化报表模型，优化报表制作；彻底解决报表的响应时间，可以通过报表结果集相关表移植到单独的数据库，但是此操作需要独立的数据库存储相关的数据，并且从数据仓库移植数据到独立数据库的时候，需要增加一系列的工作量最终效果前端界面美观，友好，使用方便；报表提取数据的响应时间在25秒之内，满足使用人员快速提取数据的要求目前报表工具还没有升级，在报表上存在两个问题：报表的前端展现，特别是提示界面，存在界面不友好的情况，使用人员使用上非常不方便；报表的性能，主要是报表展现数据的响应时间上，提取数据的时间较长，不能满足使用人员的要求；门户现状 经营分析系统门户自系统建立时，功能比较单一，构架比较简单，5年内对门户没有做较大的调整，不能满足使用人员的要求，使用人员提出按业务角色体现业务流程，KPI的展现要有各种功能，建立信息的推送机制，迫切需求有一套全新的门户支持。解决方法建立与不同系统间的信息推送接口，例如与短信、彩信等系统间的推送接口；对市场相关用户进行分类，区分不同类型用户对信息提供的渠道和形式方面的需求，实现用户权限和界面的可定制化；建立全新的经营分析系统门户，解决使用人员提出的使用要求；最终效果不同的业务角色用户登陆门户的时候，能看到不同的自定义的内容；对不同的业务角色用户进行不同的业务内容的推送，信息推送的方式可以是邮件通知、短信、彩信、PDA 等；前端界面的易用，KPI展现功能强大，同时提供友好的经验交流平台、智能通知，信息的传递、反馈更加迅速。最终效果满足使用人员全省地市县片区营业部各种粒度下的权限控制；在经分门户中改造；解决方法对报表工具，改变现在有权限模型，通过动态传递参数的方法，实现报表地区更细粒度的权限控制；对多维分析工具，在多维分析服务器中建立更多各级粒度下的多维分析用户，实现报表地区更细粒度的权限控制；（但是这会早成很大的性能开销，MAS2005权限控制方式是否可以通过传递参数的方式实现还有待研究）对于KPI展现，通过改造数据库权限模型，通过动态传参的方法，实现报表地区更细粒度的权限控制；权限现状经分系统目前的用户访问资源的权限有两种：用户是否有某种资源的访问权限；用户是否在某种资源中有数据的访问权限控制，目前在数据中只是对地区做了限制，权限只是有三级，全省、地区、县；如果在县下面在有更细粒度的权限控制：如片区、渠道等，现有体系构架无法提供控制；最终效果满足地市数据集市报表制作和权限的要求。解决方法增加一台报表服务器，经分报表服务器和11个地市数据集市报表服务器分开，避免权限不能区分不开的问题，同时在制作报表的时候，经分和11个地市开发人员不会相互影响；购买足够的LISENCE，满足各个地市及省公司开发人员的权限需要；在报表的筛选上，细化到营业部；问题目前，移动购买的MSTR DESKTOP LISENCE 只有一个，故11个地市开发人员只能用到一个LISENCE，因此，11个地市的开发用户拥有相同的权限，各地市开发用户在开发的时候也就能看到相同的内容；报表服务器只有1台，如果利用现有部署的报表，省公司经分开发人员和11个地市开发人员也就拥有相同的权限，11个地市能看到省经分的开发人员；报表权限细到营业部，需要在报表筛选中实现，目前报表筛选上只能到县，需要细化到营业部；