经分系统中云计算技术的拓展研究和应用

研发项目结题报告（上报集团版）项目名称及编号经分系统中云计算技术的拓展研究和应用主要研究单位及负责人（联系方式）业务支援中心崔洪涛 13838336505工程建设中心张杰 13837130086其他研究单位及负责人（联系方式）华为技术有限公司 王少平 13607669588 wangshaoping是否集团重点(是/否)否是否联合项目（是/否）是项目经费（万元）项目起止时间2009 年 12 月 2010 年 11 月专业类别业务支撑研究类别新产品开发关键词索引（35个）精准营销、实时营销、内存数据库集群、动态扩展、弹性计算该项目在研究单位内部的评审结果优秀该项目在研究单位内部的评审意见：通过营销管理管理项目，弹性计算、内存数据库集群、组件化等云计算技术初次应用于经分系统，实现了实时的精准营销，以先进的技术手段实现了业务创新，应用效果显著，适宜在集团公司推广。项目的简介： 精准营销系统的主要功能是处理网络信令和IT系统事件等大量实时数据，过滤并加工处理产生分类事件，经过营销触发服务的处理，最终通过适当渠道对用户进行营销。并通过沉淀用户活动轨迹、使用习惯等信息丰富经分的知识库，为各级决策提供准确的分析数据。系统采用基于消息队列的SOA架构，具有实时处理、营销时机丰富、精细营销、快速定制等特点，在开发过程中，对弹性计算、内存数据库集群、组件化等技术进行了重点研发和应用。对现有企业标准规范的符合度： 遵循中国移动经营分析系统业务规范和接口规范。遵循中国移动业务支撑网4A安全技术规范遵循中国移动业务支撑网安全域划分和边界整合技术要求遵循中国移动业务支撑网防病毒技术要求遵循中国移动业务支撑网网管规范V1.0.0该项目的专利情况：精准营销系统中的消息分发方法及装置一种基于消息迁移的消息队列负载均衡方法及系统一种消息队列的负载均衡控制方法及系统该项目研发存在的主要问题及今后的设想：经过本项目的研发，精准营销系统已成为一个营销平台，目前已经接入了A口（语音、短信、位置类）信令和多个支撑系统的IT事件，但目前接入的事件仍不够全，计划下一步接入B口信令。另外，系统经过近一年的运行，产生的数据具有较大的分析价值，下一步计划加强对精准营销系统的监控和分析，进一步提高系统的应用效果。项目研究成果的主体内容（3000字以上，可附在表格后）：精准营销系统遇到的最大挑战是非均衡的大数据量、高实时性和可靠性要求。大量的信令数据主被叫、短信收发、位置迁移、小区切换、开关机等由信令采集系统收集，通过Socket接口发送给系统的前置机，峰值达到25000条/秒；支撑系统也产生大量的IT事件。同时这样的大数据量又是非均衡的，信令中的大部份类型事件（主被叫、短信收发等）在每天的各时间区间表现出非均衡性。具备高实时性的响应，是支撑精准营销、实时营销场景所必须的。用户拨打长途未加拨12593，就必须在用户拨打完电话后及时通过短信提醒省钱方式，否则用户很难将提示短信和刚才的拨打动作相联系，起不到产品营销和客户关怀的作用。针对大数据量、非均衡性以及高实时性要求，系统设计为弹性计算结构，分担大数据量处理，抵挡峰值压力，同时保证系统的实时性和可靠性。弹性计算以SOA架构为基础，由三类主要部件构成：监控服务、平衡控制服务、业务服务，这些部件在系统中都以基于消息的服务形式封装和部署。平衡控制服务根据系统处理压力（消息队列深度）、计算资源负载（刀片服务器CPU）、各处理节点的运行情况，做出充分利用各节点计算能力和网络带宽的调整。通过命令消息队列向其他服务管理模块发出调整命令，增加或减少处理单元。除了弹性计算结构所提供的高性能计算能力，为了做到精细化营销，系统需要实时查询用户的大量相关信息提供给规则引擎进行演算，以及进行实时数据访问以达到频次控制，为了能实现对海量数据的调整并发访问，系统采用内存数据库集群技术。 内存数据库集群使用多节点分散海量数据，解决单节点内存限制问题。通过主控节点记录数据在内存数据库集群节点机的分布情况，提供数据路由依据，将访问分散到多个内存数据库节点并行执行计算任务，提高了数据处理效率。通过节点访问计数，可知集群中的热点访问节点和热点访问数据。当出现访问不均衡情况，启动数据动态平衡，根据访问压力，动态调整各节点的数据分布，实现访问压力的平衡。精准营销系统是以平台开发为指导思想，平台本身并不提供具体业务功能，而为营销人员提供业务定制和扩展能力。平台功能可划分为两部分：用于策划定制营销活动的营销设计和管理功能和用于执行营销活动的运行时功能。营销管理人员利用营销设计模块功能设计营销活动方案的各种要素：目标客户群、营销产品、营销渠道、客户接触规则、营销用语、营销目标、营销活动评估标准、目标事件、营销活动执行流程、活动调度触发规则等，完成设计后，营销人员将完整的活动方案提供给相关人员审批，活动方案通过审批后，将被部署到运行平台。运行平台根据部署的营销活动的调度触发规则监测目标事件，当目标事件被发送到运行平台，后台处理根据营销活动执行流程的定义处理事件消息，并将营销内容分发到相应渠道进行营销接触。相对于后台的SOA架构所带来的高性能和可扩展性，精准系统前端基于组件化的思想把营销传播流程所需的各种周边能力均封装为组件，经分平台则提供营销传播定义的定制化服务。根据营销传播设计的通用流程，精准营销系统从用户的角度设计了客户群选取、名单过滤、防打扰、营销时机及渠道等几类组件，这些能力组件均提供简单的语意化的接口供用户界面调用，从而使用户在界面上拖拽和配置即可简便地设计出逻辑复杂、功能强大的精准营销传播。设计完毕的营销传播经审批通过后，由系统自动发布到处理能力强大的后台运行环境，实时侦测事件并向用户营销。自系统上线运行以来，已支撑的营销传播流程超过300个，传播执行情况理想，营销成功率较传统营销提高一个数量级。研究成果详述见附件。“研发项目结题报告”的填写说明：1、“项目专业类别”指：核心网、无线、传输、IP、网管、业务支撑、管理信息系统、市场研究、通信电源、数据业务、其他。2、“项目研究类别”指：超前研究、相关网络解决方案、新产品开发、现有业务优化、其他。3、“研究单位内部评审结果”指：优秀、通过。4、“文章主体”：根据不同研发项目的研究类别实施不同的主体要求，具体如下：1）超前研究类项目主体包括： 背景情况 技术特点分析 标准化情况 其他运营商应用情况（可选） 技术发展趋势 引入策略分析 其他补充说明2）相关网络解决方案类项目主体包括： 背景情况 技术方案：概述、网络解决方案（如果涉及到网络方面的改造，信令改造，路由改造等，应有详细的描述）、设备及系统改造/建设要求、码号资源需求 效果（解决了哪些问题） 本省应用推广情况 其他补充说明3）新产品开发类项目主体包括： 业务及功能简介：业务概述、业务主要功能介绍 技术实现方案：包括业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程、码号要求等 业务申请和开通：包括用户范围及业务使用范围、业务申请与注销等 业务商务模式及资费：包括商务模式、业务资费模式、业务收费方式等 市场前景分析 其他补充说明4）现有业务优化类项目主体包括： 业务及功能简介：业务概述、业务主要功能介绍 现有业务存在的问题：现有缺陷分析、解决问题的思路 原有业务方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程 优化后的方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程 优化后达到的效果，产生的经济效益 其他补充说明 5）其他类项目主体，参考1）4）的项目主体要求，阐述清楚项目背景、实现方案、解决的问题、取得的社会和经济效益等。5