无线网络大数据分析平台建设方案

无线网络大数据分析平台建设方案无线网络大数据分析平台建设方案11.1.平台概述平台概述2.2.功能介绍功能介绍3.3.项目资源项目资源目录Contents1.平台概述2.功能介绍3.项目资源目 2Part 1平台概述Part 1平台概述3大数据平台建设背景网络资源网络质量网络维护集中化生产面对移动的业务高速增长、以及业务类型和用户业务模型的变化，现有手段尚未有效改善网络资源利用效率，网络投入不堪重负。面对差异化，多样化、融合性的业务需求，以及容量增长、网络容量需求给网络质量带来巨大压力。2G、3G、4G三代并存，造成网络维护工作量大、网络维护开支高。四网协同发展的网络维护复杂度高、人力短缺网络生产集中化解决方案缺失，现有日常人工优化手段多数依靠经验，容易引起误判、误调整。缺少工具支持，优化及时性、准确性差，专家未被高效利用。面对越来越激烈的市场竞争、要求越来越高的用户、越来越庞大的网络以及越来越紧张的成本压力，需要更先进的网优生产模式，实现集中化、标准化，大幅提高生产效率，以适应全球最大、最复杂网络的要求大数据平台建设背景 网络资源网络质量 网络维护 集中化生产面4传统无线网络优化以性能、TOPN小区、DT/CQT、用户投诉等点、线问题处理为主，存在以下问题：1.无法完全反映客户感知2.难以直观反映网络区域性问题，传统路测方式具有一定的盲目性，耗时耗钱3.人员数量要求多、技能要求高4.优化结果验证耗时耗人，准确性不高5.建维优联动无IT系统支撑，协同效率不高基于海量用户语音及上网数据、客户投诉、DT/CQT、网络指标等多维度数据建模、关联分析，并辅以专家经验，打造“傻瓜化、直观化、图形化”的无线网络智能优化系统，实现以下能力：1.真实反映用户感知，主动服务客户，提升10000预处理能力2.快速准确定位最急需解决的网络区域性问题，自动输出专家优化建议3.实现优化结果自动闭环验证4.基于业务预测，实现板件、空口能力分析和预警5.以系统为支撑，重构高效的建维优流程感知评估服务支撑精确定位指导优化规划支撑指导投资集约高效提升效率现状问题解决思路实现效果平台总体概述传统无线网络优化以性能、TOPN小区、DT/CQT、用户投诉5CDT（2G/3G/LTE）OMM性能、配置、参数、设备告警（2G/3G/LTE）投诉信息智能化预处理关联分析1、行为刻画2、感知评估3、健康档案库用户感知评估投诉预处理客户关怀网络质量评估DT/CQT质量/容量评估异常事件质量/容量预警问题精确定位行为分析决策依据LTEMR输入分析应用平台建设思路CDT（2G/3G/LTE）OMM性能、配置、参数、设备告警6重点聚焦用户体验n质量评估n容量评估n异常事件原因分析n区域性/系统性问题精n确定位感知评估n决策依据n投诉处理分析n客户关怀n行为分析、市场支撑服务支撑网络评估网络预警n话务、业务、流量模型建立n质量预警：质量突变、呼吸效应n容量预警：板件、无线资源n网络规划建议n感知评价体系建立n用户行为刻画n健康档案库建立平台核心能力重点聚焦用户质量评估感知评估决策依据服务支撑 网络评估网络预710亿条话单记录2TBCDT话单记录10亿条话单记录50GB/日性能数据投诉、用户终端2GB/日ODS数据工单、作业计划1000条/日电子运维网络资源1GB/日资源系统应用层预处理网络层预处理1千万条话单记录接入-保持-质量异常话单1百万条记录区域评估栅格质量1千万条记录用户感知评估用户汇总2百万条记录预警、优化容量/业务/参数GIS预处理专题预处理派单预处理分析预处理报表预处理海量采集云平台预处理文件采集Hadoop集群列式数据仓库集群GIS服务器Web服务器云化存储切片分拣汇总处理直观呈现平台逻辑架构10亿条话单记录CDT话单记录10亿条话单记录性能数据投诉、8建立业务模型和感知评价体系，刻画用户行为与通信质量特征客观评价用户感知，贴近用户真实感受主动推送感知差用户至前端，挽留客户，送10000号定位异常位置与原因，提升用户投诉处理效率国内外运营商及主要设备厂家提出了建设大数据系统的初步想法，但均未实现。迪科网优平台为国内外行业中首创，多项技术达到了业界领先水平一、客观评价用户感知，服务支撑市场与客服二、结合传统优化模式，基于海量用户通话感知数据定位问题区域，使优化更具目的性建立质量与容量评估体系和基于栅格的网络区域问题定位算法结合传统优化模式，统筹TOPN小区和TOPN区域作为问题点进行优化三、结合专家经验创新算法，智能给出优化建议，实现智慧型网优智能快速给出优化建议提升网优效率，节约大量人力物力四、精确容量管理，指导规划建设，节约投资基于业务模型，创新建立无线网络负荷预警机制预警MP/CC等核心板件、空口负荷瓶颈，避免因过载出现的风险预测呼吸效应、结构性缺站等问题，精确指导规划建设，节约投资五、重构全新的网优业务流程创新建立的“大数据分析牵引建设、维护、优化”的全新流程，自动化闭环管控基于用户真实通话记录评估验证优化效果六、创新系统架构，兼容2G/3G/4G，成为行业标杆基于Hadoop的云平台架构，保障运算效率，功能响应时间低于5s，兼容2G/3G/4G，扩展性强“直观化、傻瓜化、图形化”的一键式操作特点，易用性强平台主要特点建立业务模型和感知评价体系，刻画用户行为与通信质量特征国内外9总体思路：以“专业化、集约化”为驱动，围绕网络基础运营、大数据分析、服务支撑三条主线，以大数据分析为牵引，指导建设、维护与优化，提升专业化、集约化运营能力。夯基础强分析基础维护基础网优系统分析专题/专项市场支撑、客户服务基础运营大数据分析服务支撑重服务大数据分析基础网优基础维护规划需求容量预警网络问题维护问题专业化集约化规划建设服务支撑服务推送投诉反馈平台主要业务流程(1/2)建立以大数据分析为牵引建维优的网络运营体系总体思路：以“专业化、集约化”为驱动，围绕网络基础运营、大数10*平台主要业务流程（2/2）*平台主要业务流程（2/2）11关键算法流程容量管理CDT数据性能统计BHCA维度资源利用率评估维度资源利用率评估话务量维度资源利用率评估话务量维度资源利用率评估吞吐量维度资源利用率评估吞吐量维度资源利用率评估现网容量分析现网容量分析容量分析及预测容量分析及预测BHCA维度资源利用率预测维度资源利用率预测话务量维度资源利用率预测话务量维度资源利用率预测吞吐量维度资源利用率预测吞吐量维度资源利用率预测容量预测和风险业务评估容量预测和风险业务评估配置数据话务模型分析话务模型分析重点业务风险评估重点业务风险评估1X/DO空口资源利用率评估空口资源利用率评估1X/DO空口资源利用率预测空口资源利用率预测1X/DO全网话务模型全网话务模型按区域话务模型按区域话务模型按业务话务模型按业务话务模型话务模型分析话务模型分析关键算法流程容量管理CDT数据性能统计BHCA维度资源利用12关键算法流程质量分析DT&CQT分析CDT数据质量分析栅格1X掉话率栅格1X接入成功率栅格DO掉线率栅格DO掉线率1X弱覆盖栅格1X导频污染栅格DO弱覆盖栅格DO导频污染栅格容量分析关键算法流程质量分析CDT数据CM数据工参表DT&CQTC13关键算法流程CDT关联DT/CQT分析根据CDT数据可以输出存在覆盖问题的区域，综合DT&CQT的测试结果，确认问题区域CDT预测DT测试结果修正修正修正后的CDT结果移动终端CQT测试关键算法流程CDT关联DT/CQT分析根据CDT数据可以输14关键算法流程异常事件原因定位设备告警系统原因系统原因系统原因过载容量原因容量原因PN混淆邻区漏配邻区错配参数配置参数配置过覆盖弱覆盖导频污染快衰落覆盖原因覆盖原因告警原因码系统失败原因码过载的原因码PN混淆的小区对错漏配小区对覆盖问题小区CDT/LTEUDT/MR数据库异常呼叫话单关键算法流程异常事件原因定位系统原因设备告警系统原因容量原15关键算法流程用户感知评估关键算法流程用户感知评估16Part 2功能介绍Part 2功能介绍17概述系统主要功能：l精确管理无线基础数据l对感知差用户提供主动服务l网络优化l网络健康检查l建设支撑l区域监控概述系统主要功能：18“两端关联、五阶网元”法n两端关联：无线话单和核心网业务话单一一关联n五阶网元：用户锁定网络、接入业务、保持业务、互操作、释放业务整个业务流程经历了终端、基站、传输、核心网、SP五种典型网元。这五种网元都有可能是导致用户感知差的主要因素。n“两端关联、五阶网元”法通过全流程的话单关联，深入相关性分析可能引入问题的网元，并针对话单细节分析找到问题根因。端到端业务定界定位技术说明“两端关联、五阶网元”法两端关联：无线话单和核心网业务话单一19功能概述基础数据管理2 2客户服务3 31 1网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31网络优化健康检查4规划建设20基础数据管理基础数据管理基础数据管理基础数据是网络大数定位算法和分析工作的基础，数据及时、有效、准确、规范至关重要！及时性：支持实时导入、导出、在线和离线修改，支持变更通知。准确性：关联无线网元参数配置的大数据校正，关联无线+核心网侧的用户大数据校正。有效性：支持基础数据有效性检查，核查数据取值、数据规范、数据逻辑、空数据等方面的内容。规范性：支持基础数据库、网管、维护多方数据统一规范，周期性同步更新。基础数据管理上，尤其是针对天线参数数据，传统的检测管理方法，“耗时花力”难以做到及时、准确，运用大数据后，可以高效的发现和快速解决问题。基础数据管理基础数据管理 基础数据是网络大数定位算法21基础数据管理天线参数检查天线参数检查关联无线+探针经纬度数据，得到准确的位置、小区、信号强度信息，不依赖于传统工参，算出小区实际天线参数并指导检查与调整。分析和GIS呈现经纬度异常小区、方位角偏差小区以及天馈接反小区，提升基础数据准确性；网优人员不需要上站检查，即可发现天线参数异常问题，指导射频优化，减少分析测试工作量，降低维护成本。天线工参记录的方位角实际覆盖区域案例1方位角错误案例2天馈接反天线工参记录的小区3方位角实际覆盖区域工参记录的小区1方位角实际覆盖区域基础数据管理天线参数检查关联无线+探针经纬度数据，得到准确的22功能概述基础数据管理2 2客户服务3 31 1端到端网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31端到端网络优化健康检查4规23客户服务 经过大量的用户感知数据、投诉数据分析，建立了一套含盖无线、核心网、互联网的综合感知评价体系。运用这套体系，实现对四川全部用户的语音和数据感知评价。针对评价差用户，自动进行原因分析，自动派单，自动验证，闭环管控处理，实现了对用户的主动服务。传统客户服务处理流理大数据客户服务处理流理客户服务 经过大量的用户感知数据、投诉数据分析，建立了24客户服务-用户感知评价CDMA+LTE用户感知评价语音感知打分=（无线信号质量+语音质量+接入失败+异常掉话）这四个维度的综合评价；数据感知打分=（无线信号质量+数据业务体验+接入失败+异常释放+3/4G重定向）这五个维度的综合评价；客户服务-用户感知评价CDMA+LTE用户感知评价语音感知打25客户服务-用户感知档案库用户感知档案库运用每日对用户感知评价数据，形成用户感知趋势曲线。同时在曲线相对应的时间点上，标注曾经对用户提供服务的记录，最终形成全生命周期的档案库。派单结单客户服务-用户感知档案库用户感知档案库运用每日对用户感知评价26客户服务-用户感知端到端分析用户感知端到端分析从无线、核心网、SP指标对用户感知进行端到端分析。1、无线综合分析：呈现全天无线环境，无线侧产生的异常事件及原因分析，2G/3G/4G的业务使用情况2、核心网综合分析：核心网相关网元分析3、主要SP指标分析：对主要SP指标进行对比分析，并找出存在问题的相关服务器客户服务-用户感知端到端分析用户感知端到端分析从无线、核心网27客户服务-质差用户主动服务自动派单在连续7天时间里，发现有4天以上感知差，系统自动派单，同时给出问题区域及处理建议自动验证系统进行自动跟踪和验证，持续5天效果变好，系统自动结单问题区域原因分析及处理建议客户服务-质差用户主动服务自动派单在连续7天时间里，发现有428功能概述基础数据管理2 2客户服务3 31 1网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31网络优化健康检查4规划建设29网络优化优化思路：通过质差区域功能，实现网优工作方向由原来关注小区，到现在聚焦处理区域问题转变；工作方法由原来离散的覆盖分析、事件分析，转变成现在的大数据多维度自动分析、自动定位、派单、验证、闭环；质差区域：从异常事件入口，结合网络各种覆盖问题，分析区域的用户感知问题，综合评估出质差区域。得出质差区域后，系统自动分析覆盖、无线资源、参数配置、隐性故障、异常事件等方面的原因，生成综合优化建议，指导网络优化工作开展；针对质差区域，系统自动生成工单派单，回单处理后，系统自动验证问题解决。网络优化 优化思路：通过质差区域功能，实现网优工30质差区域分析质差区域生成质差区域生成：从问题现象入口，掉线、切换失败、重定向结合覆盖问题及用户感知评价，生成质差栅格，聚合栅格生成区域。质差区域分析质差区域生成质差区域生成：从问题现象入口，掉线、31质差区域分析自动分析网络问题分析：质差区域里有用户投诉、多个用户感知体验不好；区域里有过多的用户感知差栅格。原因分析：原因分析质差区域里有导频污染问题，并且区域周边也有较多的导频污染问题质差区域分析自动分析网络问题分析：32质差区域分析优化建议网络问题表：网络问题列表分析发现，质差区域范围内，存在的问题有导频污染、硬件资源过载、传输故障、等问题。综合优化建议：综合优化建议列表，提供了优化该质差区域的建议。从内容上看，主要解决无线资源、导频污染的问题质差区域分析优化建议网络问题表：33质差区域处理自动派单处理8月11号系统自动判别质差区域问题比较严重，影响面广，自动生成工单派发质差区域处理自动派单处理8月11号系统自动判别质差区域问题比34质差区域处理问题发生派单前网络状况问题处理后网络状况自动闭环验证8月11日系统自动派单，8月17日第一次验证未通过，自动驳回，8月24号第二次验证通过，系统自动结单。该质差区域问题得到较好的解决质差区域处理问题发生派单前网络状况问题处理后网络状况自动闭环35功能概述基础数据管理2 2客户服务3 31 1网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31网络优化健康检查4规划建设36健康检查 健康检查针对网元数据配置，开展数据规范性、统一性、合理性、逻辑性的评估与核查。是周期性、常态化网络健康度评估、网络安全隐患排查、网络结构优化调整的强有力手段。当前健康检查系统以天为单位自动生成分析结果。健康检查 健康检查针对网元数据配置，开展数据规范性37健康检查-导频污染分析功能特点：自动识别出导频污染严重区域，为区域问题解决提供解决方案功能特点：自动识别出导频污染严重区域，为区域问题解决提供解决方案功能支持：问题栅格区域聚合、问题区域对应问题小区列表分析、健康检查-导频污染分析功能特点：自动识别出导频污染严重区域，38健康检查-多载波插花功能特点：功能特点：GISGIS直观呈现多载波插花，为网元结构优化提供强有力支撑直观呈现多载波插花，为网元结构优化提供强有力支撑功能支持：全频点GIS展示、按频点组合呈现插花情况载频插花基站健康检查-多载波插花功能特点：GIS直观呈现多载波插花，为网39健康检查-LAC分析功能特点：功能特点：GISGIS直观呈现直观呈现LACLAC分布区域情况，直观发现分布区域情况，直观发现LACLAC设置问题小区信息设置问题小区信息LAC边界插花健康检查-LAC分析功能特点：GIS直观呈现LAC分布区域40健康检查-3G/4G互操作分析功能特点：与覆盖与覆盖GISGIS联动自动对比联动自动对比占比及趋势观察严重问题小区分析是否覆盖问题派单到无线派单到核心网实施解决是否n快速发现覆盖原因引起的重定向问题区域。n网络优化解决不了的覆盖问题，走工单规划流程健康检查-3G/4G互操作分析功能特点：与覆盖GIS联动自动41健康检查-外部干扰分析功能特点：功能特点：自动识别上行干扰小区，直观生成干扰时间、干扰强度、干扰频率的二维展示，为干扰类型判断提供依据功能支持：排名分析、趋势分析、自动分析及解决方案提供、支持问题列表与GIS联动分析、干扰时段分析健康检查-外部干扰分析功能特点：自动识别上行干扰小区，直观生42健康检查-过覆盖分析功能特点：小区与栅格维度联动分析，快速定位过覆盖小区影响的程度，详细的量化指标，准确得出过覆盖小区需要收缩的覆盖距离与减过的信号强度功能支持：排名分析、自动分析解决方案提供、过覆盖小区占比趋势分析、小区导致过覆盖栅格GIS呈现、过覆盖小区及所导致过覆盖栅格连线图、过覆盖小区及栅格平均RSRP、过覆盖MR占比、过覆盖小区GIS呈现、小区过覆盖时段分析、过覆盖栅格占比趋势、问题区域内平均RSRP&栅格数&问题小区数&过覆盖MR占比、导致栅格过覆盖的小区连线高亮显示、小区影响的栅格数及平均RSRP、小区过覆盖RSRP、解决建议导出健康检查-过覆盖分析功能特点：小区与栅格维度联动分析，快速定43健康检查-重叠覆盖分析功能特点：小区与栅格维度联动分析，快速定位重叠覆盖小区影响的程度，详细的量化指标，准确得出重叠覆盖小区需要控制的覆盖距离、控制的信号强度、控制的干扰强度功能支持：排名分析、自动分析解决方案提供、重叠覆盖小区占比趋势分析、小区导致重叠覆盖栅格GIS呈现、重叠覆盖小区及所导致重叠覆盖栅格连线图、重叠覆盖小区及栅格平均RSRP、重叠覆盖MR占比、重叠覆盖小区GIS呈现、小区重叠覆盖时段分析、重叠覆盖栅格占比趋势、问题区域内平均RSRP&栅格数&问题小区数&重叠覆盖MR占比、导致栅格重叠覆盖的小区连线高亮显示、小区影响的栅格数及平均RSRP、小区重叠覆盖RSRP、解决建议导出健康检查-重叠覆盖分析功能特点：小区与栅格维度联动分析，快速44健康检查-邻区优化 功能特点：自动分析、输出优化建议并提供解决等级功能特点：自动分析、输出优化建议并提供解决等级GIS呈现推荐邻区距离问题小区列表问题趋势区域邻区问题排名功能支持：排名分析、趋势分析、自动分析及解决方案提供、支持问题邻区GIS连线分析、问题列表与GIS联动分析、解决建议导出分析、漏配邻区分析、错配邻区分析、冗余邻区分析健康检查-邻区优化 功能特点：自动分析、输出优化建议并提供45功能概述基础数据管理2 2客户服务3 31 1网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31网络优化健康检查4规划建设46规划建设 网络规划不再采用传统的仿真和路测方式，通过AGPS数据、探针经纬度数据、异频测量技术、指纹库校正技术的应用，精准评估电信、移动、联通网络的覆盖差距，有针对性规划建设。规划建设 网络规划不再采用传统的仿真和路测方式，通47功能概述基础数据管理2 2客户服务3 31 1网络优化健康检查4 4规划建设5 56 6特定区域监控7 7功能概述基础数据管理2客户服务31网络优化健康检查4规划建设48特定区域监控对特定区域开展以覆盖、业务量、人流量、网络质量等多维度实时动态监控。并且将多维度数据积累分析，特定区域业务建模。为特定区域的用户发展、网络规划、人流分析、网络建设提供决策数据支撑。特定区域监控 对特定区域开展以覆盖、业务量、49特定区域监控-校园从业务量、网络覆盖、时延、终端等多维度准实时监控热点区域网络变化情况特定区域监控-校园从业务量、网络覆盖、时延、终端等多维度准实50特定区域监控-高速功能特点实时监控自动分析：实时监控高速公路网络质量，支持2/3/4G同时监控。先从整体管控各条高速路重点网络指标，再到局部判断网络质量异常区域并自动分析网络质量异常原因。自动验证：自动验证网络质量异常区域的处理情况，确保问题得到闭环解决。对于基础网络优化，重点区域保障有巨大的推动作用。特定区域监控-高速功能特点实时监控自动分析：51特定区域监控-高铁功能特点实时监控：实时监控高速铁路场景网络质量，支持2/3/4G网络同时监控。自动分析：自动分析高铁路段网络覆盖情况、异常事件情况、分析业务质量异常情况解决建议提供：生成区域问题解决列表特定区域监控-高铁功能特点实时监控：52Part 3项目资源Part 3项目资源53软件资源硬件资源Hadoop集群硬盘配置建议40T以上，其他保持在128GB以上即可，内存建议在128GB以上，另CPU建议核数为24核2.1GHZ以上。资源要求Postgis 9.4.4Rsync+Inotify 3.054开发环境运行环境开发环境操作系统：CentOS 6.6中间件：Weblogic10数据库：Hadoop+Impala 操作系统:Microsoft Windows开发工具：Eclipse 8.6开发技术：J2EE技术SSI开源框架Struts 2.4.3：MVC客户展现框架Spring 3.1.2：AOP及IOC业务组件框架Mybastis 3.1.1：ORM组件，实现数据库映射其它J2EE技术：DWR：Ajax框架组件Log4J：日志组件POI：操作Excel组件数据库：Oracle 10.2.0.3中间件：Weblogic10开发环境运行环境开发环境操作系统：CentOS 6.6操作系55汇报完毕感谢聆听汇报完毕 感谢聆听56