面向运营商的垃圾短信过滤技术与系统研究

单击此处编辑母版文本样式,第二级,第三级,第四级,单击此处编辑母版标题样式,LOGO,Page,*,本作品采用,知识共享署名,-,非商业性使用,2.5,中国大陆许可协议,进行许可。,专业交流,模板超市,设计服务,本作品的提供是以适用知识共享组织的公共许可（简称“,CCPL”,或“许可”）条款为前提的。本作品受著作权法以及其他相关法律的保护。对本作品的使用不得超越本许可授权的范围。,如您行使本许可授予的使用本作品的权利，就表明您接受并同意遵守本许可的条款。在您接受这些条款和规定的前提下，许可人授予您本许可所包括的权利。,查看全部,NordriDesign,中国专业,PowerPoint,媒体设计与开发,单击此处编辑母版文本样式,第二级,第三级,第四级,单击此处编辑母版标题样式,面向运营商的垃圾短信过滤技术与系统研究,姓 名：曹 耀 辉,学 号：,2220100179,导 师：孙建伟,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,背景,随着短信业务的发展，手机用户受到越来越多垃圾短信的骚扰。,2011,年下半年手机短信息状况调查报告显示，用户平均每周收到垃圾短信,11.4,条，收到垃圾短信息占全部短信息的比例为,22.6%,。垃圾短信治理刻不容缓，治,理,好垃圾短信成为运营商提高通信服务质量的关键,所在,。,垃圾短信产生的原因：,利益驱动，短信业务,被发展,成了廉价的广告平台,立法,滞后，手机实名制没有实际应用,SP,行业缺乏自律，移动运营商对,SP,监管不严格,运营商垃圾短信过滤系统和技术存在不足，需要根据需要进一步研究与改造,。,垃圾短信的定义,根据,一般垃圾短信的特征，认为满足以下两个条件的短信为垃圾短信。,条件,1,：垃圾短信发送者和接收者之间不存在社会网络的联系，也就是说,垃圾短信,发送者和接收者之间不认识。,条件,2,：内容相同或相似的短信在短时间内达到一定的发送数量,。,垃圾短,信分类,点对点垃圾短信，其发送号码为手机号码。根据发送号码与接收号码是否属于同一家运营商，还可详细分为网内点对点短信和网间点对点短信,；,网关垃圾短信，其发送号码为网关接入号,。,垃圾短,信过滤方法,垃圾短信过滤方法,优点,缺点,流量控制方法,能够快速简洁的识别出垃圾短信并对垃圾短信发送者实施关停操作,当某用户被判定为垃圾短信发送者时其已经发送了大量的垃圾短信并造成严重的影响，而且这种方法容易对发送量大的非垃圾短信误判，损害用户的正常利益,关键字匹配方法,方法简便；,关键词库易配置；,容易对正常短信造成误判，因为有些正常短信中也可能含有关键词库中的关键字，仅仅依靠关键字可能就过滤掉这些短信；另一方面中文词汇太多，而且某些关键字可以使用同音字代替，关键词库不完备，过滤效率比较低下,基于黑白名单的过滤方法,方法简单,；,可人工添加，也可系统自动添加,便于运营商通过客户属性信息进行控制；,黑白名单不完备，且垃圾短信发送者大部分为新开卡用户,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,短信中心系统结构,经营分析系统结构与流程,现有垃圾短信监控平台,垃圾短信过滤流程,现有系统存在的问题与解决方法,序号,现有系统存在的问题,解决方法,1,现有系统为以省为单位进行部属，人工审核工作也是以省为单位进行，各省都要消耗大量的人力资源来审核经过过滤系统一次识别的疑似垃圾短信。,建立集中管控系统，进行统一审核，并添加二次过滤规则,2,疑似垃圾短信数量庞大,，没有审核优先级顺序，审核工作比较滞后,根据指定策略通过对疑似垃圾短信进行分析，得到嫌疑度更高的疑似垃圾短信，送审后人工审核人员可优先对这些高嫌疑度疑似垃圾短信进行处理,3,现有系统策略单一，关键字容易被替代绕过，拦截效率低下,提出了策略集的新概念，方便系统对整个策略的管理，并在策略集的基础上提出关键词策略和流量策略的具体实施模型，在模型中新加入双阀值控制的策略，可以更及时有效的对疑似垃圾短信做出相应处理,4,全国各省的策略不统一，不能共享各省的黑白名单,发布全网统一策略，共享各省的黑白名单,5,中文语法复杂，关键字库不完备,选取入网时长、品牌、主被叫时长、人均发送短信量、发送峰值等用户属性作为特征向量，建立了基于决策树的垃圾短信过滤系统模型,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,垃圾短信集中管控系统,系统处理流程,策略集定义,策略集属性,关键词策略,流量策略,二次过滤策略,二,次放行策略,优质客户短信放行策略,短,信长度策略,白,关键字组合,不,含中文的短信,指定时间段内同一用户多次送审则仅审,第一次,二,次拦截策略,疑似垃圾短信如和被审核过的短信内容相同，不进行人工审核，直接参照上次审核结果,确定高嫌疑度的疑似垃圾短信优先进行人工审核,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,经营分析系统垃圾短信治理应用模块功能,建模数据集,建模处理流程,训练集样本,品牌变量,A,入网渠道变量,B,是否垃圾短信,U,神州行,营业厅,是,全球通,营业厅,是,全球通,代理商,是,动感地带,营业厅,否,神州行,代理商,是,神州行,代理商,是,动感地带,代理商,是,动感地带,代理商,是,动感地带,营业厅,否,全球通,代理商,否,神州行,营业厅,是,全球通,营业厅,否,全球通,代理商,否,动感地带,营业厅,是,建模流程,计算输出变量,的平均不确定性,。,计算,“品牌”变量,的信息熵和信息增益,。,建模流程,计算“入网渠道”变量,的信息熵和信息增益。,由于“品牌”变量,的信息增益值比“入网渠道”变量,的信息增益值大，以“品牌”作为根节点，“入网渠道”作为二层节点，构建,决策树,选取决定垃圾短信置信度高（通常可设为,80%,以上）的分支作为判定垃圾短信的规则分支，可得出最终的规则：,建模流程,汇报提纲,背景介绍,运营,商现有系统介绍,垃圾短信集中管控系统方案,垃圾短信过滤经营分析系统支撑方案,总结与展望,总结,从运营商方面对垃圾短信过滤技术和系统进行了研究，所做研究都是基于移动通信网络，是垃圾短信在网络侧的拦截，在实际应用中，需要手机终端拦截与网络侧拦截相结合，才能对垃圾短信达到更好的治理效果。,谢谢！,