DSPAM简介和使用.ppt

DSPAM简介和使用 Xueron2007 06 16 反垃圾概述 基本MTA控制 防止OpenRelay SMTP认证 IP并发 频率等 关键字过滤黑 白名单 IP DOMAIN 用户 DNS测试IP HELO SENDER的一些DNS查询SPF DKIM实时黑名单技术 RBL URIBL 贝叶斯过滤垃圾邮件评分 SA 指纹识别行为检测蜜罐图片识别HashCashReputation DSPAM简介 Dspam是一个开源的垃圾邮件过滤软件作者 JonathanA Zdziarski EndingSpam BayesianContentFilteringandtheArtofStatisticalLanguageClassification 目前版本 3 8 0 2007 3 特点 高效0 01s 0 07s msg准确99 5 99 95 DSPAM的其他一些特性 数据库支持HashDBSqlite Sqlite3MysqlPgsqlOracle 最新的3 8 0已经去掉了 ClamAV集成WebUI自动白名单 DSPAM的分词技术 Word 逐个 词 的切分Chain 链式切分Sbph SparseBinaryPolynomialHashing Osb OrthogonalSparsebiGram DSPAM使用的算法 Na ve 朴素bayes算法 Graham APlanforSpam Burton SpamProbe Robinson Robinson sGeometricMeanTest Chi square Fisher Robinson DSPAM的训练方法 Toetrain on error遇到错误才学习优点 数据库写操作少些 学习效率高缺点 准确性低一些Tefttrain everything学习所有优点 简单实时缺点 数据库增长很快 I O频繁易出错Tumtrain until mature学习到成熟介于Teft和Toe之间的一个方法Tunetrain until no errors学习到没有错误优点 准确率很高缺点 学习需要的时间很长 DSPAM的处理能力 最大的部署在35 000用户的系统上通常处理一封邮件需要0 01s到0 07s 最高的0 20s左右 DSPAM的应用 学习Dspam自带的工具dspam trainDspam程序 dspam trainUsage dspam train username iindex spam dir nonspam dir dspam useruser1 class spam innocent source error corpus inoculation message DSPAM的应用 学习方式 source参数error针对dspam作成错误判断的邮件 使用这个方法学习 它要求邮件中dspam判断的特征串 或者以参数形势给它 以便对数据库相应的内容做修改corpus对分好类的样本集做学习 通常在最开始的时候使用这个方式 这些样本没有被dspam判断或者学习过inoculation接种方法 通常用来学习Honeypot收到的邮件 这些邮件的token将被额外的计数 以便突出 对识别新spam效果很好 DSPAM的应用 部署dspam postfix 作为content filterDspam设置 Postfix LMTP DSPAM Postfix Delivery SMTPReinjection ServersideServerModeautoServerParameters deliver innocent ServerIdent localhost localdomain ServerPID var run dspam pidServerDomainSocketPath tmp dspam sock ClientsideDeliveryHost127 0 0 1DeliveryPort10026DeliveryIdentlocalhostDeliveryProtoSMTP DSPAM的应用 部署dspam postfix Postfix的设置Re inject设置 smtpinetn n smtpd ocontent filter lmtp unix tmp dspam sock localhost 10026inetn n smtpd ocontent filter oreceive override options no unknown recipient checks no header body checks osmtpd helo restrictions osmtpd client restrictions osmtpd sender restrictions osmtpd recipient restrictions permit mynetworks reject omynetworks 127 0 0 0 8 osmtpd authorized xforward hosts 127 0 0 0 8 DSPAM的应用 部署dspam amavisd new amavisd confamavisd my proc fh pid run command mode teft qw stdout deliver spam dspam 3 0 useoption featureinsteadof tokenizerwithdspam 3 8 0 path usr local sbin usr local bin usr sbin sbin usr bin bin dspam usr bin dspam DSPAM的应用 做为SA的一个插件同直接使用一样部署 但是设置dspam让其只在header上添加处理结果SA增加插件 根据邮件头上dspam的结果增减不通的分数插件下载http eric lubow org projects dspam dspam pm ServerParameters deliver innocent spam DSPAM的应用 自动白名单Dspam跟踪完整 From 行 如果同一From 有10 可调 封正常邮件并且0封垃圾邮件 那么该记录被标记为白名单 一旦有用户报告来自该记录的spam 这个白名单记录将被删除 启动白名单dspam conf命令行参数 Featurewhitelist feature wh 随着时间的增长 dpsam的不断使用和学习 他的token数据库和特征库也在不断的增长 所以需要定时的对过时的或者无用的数据进行清理 Hash dbSql对于mysql 有两个脚本 4 1的脚本支持事务 00 mysql user user pass pass db path to purge 4 1 sql DSPAM的数据库的清理 00 usr local bin dspam clean options DSPAM的web管理 统计监测参数调节 用户级 隔离区管理图形分析系统管理 超级管理员 参考资料 Q A Email xueron MSN xueron QQ 412844 谢谢