为了应对日益突出的垃圾邮件问题,华南理工大学信息网络工程研究中心暨广东省计算机网络重点实验室联合广州数园网络有限公司,基于多年的校园网反垃圾邮件经验,自主研发了Matrix智能邮件处理系统,具有智能化、自动化的反垃圾和防病毒邮件功能。
体系结构设计
整个Matrix智能邮件处理系统由安装在用户邮件服务器之前的前端垃圾邮件过滤系统和集中的中央监控管理系统组成。如图1所示:
安装在用户服务器端的Matrix嵌入式智能邮件处理系统具有自处理、自学习过滤功能,每一台Matrix都和其它已经运行的Matrix连成一个高效率的垃圾邮件防护网络。不仅各个单机节点之间实时交换自学习经验值,而且各个过滤系统与中央监控管理系统互联,中央监控管理中心可对各个前端过滤系统进行统一的监控管理,并建立了大型的垃圾邮件样本信息以及垃圾邮件特征数据库,依赖后台的高性能计算环境采集和挖掘有效垃圾邮件特征,并实现过滤特征和规则的自动分发,构建基于Internet的分布式的立体防护体系。这样,即使是小规模邮件用户所使用的Matrix和大型企事业单位所使用的集群Matrix处理系统具有相同的垃圾邮件和病毒邮件过滤效果。
系统工作流程
前端Matrix邮件过滤系统采用嵌入式Linux设计,具有自保护和恢复设计,保证过滤系统的稳定可靠运行。各个过滤模块采用即插即用的模块化设计,更易添加过滤算法。同时设计流程调节管理器,可以根据垃圾邮件爆发的特征调节处理流程。如图2所示。
整个系统由两级防火墙和多级过滤模块组成,网络防火墙和邮件防火墙在网络层和应用层有效阻挡恶意攻击。反病毒模块支持不同反病毒厂商的过滤引擎接入实现对病毒邮件的有效过滤。智能过滤模块采用先进的过滤算法实现对垃圾邮件的有效过滤。为了保证过滤系统由于单一过滤算法规则可能引起的误过滤而影响用户的正常沟通,系统设计综合决策评分系统,依据规则符合的多少和权重来裁决是否属于垃圾邮件,尽可能避免误过滤的发生。
系统功能及技术特色
Matrix智能邮件处理系统具有如下的技术特色:
1.嵌入式系统结构和设计
为适应邮件服务负荷高,运行时间长,故障率低等特别要求,前端的邮件处理系统采用了嵌入式平台的设计理念和技术,并可在运行中自动监测不同级别的运行故障,并采取不同的策略,如自恢复,报警和断点恢复等。整个系统具有可移植,可裁剪,易管理等优点。对系统内核模块进行的二次开发,使其具备邮件防火墙的强大功能,可在网络层实施高效的处理和过滤,并可根据应用的需求,内嵌高速网络处理器,以增强系统处理的时效性,提升系统效率和性能。
2.智能处理算法和控制机制
我们研制和开发了多种智能处理和过滤算法,包括基于行为特征的数量控制、基于特征提取的内容过滤方法包括贝叶斯学习算法,模糊指纹算法和基于颜色和纹理模型的垃圾和色情图像过滤方法等,先进算法的应用使得系统智能性得到极大的提高。
3.适应性数据库以及海量数据分析
采用分布式的适应性数据库来跟踪描述垃圾邮件特征。通过对大量的垃圾邮件的监测、分析、汇总,抽取出垃圾邮件的分布特征,并依据这些特征作为进一步分析判定垃圾邮件的证据。深层次地挖掘出垃圾邮件内部以及之间的关联信息,并预测其发展规律。
4.分布式过滤处理和协同管理
基于全网统一防止垃圾邮件的思想,设计了分布式可伸缩的系统结构,基于分布式的适应性数据库,通过分布在网络中各个邮件过滤器的协同工作,任何发现的垃圾邮件特征可以分发给网络中所有的邮件过滤器,这种应用方式提升了发现垃圾邮件的可能性,并可实现全网一致的垃圾邮件的过滤效果。同时,处理和分析中心产生的新的特征值还可以实时地发布到网络中的各个特征数据库中,提高对垃圾邮件的处理能力,增强垃圾邮件处理的时效性及能力。
Matrix智能邮件处理系统提供了较为完善的邮件过滤和维护管理功能,如表1所示(表有部分省略,详情请登录www.media.edu.cn获取)。
应用建议
Matrix智能邮件处理系统由于采用嵌入式设计和长期的用户测试,系统稳定性可靠性有良好保证。在过滤率提升和防误过滤方面做了大量技术保证,所有默认参数都经过大量的用户实际环境的验证,在应用的过程中无需用户过多干预,基本做到免维护。但为了保证Matrix更加可靠稳定高效运行,在实际的应用环境中提出以下建议。
1.组网方式建议
有2到5万邮件用户的校园网或企业网可以采用两台Matrix级联作邮件过滤和Inbound Server,如图3。其中Matrix 1启动网络防火墙功能,可以抵御较大规模的邮件攻击;Matrix 2专门对邮件的内容作过滤,这样可以提高处理的能力。
对于拥有5万以上用户的单位可以4台Matrix分两路作邮件过滤和Inbound Server,如图4。起到负载均衡和提高系统持续工作能力的作用,任何一台Matrix出现故障,用户的邮件都不会丢失。其中Matrix 1和Matrix 3启动网络防火墙功能,可以抵御大规模的邮件攻击;Matrix 2和Matrix 4专门对邮件的内容作过滤。当Matrix 2或Matrix 4出现故障时,Matrix 1 或 Matrix 3会将邮件发到另一个专门作邮件内容过滤的Matrix中处理。
2.垃圾邮件的后处理建议
Matrix智能邮件处理系统本身提供对过滤垃圾邮件的暂存功能,但由于过滤系统本身没有大规模磁盘阵列,过滤掉的垃圾邮件只能存放一定时间,所以在实际应用环境中建议单独安装一套接收垃圾邮件的邮件服务器,将Matrix过滤的垃圾邮件转发到此台邮件服务器,这样每个用户都可以访问到被过滤下来的垃圾邮件。
图3 用户数2至5万的组网方案
图4 用户数5万以上的组网方案
3. 邮件服务器安全防治建议
由于用户可能采用不同的邮件服务器,所运行的操作系统和应用软件都不尽相同,这些操作系统或应用软件或多或少都有一些安全漏洞,极有可能对邮件服务的正常运行带来隐患。所以针对操作系统要及时更新补丁,对于邮件服务器要关闭Open Relay功能,防治垃圾邮件发送者利用这些漏洞来发送垃圾邮件。邮件服务器在组网时尽可能置于防火墙之后,保证自身安全。
依托CERNET华南地区网络枢纽优势和广东省重点实验室的优势,依靠长期的相关技术研发经历和成熟的技术开发和支持队伍,华南理工大学信息网络工程研究中心暨广东省计算机网络重点实验室不断跟踪垃圾邮件的变化趋势和先进的过滤技术,研究开发新的过滤算法,使得Matrix的过滤效果一直保持在同类系统的前列。多数应用单位的垃圾邮件过滤率保持85%以上,部分用户的过滤率长期保持在90%以上的水平,良好的过滤效果保证了用户邮件服务器的正常稳定运行,保障了网络系统的安全性。
(作者单位为华南理工大学信息网络工程研究中心)
《中国教育网络》2008年6月刊
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。