账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
向垃圾邮件说“不”
 

【作者: 王正豪】2004年12月01日 星期三

浏览人次:【4542】

随着电子邮件的广泛使用,垃圾邮件(E-mail Spam)的问题日益严重,美国虽于2004年一月一日正式通过反制非法散布不请自来商业邮件的CAN-SPAM Act S.877联邦法案,然而这些日子以来,垃圾邮件的产生速度并没有减缓的趋势。根据反垃圾邮件厂商Brightmail在2004年7月的统计,垃圾邮件的比例已高达65%以上;另外,反毒及反垃圾邮件厂商Sophos统计,垃圾邮件的最大宗来源,43%来自美国,16%来自南韩,而11%来自中国大陆,其中大陆逐渐成为最大的垃圾邮件转寄国。


在对抗垃圾邮件的解决方案上,虽然各家厂商都有不同的提案,然而目前仍未制定出一套业界的统一标准。目前最常见的作法是透过邮件过滤软体,即在伺服器端及用户端进行垃圾邮件的过滤,然而过滤只是其中一种作法而已,对邮件使用者并无多大助益。


为此,验证E-mail发信端的功能则受到瞩目,最主要的有Microsoft的Sender ID - 寄件人身份、AOL的SPF、Cisco的Identified Internet Mail,以及Yahoo的Domain Keys,但目前仍是百家争鸣、各持己见的局面,能否产生整合仍有待观察。


另一方面在研究课题上,继MIT所主办2003及2004 年的Spam Conference之后,今年在2004反垃圾邮件研讨会(Conference on E-mail and Anti-Spam,CEAS)会议中发表了29篇论文,在此类的议题上可说是盛况空前,也显示出垃圾邮件问题的严重性。各篇论文分别从各式各样不同的角度来思考如何解决这个问题,不难看出目前仍有许多的困难有待突破。


本文以下即针对业界标准及研究议题这两部分,分别深入探讨目前的发展以及未来的趋势。


业界目前发展及标准制定

解决垃圾邮件日益严重的问题,网际网路研究任务小组(Internet Research Task Force,IRTF)于2003年3月成立了一个反垃圾邮件研究组织(Anti-Spam Research Group,ASRG),其任务在于专门探讨垃圾邮件问题的各种工具及解决方案,以提供网际网路工程工作特别小组(The Internet Engineering Task Force,IETF)制定标准时的参考。它们的定位主要是在分析垃圾邮件的问题,改进目前的解决方案,并研拟出新的方案。目前ASRG包括了以下八个群组,分别就邮件的来源、传送,以及身份认证等问题详加讨论:


  • 1.Abuse reporting standards:主要讨论E-mail Spam或网路滥用回报的标准格式及通讯协定,包括里面应含有哪些资讯,及回报者的标准程序等。主要对Internet Service Providers(ISPs),邮件伺服器管理者,以及管理黑名单的单位,如:The Spam Haus Project有帮助。


  • 2.Analysis & characterization(A&C):主要讨论如何应用实验或量化的方法来分析Spam相关的问题。例如,Spam从何而来?特征是什么?要如何解决?主要牵涉的问题有:资料如何取得?以及如何设计实验来进行资料的分析。


  • 3.Best Current Practices(BCP):主要规范目前Spam管理最好的方法及习惯,分别为使用者、ISP、黑名单管理者,及MTA(mail transfer agent,即mail server,邮件伺服器)等提供最佳建议。


  • 4.Filtering Standards(FILTERING):主要制定邮件过滤的标准,包括filter或MTA间如何自动更新或分享过滤资讯,以及header格式的标准。


  • 5.Identity,Authentication,and Reputation:主要探讨寄件者身分的确认,寄件者或网域的验证,以及供收件者来评估的reputation systems。


  • 6.Inventory of Problems:主要研究造成Spam泛滥的原因,包括为何E-mail传送机制(特别是SMTP)容易造成Spam。并且与其他资讯安全问题,如virus,DDoS(Distributed Denial of Service)攻击等,加以比较。


  • 7.Message Verification(MSG-VERIFY):主要探讨邮件内容及header的检验及验证。着重在不同的message verification方法的比较,包括Project Lumos、TEOS,及PKI等。


  • 8.SMTP Session Verification(SMTP-VERIFY):主要研究SMTP session的检验及验证。这个小组合并了先前的两个副群组,即CRI(ChallengE-Response Internetworking),及LMAP(Lightweight MTA Authentication Protocol)。而在DNS加入MTA注册记录的方法,如SPF、LMAP、RMX(Reverse Mail eXchanger)、DMP(Designated Mailers Protocol)等,则改由IETF 的MARID (MTA Authorization Records in DNS)工作小组进行。



目前在业界有许多不同层次的解决方案被提出,例如:在client-level及server-level有不胜枚举的商业及开放资源邮件过滤软体,如SpamAssassin等。在router-level有TurnTide Inc.的antiSpam router,直接在layer 3和layer 4拦截packet加以分析并阻挡可疑邮件;然而目前在ASRG mailing list上最热烈讨论的议题,莫过于在server-level对于SMTP session以及mail header的检查及验证,以进行邮件寄件者的验证,因为如此可以有效在伺服器就拦截下所有可疑的讯息,减少mail传送到个人端的overhead,又不须检查邮件内容,不至于造成侵犯私人的问题。目前有几家大厂各自推动其解决方案,如SPF、DomainKeys,及Sender ID等机制,以下就针对这些方案加以详细说明。


伺服器端寄件者验证的业界标准

由于垃圾邮件、病毒、或诈欺的邮件主要是以伪造寄件者身份来达成其欺骗的目的,而现有的验证方法如PGP(Pretty Good Privacy)等,又只包含了信件内容的验证,对于header栏位如寄件者,并无法确保其真实性。因此,在伺服器端验证的机制,主要目的在找出真正的寄件者身份。目前主要提案如Sender Permitted From(AOL)、Sender ID(Microsoft)、DomainKeys(Yahoo),以及Identified Internet Mail(Cisco)。


其中Microsoft虽然向IETF提出Sender ID成为Internet标准的申请,然而由于授权签署的限制条件相当严格,使得Open Source族群(如:Apache Foundation)不愿支持,在九月初被IETF投票否决,原因是微软将其专利部分的技术细节保密,随后AOL也表示不支持微软的提议。这些事件连带使得IETF决定解散MARID工作小组。因此,在这种群龙无首,谁也不愿屈服的情形下,要如何找出最佳的解决之道,恐怕已不单纯是技术的问题了。以下我们分别就这几种提案加以说明。


AOL提出的SPF方案

SPF(Sender Permitted From)方案,相当于是网域伺服器上的reverse Mail exchanger record。一般的MX record所储存的是这个网域有哪些合法的收件MTA,而SPF则可以让网域管理者用来指定哪些IP address才是该网域合法的寄件MTA。当收到一封新信件时,mail 伺服器经由DNS查询即可得知该信件是否确实由信件中所宣称的网域寄出。


由于IETF的MARID工作小组解散,各家依然坚持自己的提案,Meng Weng Wong重提了一个之前被忽略的折衷方案,Unified SPFii,可整合各种不同的寄件者验证方法,系统管理者可采用一个或多个不同的验证方法,保持最大的弹性,但究竟能否一统天下仍有待观察。


Microsoft提出的Sender ID方案

Sender ID的架构是一种hybrid的架构,主要来自Microsoft的Caller ID for E-mail,前面所提的Sender Policy Framework,以及submitted optimization。如(图一)所示,基本上它是一种domain-based的架构,所有E-mail只能从拥有正确IP address的mail servers寄出,因此,未经合法验证许可的mail server所寄出的E-mail则被认为是不合法的。


《图一 Microsoft 的 Sender ID 运作原理》
《图一 Microsoft 的 Sender ID 运作原理》

目前Sender ID已被UNIX系列伺服器最广为使用的mail server sendmail所初步采用测试,初步的测试结果对于整体的伺服器流出与流入封包的处理速度分别减慢了8%与15%。


Yahoo所提出的Domainkeys

Domain Keys目前也是IETF的Internet draft,它的想法也很类似,为了有效分辨哪些邮件是假造身份发出的,它采用了数位签章(digital signature)的方法来验证寄件者domain。


如(图二)所示,网域管理者会产生一对公钥放在DNS伺服器上,用来验证邮件的网域,而私钥放在邮件伺服器上用来将寄出的邮件加以签章。寄出信件时,合法的使用者所寄出的信会被邮件伺服器以私钥签章,附在信件上,当收件者的邮件伺服器收到时,会先从信上所宣称的网域的DNS伺服器取得公钥并验证签章,证明信件的确是从该网域所寄出而且途中未经窜改。同样地,这样的做法也只能验证寄件网域。


《图二 Domain Keys(Yahoo)的运作原理》
《图二 Domain Keys(Yahoo)的运作原理》

Cisco提出的Identified Internet Mail方案

Identified Internet Mail目前也是IETF的Internet Draft,与前者不同的是,它同时支援了user-level及domain-level 签章,可做到更细部的确认寄件者身份,而不只是寄件的网域而已,因此可以弥补Sender ID等方法之不足。与前述的Domain Keys不同的是,它的公钥和签章皆是以header的形式包含在讯息中。


目前主要研究方向

虽然E-mail Spam的研究自从1998年之后陆陆续续有人在进行,然而真正大规模在国际会议上从各种不同观点来探讨,则首推MIT 2003及2004的Spam Conference,以及今年第一届的CEAS,共有180人与会29篇论文发表,创下这方面议题的记录,可见问题的迫切性。探讨的主题层面相当广,包括E-mail本身的问题、垃圾邮件的过滤问题、网路层的解决方法、身分认证,以及法律与政策面的问题,分述如下:


  • 1.Email(非垃圾邮件):E-mail本身的研究,例如:有人提出如何从E-mail及Web撷取出social network与contact information。另外有人提出将E-mail分群(clustering)来推导出使用者目前进行中的活动。虽然不是与垃圾邮件直接相关,却十分有趣。


  • 2.垃圾邮件过滤器(统计方法):以统计方法过滤垃圾邮件,主要是以Naive Bayes的方法为主。另外也有提出以Support Vector Machine及Random Forests来做垃圾邮件侦测。因此,目前以统计方法来分辨垃圾邮件是最有效的方法之一,也是目前各邮件过滤软体所采用最主要的方法之一。


  • 3.垃圾邮件过滤器(非统计式方法):主要以一些经验法则,如:关键词比对,黑名单等综合判断为主。一般过滤时,要计算出一封邮件是垃圾邮件的可能性,但有人提出不同的思考方向,即以名声网路来分析每个人的信用与名声分数,强调提高好人的名声。


  • 4.识别:一般而言,在邮件伺服器要得知寄件者身份及IP address是很容易的,但是现有的架构下,在用户端要取得这类资讯却很困难。因此须要采用新的标准,如SPF等机制加以验证。


  • 5.法律面:由于许多垃圾邮件寄发者是从网站大量收集E-mail address,因此有人提出一套机制,在网站加入"no-email-collection" flag以及版权宣告来限制自动撷取电子邮件的机器人,同时并设下E-mail honey pot,以便追踪违反规定者,搭配如CAN-SPAM Act的法律,依法制裁。


  • 6.网路技术:有人提出TCP damping的方式,在TCP level增加垃圾邮件寄发者的延迟,并且消耗他的资源。另外有人提出extrusion detection的方法,从mail server log分析流量,经由适当的规纳整理如delivery failure来侦测垃圾邮件。


  • 7.垃圾邮件寄发者技术:最后有人分析垃圾邮件寄发者的常见手法,例如:诈欺,或是网路钓鱼骗术邮件,并将大量收集来的垃圾邮件加以分析,找出垃圾邮件寄发者所广告的产品,以及所利用的系统或网路漏洞,是不断在改变的。


  • @大标:良好电邮使用习惯,才能彻底打败垃圾邮件



E-mail已经成为日常生活中主要沟通工具之一,垃圾邮件所影响的层面可说越来越广,因此,垃圾邮件不只是邮件过滤的问题而已,必须从全面的解决方案来着手。虽然在垃圾邮件的这场攻防战中,有越来越多的专家投入,目前也正努力使得原有的电子邮件传送机制(SMTP)更加健全。然而,在整体架构尚未健全之际,仍然会有许多不法的垃圾邮件寄件者藉由种种漏洞,大量寄发广告信件,赚取非法的利益。因此,除了法律的约束及制裁外,如何教育一般民众使用电子邮件时的正确认知,养成良好的习惯,例如:不随便开启、转寄或回覆陌生寄件者的信,也是非常重要的。与其他资讯安全问题同样的,唯有全方位的整体思考从各种角度同时着手,才有可能真正彻底将垃圾邮件的问题解决。


延 伸 阅 读
本文统计出前12大垃圾邮件的产出国:美国占42.53%、南韩15.42%、中国与香港11.62%、巴西6.17%、加拿大 2.91%、日本2.87%、德国1.28%、法国1.24%、西班牙1.16%、英国1.15%、墨西哥0.98%、台湾0.91%、其他11.76%,同时提出其他的分析报告。相关介绍请见「垃圾邮件出口国比一比  」一文。
根据调查显示,全球每分钟有1040万封垃圾邮件(SPAM)在流通,美国的企业花在处理垃圾邮件的时间,加上网路频宽被垃圾邮件占据,导致生产效率下降,一年损失超过百亿美元。你可在「垃圾邮件手法日益翻新 网路病毒抢搭顺风车」一文中得到进一步的介绍。
大陆从2002年起,信誓旦旦的要清除「垃圾邮件」以保护收信人的权益,对外宣称是为保护收件人不被干扰。北京防的「垃圾」邮件,真相是什么?在「 反垃圾邮件?中国醉翁之意不在酒」一文为你做了相关的评析。
相关组织网站
sophos官方网站
spamhaus官方网站
spamassassin官方网站
相关文章
出囗管制风险下的石墨替代技术新视野
用Arduino 打造机器人:循迹、弹钢琴、下棋都行!
树莓派推出AI摄影机、新款显示器
智慧充电桩百花齐放
充电站布局多元商业模式
comments powered by Disqus
相关讨论
  相关新闻
» 台达推出5G ORAN小型基地台 实现智慧工厂整合AI应用
» 欧洲航太技术展在德国盛大展开,全球吸睛 镭洋推出卫星通讯整合方案,目标抢占庞大的欧洲卫星商机
» 经济部促成3GPP大会来台争话语权 国内外大厂共商5G/6G新一代技术标准
» 经济部支持跨国研发有成 台欧双方分享B5G~6G规划
» 达梭系统收购IQMS扩展3DEXPERIENCE平台


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK85E4U35YYSTACUK4
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw