【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理

digest [复制链接]
发表于 : 2015-9-22 15:09:28 最新回复:2019-08-16 09:38:57
11965 17
强叔侃墙
强叔侃墙 官方号

相比于QQ、微信这样广泛使用的即时通信工具,电子邮件这一传统的通信方式似乎越来越小众化,我们现在很少使用邮件来传递消息。但是对于企业来说,邮件仍然是工作中不可或缺的沟通手段,很多企业也都部署了邮件服务器,通过邮件开展业务。

企业通过邮件开展业务的同时,也会面临一些难题。例如,不请自来的垃圾邮件充斥着邮箱,影响员工阅读正常邮件,降低了工作效率;机密信息可能会通过邮件泄露,企业利益受到损害。所以无论是出于提高员工工作效率还是保证信息安全的考虑,企业都需要对发送和接收邮件的行为进行管控。

NGFW提供了邮件过滤特性,包括垃圾邮件过滤和邮件内容过滤功能,双管齐下帮助企业破解上述难题。下面我们先来学习NGFW上的垃圾邮件过滤功能。

垃圾邮件过滤

垃圾邮件(SPAM)指的是未经用户许可强行发送到用户邮箱的电子邮件,内容一般是广告、宣传资料、***等,甚至带有病毒程序。大量的垃圾邮件不但消耗网络带宽,占用邮箱空间,还带来了安全隐患。NGFW作为企业的网关,必须坚决阻断垃圾邮件的传输。

NGFW使用RBL(Real-time Blackhole List)技术来过滤垃圾邮件,简述其原理就是NGFW获取邮件发送方SMTP服务器的IP地址,向RBL服务器发起查询。RBL服务器维护着实时黑名单列表,列表中的SMTP服务器都发送过垃圾邮件,NGFW根据RBL服务器的返回结果判断该IP地址是否属于垃圾邮件服务器,进而采取相应的处理动作。

垃圾邮件过滤的过程需要NGFW、DNS服务器和RBL服务器三者协同工作,如下图所示。

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-1

 

1、发件人通过邮件服务器向企业邮件服务器发起SMTP连接。
2、NGFW解析出SMTP请求中邮件发送服务器的IP地址,并将此IP地址反转后和RBL服务器名称一起组合成一个“域名”,向DNS服务器发起查询。例如:发送方邮件服务器IP地址为1.2.3.4,RBL服务器为sbl.spa**aus.org,则NGFW将以“4.3.2.1.sbl.spa**aus.org”发起查询。
3、DNS服务器从查询报文中读取RBL服务器名称,解析出RBL服务器的IP地址,并将查询请求转发给RBL服务器。
4、RBL服务器在指定的区域中查询IP地址(1.2.3.4),并将查询结果返回给DNS服务器。如果此IP地址在RBL中,则返回应答码;否则返回NXDOMAIN。
5、DNS服务器将查询结果转发给NGFW。
6、NGFW根据查询结果处理SMTP请求:
   -如果RBL服务器返回应答码,则该邮件被视为垃圾邮件。NGFW根据管理员预先设置的响应动作,转发SMTP连接请求并记录日志或者阻断SMTP连接。
   -如果RBL服务器返回NXDOMAIN,NGFW转发SMTP连接请求。
   -如果RBL查询超时,NGFW转发SMTP连接请求。

以上是一个完整的初始查询流程。为了提高效率,减少查询流量,NGFW会缓存RBL查询的结果。后续NGFW解析出发送方邮件服务器的IP地址后,首先在缓存中查询,查询不到再发起RBL查询。

对于NGFW来说,部署垃圾邮件过滤功能时,需要重点关注的是DNS服务器、RBL服务器以及应答码这三个配置项,下面分别对这三个配置项进行介绍。

DNS服务器

RBL查询过程使用的是标准的DNS查询报文,NGFW向DNS服务器发起查询,也是由DNS服务器来返回查询结果,所以DNS服务器的运行状态决定查询效果。若想正常进行RBL查询,DNS服务器必须满足如下条件:

1、DNS服务器必须能够向NGFW开放查询

有一些DNS服务器是不开放查询的(比如根服务器),有些DNS服务器基于安全考虑,也会限制仅响应指定客户端的查询请求(比如电信的DNS服务器不对网通用户开放),因此必须选用向NGFW开放查询的DNS服务器。

2、DNS服务器必须支持递归查询。

递归查询指的是DNS服务器收到查询请求后,如果查不到记录,则向另外的DNS服务器发出查询请求,以此类推,最终得到结果后转发给NGFW。这也是RBL查询流程对DNS服务器的要求。

DNS服务器的另一种查询方式是迭代查询。当DNS服务器1不能解析查询请求时,DNS服务器1只会将DNS服务器2的IP地址返回给NGFW,由NGFW重新向DNS服务器2重新查询,直到查询到记录为止。此时NGFW收到的是DNS服务器2的IP地址,而不是应答码。如果NGFW上的应答码配置不当(使用了“任意应答码”),就会导致正常邮件被当作垃圾邮件处理,产生误报。

3、DNS服务器必须没有被DNS劫持。

DNS劫持指的是ISP为引导用户访问其增值站点,对DNS服务器做了特殊配置,使得DNS服务器在应该返回NXDOMAIN时,篡改为其增值站点的的IP地址。这样,NGFW收到的查询结果就变成了DNS劫持后的IP地址,也会产生误报,所有正常邮件被当作垃圾邮件处理。

如何判断一个DNS服务器是否符合上述要求呢?我们可以使用nslookup命令(Windows系统)或dig命令(Linux系统)来探测DNS服务器,根据命令执行后的返回信息来判断该DNS服务器的运行状态。具体的操作过程在NGFW的产品文档或网络上都有详细的说明,此处就不赘述了。

RBL服务器

设置好DNS服务器后,还需要确定使用哪个RBL服务器。网络上有很多的RBL服务提供商,他们提供的RBL侧重点和严格程度不尽相同;有的提供商还会提供多个RBL,用于收录不同种类的IP地址,该怎么选择呢?
对于企业管理员来说,应根据自己所在国家、经常收到的垃圾邮件源来选择合适的RBL服务提供商。下面给出了两个主流的RBL服务提供商,管理员可根据实际情况选用。

中国反垃圾邮件联盟(CASA)   http://www.anti-spam.org.cn/

RBL

查询集

应答码

备注

CBL

cbl.anti-spam.org.cn

127.0.8.2

CBL主要面向中国国内的垃圾邮件情况,所甄选的黑名单地址也以国内的垃圾邮件反馈情况为主。CBL比国外的一些RBL服务器更适合中国国情。

CBL+

cblplus.anti-spam.org.cn

127.0.8.2

CBL和中国动态地址列表的合集。

CBL-

cblless.anti-spam.org.cn

127.0.8.2

相比CBL+,特别去除了中国邮件服务运营白名单。

 

Spa m h aus   http://www.spa m h aus.org/

RBL

查询集

应答码

备注

SBL

sbl.spa m h aus.org

127.0.0.2-3

经过验证的垃圾邮件源及确实有垃圾邮件发送行为的实时黑名单列表。

XBL

xbl.spa m h aus.org

127.0.0.4-7

因安全问题(僵尸主机、木马感染主机等)而发送垃圾邮件的实时黑名单列表。

PBL

pbl.spa m h aus.org

127.0.0.10-11

不应该发送邮件的IP地址列表,包括动态地址。

ZEN

zen.spa m h aus.org

127.0.0.2-11

SBLXBLPBL和集合,推荐使用。

 

上述表格中的查询集指的就是RBL服务器的名称,需要在NGFW上配置。另外,还有应答码这一项也需要在NGFW上配置,下面我们来进一步了解应答码的概念和作用。

应答码

应答码指的是RBL查询过程中RBL服务器返回的结果,通常是IP地址的形式,用来表示NGFW查询的IP地址已经被列入RBL中,即RBL服务提供商认为该IP地址对应的邮件服务器经常转发垃圾邮件。

同时,NGFW上也要设置正确的应答码,该IP地址发送的邮件才会被NGFW当作垃圾邮件处理。如果应答码设置错误,与RBL服务器返回的应答码不一致,NGFW将视此邮件为正常邮件,并正常转发SMTP连接请求。

在NGFW上有两种设置应答码的方式:

其一,获取RBL服务提供商的所有应答码并一一填写,或者也可以选择只填写一部分应答码,即表示只有返回这些应答码的查询,才被当作垃圾邮件处理。

其二,使用“任意应答码”,无需填写具体的应答码。NGFW会把所有查询结果为IP地址的邮件服务器判定为垃圾邮件发送源,在DNS服务器被劫持的情况下,这种方式将产生误报。

所以,建议还是要在NGFW上准确设置应答码,避免使用“任意应答码”方式,这样就可以保证即使DNS服务器被劫持,也不影响RBL查询效果。

上面简要介绍了RBL技术的实现原理,以及与NGFW相关的三个配置项。关于RBL技术,我们先前在华为悦读汇中已经进行过详细介绍,有兴趣的读者可以点击这里浏览。

由于RBL服务提供商收录IP地址的原则和技术方案或多或少都会有限制,通过RBL技术实现垃圾邮件过滤时,不可避免地带来了误报和漏报问题。对此,NGFW提供了本地白名单和黑名单功能,作为解决误报和漏报的辅助手段。

白名单

白名单用来解决误报问题,如果发送方邮件服务器的IP地址命中白名单,则NGFW放行此邮件,并记录日志,不再进行其他检查。

企业管理员可以查看邮件过滤日志,从日志中获取到被误阻断的邮件服务器的IP地址,添加到白名单中。另外,如果企业信任某些知名的邮件服务商,管理员也可以把他们的邮件服务器IP地址全部加入到白名单中。

黑名单

黑名单用来解决漏报问题,如果发送方邮件服务器的IP地址命中黑名单,则NGFW直接阻断此邮件,并记录日志。
向黑名单中添加邮件服务器的IP地址时,需要分析没有被过滤掉的垃圾邮件的转发路径,从中获取发送该邮件的邮件服务器IP地址。具体来说,邮件在发送过程中,有可能需要经过多次中转。每一次中转,邮件服务器都会在邮件头中添加一个Received域,表明了邮件经过该服务器的转发,我们就是从邮件头来追溯邮件的转发路径。
邮件头中Received语句的基本表达格式是:From Server A by Server B,其中,Server A为发送邮件的邮件服务器,Server B为接收邮件的邮件服务器。一般情况下最后一个Received语句中的Server A就是发送垃圾邮件的邮件服务器。如下给出了Microsoft Outlook接收到的邮件的邮件头信息:

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-2

 

根据黑名单过滤的工作原理,我们需要确定的是向NGFW发起SMTP连接的邮件服务器,即在邮件转发路径中查找,处于NGFW保护范围内的企业邮件服务器是从哪个邮件服务器接收的邮件。以上图为例,邮件是从m15-39.126.com(220.181.15.39)发送到企业邮件服务器xxx.huawei.com的,如果想要NGFW阻止这封邮件,把220.181.15.39加入黑名单即可。

前面我们所介绍的RBL、黑白名单都属于基于IP地址的过滤技术,接下来我们学习基于邮件协议的邮件内容过滤技术,实现多样化的邮件管控需求。

邮件内容过滤

邮件内容过滤主要包括两个部分:邮箱地址检查(含匿名邮件检测)、邮件附件控制。其中,邮箱地址检查根据邮件的发件人和收件人邮箱地址来过滤邮件;匿名邮件检测用来阻断发件人为空的邮件;邮件附件控制通过限制邮件所携带的附件数量和每个附件的大小来过滤邮件。

邮箱地址检查

邮箱地址检查指的是NGFW以代理方式检测SMTP、POP3和IMAP协议中的关键命令,从中提取发件人和收件人的邮箱地址,根据邮箱地址对邮件采取相应的动作。NGFW支持的动作包括:

  • 允许:允许邮件通过。
  • 阻断:阻断邮件通过。对于IMAP协议,目前仅支持告警处理,即允许邮件通过并记录日志,无法阻断。

SMTP协议主要用于客户端向邮件服务器或者一个邮件服务器向另一个邮件服务器发送邮件,POP3和IMAP协议主要用于客户端从邮件服务器接收邮件。与此对应,NGFW基于控制方向(发送邮件和接收邮件)来对邮箱地址进行检查。所谓控制方向,其本质是邮件协议。控制发送邮件即针对SMTP协议,控制接收邮件即针对POP3和IMAP协议。

下面来看两个典型的应用场景。第一个场景,企业内网部署了邮件服务器,企业用户通过该服务器发送邮件,外网的邮件服务器也会向该邮件服务器发送邮件,如下图所示。

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-3

 

该场景中,通过邮箱地址检查来实现发送邮件方向(SMTP协议)的邮件过滤需求:

1、对发件人的邮箱地址进行检查,阻止外网的恶意用户向企业内网发送邮件。

2、对发件人的邮箱地址进行检查,阻止特定的企业内网用户向外发送邮件。

另外,在检查发件人邮箱地址的基础上,还可以同时针对收件人的邮箱地址进行检查,实现更精确的过滤需求。这里有一个极端情况需要注意,如果一封邮件同时命中发件人邮箱地址和收件人邮箱地址的检查,而两者的动作不一致,则NGFW执行严格的阻断动作,该邮件将被阻断。
第二个场景,企业内网没有部署自己的邮件服务器,而是使用某知名邮箱服务来收发邮件,如下图所示。

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-4

 

该场景中,通过邮箱地址检查来实现接收邮件方向(POP3/IMAP协议)的邮件过滤需求。具体来说,可以对发件人的邮箱地址进行检查,阻止外网的恶意用户向企业内网发送邮件。

当然,如果企业内网部署了邮件服务器,也可以对发件人的邮箱地址进行检查,防止企业用户收到恶意用户发送的邮件,如下图所示。但是这种方式不能减少邮件服务器的资源浪费和带宽占用,没有场景一中第1个需求的防范效果好。

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-5

 

邮箱地址与上一篇我们介绍过的URL类似,本质上也是一串或长或短的字符串,那么NGFW如何对邮箱地址进行检查呢?针对邮箱地址,NGFW提供了四种匹配方式,包括前缀匹配、后缀匹配、精确匹配和关键字匹配,如下表所示。

匹配方式

效果

典型应用

前缀匹配

匹配所有以指定字符串开头的邮箱地址。

用“username@”匹配来自username的所有邮箱地址,包括username@263.netusername@gmail.com等。

后缀匹配

匹配所有以指定字符串结尾的邮箱地址。

用“@gmail.com”匹配所有Gmail邮箱。

后缀匹配可以轻松实现针对域名的邮件过滤,最适合用于过滤来自指定公司的邮件。

精确匹配

匹配指定邮箱地址。

用“username@gmail.com”匹配username@gmail.com

关键字匹配

匹配包含指定字符串的邮箱地址。

用“username@gmail”匹配所有包含“username@gmail”的邮箱地址,如username@gmail.comusername@gmail.net等。

 

邮箱地址检查功能的关键在于邮箱地址,邮箱地址是否准确决定着过滤效果。这里需要特别注意,SMTP邮件服务器在转发邮件时不会校验发件人的邮箱地址,邮件中的发件人邮箱地址是不可靠的,所以邮箱地址检查存在一定的误报,这是SMTP协议本身的缺陷

企业管理员使用邮箱地址检查功能时,请务必明确哪些人(邮箱地址)能不能发送邮件或者接收邮件、能向哪些人发送邮件,准确定义邮箱地址。

匿名邮件检测

匿名邮件指的是没有发件人邮箱地址的邮件。上面我们讲过,在邮件的发送过程中,SMTP服务器并不校验发件人的邮箱,发件人可以伪造邮箱地址甚至不提供邮箱地址,这就产生了匿名邮件。
通常情况下,使用匿名方式发送邮件的动机是可疑的,邮件中可能包含无用或有害的信息,对企业来说,匿名邮件一般都和业务无关,应直接阻断。
NGFW提供了匿名邮件检测功能,类似于邮箱地址检查,只不过检查到发件人邮箱地址为空时,执行匿名邮件检测的动作,包括允许、阻断和告警。对于IMAP协议,目前不支持阻断动作,只支持告警动作。

邮件附件控制

企业用户发送邮件时可以携带附件,大量的附件不但占用带宽,还存在信息泄露的风险。对此,NGFW提供了邮件附件控制功能,可以控制邮件中所携带的附件的数量和每个附件的大小,从而控制带宽占用,并在一定程度上避免大量信息通过邮件泄露出去。
企业管理员可以针对发送方向和接收方向分别设置附件个数上限和附件大小限制。其中,附件大小限制是针对邮件中的每一个附件而言的,只有一个附件超过阈值,此邮件就按照指定的处理动作处理。处理动作包括告警和阻断,对于IMAP协议,目前不支持阻断动作,只支持告警动作。
邮件附件控制功能只能实现非常粗粒度的过滤,NGFW还支持针对邮件的标题、正文、附件名称对邮件进行精细化的过滤,我们将在后续的内容安全特性中介绍。

 

下图给出了邮件过滤特性中各个功能模块的处理顺序,以及相应的处理动作。

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1290495-6

 

至此,邮件过滤特性的原理部分介绍完毕,我们在这里总结一下:

  • 为了解决垃圾邮件泛滥的问题,NGFW提供了RBL技术,并辅助以本地白名单和黑名单解决误报和漏报问题。RBL、本地黑白名单都属于基于IP地址的邮件过滤技术,适用于SMTP协议。
  • 为了满足更多样化的邮件管控需求,NGFW还提供了邮箱地址检查、匿名邮件检测和邮件附件控制功能,这些是基于SMTP/POP3/IMAP协议的邮件过滤技术。

下一篇我们将介绍邮件过滤特性的配置,同时会给出典型的配置实例。

 

 

 

返回至汇总贴

本帖被以下专题推荐:

  • x
  • 常规:

点评 回复

跳转到指定楼层
Wayne
Wayne  版主 发表于 2015-9-22 15:32:25 已赞(0) 赞(0)

多谢分享   邮件客户端和web mail发送都能支持吗?
  • x
  • 常规:

点评 回复

Ted1989
Ted1989   发表于 2015-9-22 15:38:32 已赞(0) 赞(0)

上论坛第一件事关注强叔

  • x
  • 常规:

点评 回复

穆萨
穆萨  版主 发表于 2015-9-22 16:02:20 已赞(0) 赞(0)

回复 2 楼

邮件过滤主要是针对邮件协议的,webmail用到是http/https,这个做不到。

  • x
  • 常规:

点评 回复

穆萨
穆萨  版主 发表于 2015-9-22 16:03:57 已赞(0) 赞(0)

Spa**aus应该是Spa m h a us。

m h是敏感词?

  • x
  • 常规:

点评 回复

强叔侃墙
强叔侃墙 官方号 发表于 2015-9-22 16:20:30 已赞(0) 赞(0)

回复 2 楼

目前USG6000 V1R1C30版本的邮件过滤只支持SMTP、POP3、IMAP协议,对于web mail的过滤,有一个折中的方法,使用应用识别+URL过滤的方式来实现,下一篇邮件过滤配置中会给出相应的示例。

  • x
  • 常规:

点评 回复

强叔侃墙
强叔侃墙 官方号 发表于 2015-9-22 16:24:32 已赞(0) 赞(0)

m h是论坛的敏感词,会被处理成**,为了便于阅读,第2个RBL服务提供商的域名用空格隔开了。真实的名称如下图所示:

【强叔侃墙第二季】09 邮件虽小需治理,双管齐下解难题---邮件过滤特性原理-1729911-1

  • x
  • 常规:

点评 回复

Wayne
Wayne  版主 发表于 2015-9-22 20:07:08 已赞(0) 赞(0)

Reply 6 #

多谢!!!!
  • x
  • 常规:

点评 回复

黄诗海
黄诗海   发表于 2016-4-11 17:04:58 已赞(0) 赞(0)


对于反垃圾 邮件系统,需要给用户一个管理界面,对一些如怀疑或错判的邮件进行设置或接收;对于截止的邮件也应该有一个邮件的通知。不知道NGFW这点有没有做到。

  • x
  • 常规:

点评 回复

技术强者
技术强者   发表于 2016-4-11 21:40:46 已赞(0) 赞(0)

学习了,非常好
  • x
  • 常规:

点评 回复

12
返回列表
发表回复
您需要登录后才可以回帖 登录 | 注册

警告 内容安全提示:尊敬的用户您好,为了保障您、社区及第三方的合法权益,请勿发布可能给各方带来法律风险的内容,包括但不限于政治敏感内容,涉黄赌毒内容,泄露、侵犯他人商业秘密的内容,侵犯他人商标、版本、专利等知识产权的内容,侵犯个人隐私的内容等。也请勿向他人共享您的账号及密码,通过您的账号执行的所有操作,将视同您本人的行为,由您本人承担操作后果。详情请参看“隐私声明
如果附件按钮无法使用,请将Adobe Flash Player 更新到最新版本!
登录参与交流分享

登录参与交流分享

登录