【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置

digest [复制链接]
发表于 : 2015-9-7 16:04:28 最新回复:2019-08-16 09:34:31
8897 14
强叔侃墙
强叔侃墙 官方号

URL过滤特性的配置看似简单,实则暗藏玄机。企业用户的业务特征和上网控制策略决定了URL过滤的需求;而URL过滤的整体处理流程决定了如何选择配置项来满足需求。

下面我们再来温习一下URL过滤的整体处理流程,流程中灰色的部分是我们在配置时要重点关注的配置项。对这些配置项进行灵活合理的组合搭配,就可以满足不同场景对URL过滤的需求。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-1

 

实际环境中URL的信息组成情况比较复杂,有些网站的子网站以二级域名方式体现,如下图中的示例1所示;有些网站的子网站则以目录方式体现,如下图中的示例2所示;还有一些URL的参数部分包含另一个网站的地址,如下图中的示例3所示。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-2

 

另外,某些网站的网页中还可能会链接其他网站的资源。例如,有一些购物类网站的页面中经常会引用其他网站的图片,是否对图片资源所属网站进行管控,决定能否完整地查看该购物类网站的网页。

上述这些情况都可能会影响最终的过滤效果,因此在配置URL过滤时,要对网站的URL信息进行分析,了解网站整体架构和网页中包含的内容信息,全面考虑各种影响因素,才能更好地实现URL过滤效果。

URL过滤与周边特性逻辑关系

URL过滤特性的配置涉及多个功能模块,需要这些模块之间相互配合协作,如下图所示。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-3

 

URL过滤特性的主体配置是URL过滤配置文件和安全策略。URL过滤配置文件中定义了URL黑白名单,以及针对分类的动作;安全策略中定义了匹配条件(对哪些流量进行URL过滤)、动作(必须为允许),然后引用URL过滤配置文件。其它几个功能模块的作用如下:
A NGFW出厂时默认带有一个URL预定义分类库文件,并且在启动时会自动加载该文件。如果NGFW没有加载该文件,请管理员手动加载。
B 设置URL分类服务器参数,包括NGFW所在的国家/地区、查询超时后的处理动作等,使得NGFW可以通过华为安全服务中心进行远程查询。远程查询需要购买License才能使用。
C 设置URL自定义分类,作为预定义分类的补充。管理员可以在NGFW上创建单独的分类,并在分类中添加相关的自定义URL条目;也可以在现有的预定义分类中添加自定义URL条目。
D 推送信息的设置将会影响NGFW阻断用户的URL访问请求后向用户推送的网页内容。NGFW提供了缺省的网页内容,也可以通过设置推送信息来定制个性化的内容。NGFW支持为黑名单阻断、预定义阻断、自定义阻断、缺省动作阻断等推送网页。
E 查看URL过滤日志,检查URL过滤结果是否符合预期,根据日志调整URL过滤的配置。

Web配置界面展示

下面给出了URL过滤配置文件的Web配置界面(以USG6000 V100R001C30SPC100版本为例),并对界面上的配置项进行简要解释。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-4

 

URL过滤配置文件的配置界面分为3个区域,1是基本配置区域,在该区域中设置URL过滤配置文件的名称和描述,以及动作模式和缺省动作;2是URL黑白名单配置区域,URL黑白名单只对于当前配置文件生效;3是URL过滤级别配置区域,在该区域设置URL预定义分类和自定义分类对应的处理动作。

对于URL预定义分类,NGFW提供了三个缺省的URL过滤级别,定义了各个分类的处理动作。管理员可直接使用这三个过滤级别,简化配置。

高:对所有***网站、非法网站、社交网络、视频共享等网站进行严格的限制。

中:对所有赌博、武器、***网站和非法网站进行限制。

低:对***、***、暴力类型的网站进行限制。

管理员也可以手动调整URL预定义分类中各个分类的动作,实现差异化的管控需求。配置时需要注意,处理动作始终以小类为准,管理员可以设置大类的处理动作,让所有小类都继承;也可以单独设置每个小类的处理动作。下面给出了一个调整大类和小类动作的操作示意图。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-5

 

对于URL自定义分类,其处理动作需要管理员逐一手工设置,默认的处理动作为允许。

URL过滤配置实例

下面我们进入实战部分,来看几个具体的配置实例。配置之前,必须保证URL预定义分类库文件已经加载,同时建议部署远程查询功能。

如下图所示,NGFW部署在企业用户与Web服务器之间,NGFW上配置URL过滤功能,限制企业用户可访问的网站或网页资源,规范企业用户的上网行为。这里我们以HTTP协议为例,如果是针对HTTPS协议进行URL过滤,还需要在NGFW上配置SSL解密策略。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-6

 

举例1:使用URL预定义分类允许/阻断用户访问请求

某企业要求对员工的上网行为进行管控,允许访问搜索、门户类网站,不允许访问求职招聘类网站。企业管理员在NGFW上配置URL过滤功能,使用已经存在的URL预定义分类,实现上述需求。

首先,配置URL过滤配置文件,将预定义分类中的求职招聘类的动作设置为阻断,将搜索/门户类的动作设置为允许,如下图所示。这里仅仅是用这两个分类来示意配置过程,实际应用时,可以根据需求设置其他分类的动作。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-7

 

URL过滤配置文件创建或修改后,必须在Web界面上执行“提交”操作才能生效。提交过程所需时间较长,请耐心等待,建议完成所有URL过滤配置文件的配置后再统一进行提交。
然后,在安全策略中引用该配置文件,同时设置推送信息来定制个性化的网页,当NGFW阻断用户的URL访问请求后,将会向用户推送该网页。

完成上述配置后,企业内部员工访问www.baidu.com,该网站属于搜索类网站,可以正常访问。而当员工访问www.51job.com时,由于该网站属于求职招聘类网站,所以访问请求被NGFW阻断,同时员工的浏览器中可以看到NGFW推送的提示网页。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-8

 

如果URL过滤的结果不符合预期,访问请求被误阻断或误放行,对于预定义分类来说,最可能的原因就是该网站所属分类是否准确。此时我们可以先查看一下URL过滤日志,然后确定被误阻断或误放行的URL具体属于哪一个预定义分类。

在Web界面上的URL分类页签中,输入待查询的URL条目进行查询,就可以获知该URL是否属于预定义分类、具体属于哪一个分类。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-9

 

下面给出了两条URL的查询结果:

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-10

 

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-11

 

如果查询结果显示该URL不属于求职招聘类或搜索/门户类,此时可以调整该URL所属分类的动作,或者把该URL以自定义分类的形式添加到求职招聘类或搜索/门户类中,自定义分类的处理优先级比预定义分类高,会优先执行求职招聘类或搜索/门户类的动作。

如果没有查询到该URL属于哪个分类,说明NGFW缺省加载的URL预定义分类库文件中不包含该URL,假设没有使用远程查询功能,则会执行缺省动作。解决方法有两种,购买远程查询服务,或者使用自定义分类。

上述配置的命令行脚本如下:

#

profile type url-filter name profile_url_filter_example1

 category pre-defined subcategory-id 125 action block

 category pre-defined subcategory-id 126 action allow

 category pre-defined subcategory-id 190 action allow

#

security-policy

rule name policy_url_filter_example1

  source-zone trust

  destination-zone untrust

  source-address 192.168.0.0 mask 255.255.255.0

  profile url-filter profile_url_filter_example1

  action permit

#

举例2:使用URL自定义分类允许/阻断用户访问请求

某企业要求对员工的上网行为进行管控,不允许访问特定的网站www.example1.com和www.example2.com。企业管理员在NGFW上配置URL过滤功能时,发现NGFW缺省加载的URL预定义分类库文件中不包含这两条URL,而且也没有使用远程查询功能,因此决定使用自定义分类来实现上述需求。
首先,创建自定义分类,添加URL条目。需要注意的是,NGFW对URL进行过滤时,不区分大小写,所以添加URL条目时全用小写字母即可。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-12

 

然后,配置URL过滤配置文件,将自定义分类的动作设置成阻断。配置完成后,执行“提交”操作,并在安全策略中引用该配置文件。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-13

 

完成上述配置后,企业内部员工访问www.example1.com和www.example2.com网站时,访问请求被NGFW阻断,同时员工的浏览器中可以看到NGFW推送的提示网页。

上述配置的命令行脚本如下:

#

url-filter category user-defined name user_define_url

 add url www.example1.com

 add url www.example2.com

#

profile type url-filter name profile_url_filter_example2

 category user-defined name user_define_url action block

#

security-policy

rule name policy_url_filter_example2

  source-zone trust

  destination-zone untrust

  source-address 192.168.0.0 mask 255.255.255.0

  profile url-filter profile_url_filter_example2

  action permit

#

举例3:只允许用户访问特定的网站,其他网站都不允许访问

某企业的主营业务是电子商务,只允许员工访问淘宝(www.taobao.com)网站,其他网站都不允许访问。企业管理员在NGFW上配置URL过滤功能,使用“白名单+所有分类全部阻断+缺省阻断”的思路来实现上述需求。

首先,配置URL过滤配置文件,在白名单中添加www.taobao.com,然后将所有分类的动作都设置成阻断,将缺省动作也设置成阻断。另外,如果使用了远程查询功能,将远程查询的超时动作也设置成阻断。配置完成后,执行“提交”操作,并在安全策略中引用该配置文件。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-14

 

完成上述配置后,企业内部员工可以正常访问www.taobao.com网站,而无法访问其他的网站,访问其他网站时在浏览器中可以看到NGFW推送的提示网页。

如果淘宝网站存在abc.taobao.com这样的域名,无法命中上面设置的白名单,就会被误阻断。此时我们可以换一种方式,按域名(Host)方式来添加白名单,如下图所示。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-15

 

企业内部员工再访问类似xxx.taobao.com这样的网站,就会命中白名单,从而能够正常访问。

这里之所以没有按整体URL的方式来添加白名单,是因为*.taobao.com在URL规则中表示后缀匹配,只能匹配以该字符串结尾的URL,像www.taobao.com/1.asp这样的URL就无法匹配了,因此不能按整体URL方式来添加白名单。

还有一种情况需要注意,我们设置的*.taobao.com只是淘宝网站的主体页面,而淘宝网站的页面中会链接其他网站的各种图片、视频资源。按照上面的设置,这些网站会被阻断,所以就无法正常看到各类资源。如果要想完整地查看淘宝网站的页面内容,还需要把这些资源所属网站加入到白名单中。

上述配置的命令行脚本如下:

#

profile type url-filter name profile_url_filter_example3

 add whitelist host *.taobao.com

 category pre-defined subcategory-id 101 action block

 ……    //此处省略了一些配置脚本

 default action block

#

security-policy

rule name policy_url_filter_example3

  source-zone trust

  destination-zone untrust

  source-address 192.168.0.0 mask 255.255.255.0

  profile url-filter profile_url_filter_example3

  action permit

#

举例4:不允许用户访问特定的网站,其他网站不限制

某企业发现员工在工作时间内经常访问淘宝(www.taobao.com)、微博(www.weibo.com)网站,严重影响了工作效率,因此决定限制员工访问这两个网站,其他网站不进行限制。企业管理员在NGFW上配置URL过滤功能,使用“黑名单+所有分类全部允许+缺省允许”的思路来实现上述需求。

首先,配置URL过滤配置文件,在黑名单中添加URL条目,这里使用按域名(Host)方式来添加,保证类似xxx.taobao.com、xxx.weibo.com这样的网站也能命中黑名单。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-16

 

然后将所有分类的动作都设置成允许,将缺省动作也设置成允许。另外,如果使用了远程查询功能,将远程查询的超时动作也设置成阻断。配置完成后,执行“提交”操作,并在安全策略中引用该配置文件。

完成上述配置后,企业内部员工无法访问*.taobao.com、*.weibo.com网站,但是可以访问其他的网站,URL过滤结果符合预期。

上述配置的命令行脚本如下:

#

profile type url-filter name profile_url_filter_example4

 add blacklist host *.taobao.com

 add blacklist host *.weibo.com

#

security-policy

rule name policy_url_filter_example4

  source-zone trust

  destination-zone untrust

  source-address 192.168.0.0 mask 255.255.255.0

  profile url-filter profile_url_filter_example4

  action permit

#

举例5:允许用户访问某个网站旗下特定的子网站,不能访问其他子网站

某企业希望对员工访问百度(www.baidu.com)网站的行为进行控制,只允许员工访问百度旗下的百度文库和百度百科,不允许员工访问百度旗下的其他子网站,如百度搜索、百度贴吧、百度网盘等。企业管理员在NGFW上配置URL过滤功能,使用“白名单+黑名单”的思路来实现上述需求。

首先,配置URL过滤配置文件,在白名单和黑名单中分别添加URL条目。配置完成后,执行“提交”操作,并在安全策略中引用该配置文件。

【强叔侃墙第二季】08 海量网址难寻踪,分类管控泾渭明---URL过滤特性配置-1277673-17

 

这里在白名单中添加URL条目时,可以按整体URL方式添加,也可以按域名(Host)方式添加;在黑名单中添加URL条目时,只能按域名(Host)方式添加,原因在上面的举例3中已经说明了。

完成上述配置后,企业内部员工可以访问百度旗下的wenku.baidu.com和baike.baidu.com网站,不能访问百度旗下的其他网站,URL过滤结果符合预期。

上述配置的命令行脚本如下:

#

profile type url-filter name profile_url_filter_example5

 add blacklist host *.baidu.com

 add whitelist host wenku.baidu.com

 add whitelist host baike.baidu.com

#

security-policy

rule name policy_url_filter_example5

  source-zone trust

  destination-zone untrust

  source-address 192.168.0.0 mask 255.255.255.0

  profile url-filter profile_url_filter_example5

  action permit

#

本帖被以下专题推荐:

  • x
  • 常规:

点评 回复

跳转到指定楼层
Ted1989
Ted1989   发表于 2015-9-7 22:37:30 已赞(0) 赞(0)

等更新好久啦,希望这次考试PASS啦

  • x
  • 常规:

点评 回复

小泽
小泽  导师VIP 发表于 2015-9-8 08:45:53 已赞(0) 赞(0)

谢谢分享!!!

  • x
  • 常规:

点评 回复

kmyd
kmyd  大师 发表于 2015-9-9 15:11:04 已赞(0) 赞(0)

好资料,感谢强叔!!

  • x
  • 常规:

点评 回复

comecatboy
comecatboy   发表于 2015-11-17 12:46:16 已赞(0) 赞(0)

谢谢分享!
  • x
  • 常规:

点评 回复

Wayne
Wayne  版主 发表于 2015-9-7 17:28:57 已赞(0) 赞(0)

感谢分享好资料
  • x
  • 常规:

点评 回复

黄诗海
黄诗海   发表于 2016-4-11 16:59:24 已赞(0) 赞(0)

篇篇收下。

  • x
  • 常规:

点评 回复

li yue
li yue   发表于 2016-4-11 17:10:44 已赞(0) 赞(0)

学习了,谢谢

  • x
  • 常规:

点评 回复

爱在离别时
爱在离别时  精英 发表于 2015-12-30 22:38:04 已赞(0) 赞(0)

感谢分享。

  • x
  • 常规:

点评 回复

杜趾文
杜趾文   发表于 2018-1-4 15:15:05 已赞(0) 赞(0)

文章写的太棒了,值得学习
  • x
  • 常规:

点评 回复

12
返回列表
发表回复
您需要登录后才可以回帖 登录 | 注册

警告 内容安全提示:尊敬的用户您好,为了保障您、社区及第三方的合法权益,请勿发布可能给各方带来法律风险的内容,包括但不限于政治敏感内容,涉黄赌毒内容,泄露、侵犯他人商业秘密的内容,侵犯他人商标、版本、专利等知识产权的内容,侵犯个人隐私的内容等。也请勿向他人共享您的账号及密码,通过您的账号执行的所有操作,将视同您本人的行为,由您本人承担操作后果。详情请参看“隐私声明
如果附件按钮无法使用,请将Adobe Flash Player 更新到最新版本!
登录参与交流分享

登录参与交流分享

登录