docker部署openstry+waf

OpenResty 是一个全功能的 Web 应用服务器。它打包了标准的 Nginx 核心，很多的常用的第三方模块，以及它们的大多数依赖项，和LuaJit结合起来，可以快速高效的开发出高性能的、足以应对高并发的web服务。

docker-compose

  openresty:
    image: openresty/openresty:latest
    container_name: openresty
    restart: always
    network_mode: host
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/nginx/conf/nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf:ro
      - /data/nginx/conf/waf:/usr/local/openresty/nginx/conf/waf
      - /data/nginx/conf/ua-resty-core:/usr/local/openresty/nginx/conf/ua-resty-core
      - /data/nginx/logs:/usr/local/openresty/nginx/logs
      - /data/nginx/cert:/usr/local/openresty/nginx/cert
      - /data/nginx/html:/usr/local/openresty/nginx/www:ro

上面已经实现了Openresty的部署，下面将结合WAF实现防火墙

什么是WAF

Web应用防护系统（也称为：网站应用级入侵防御系统。英文：Web Application Firewall，简称：WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

实现WAF

实现WAF的方式有两种：

1. 使用nginx+lua来实现WAF,须在编译nginx的时候配置上lua

2. 部署OpenResty,不需要在编译nginx的时候指定lua

这里我们采用的是第二种

WAF一句话描述，就是解析HTTP请求（协议解析模块），规则检测（规则模块），做不同的防御动作（动作模块），并将防御过程（日志模块）记录下来。所以本文中的WAF的实现由五个模块(配置模块、协议解析模块、规则模块、动作模块、错误处理模块）组成。

WAF的功能

1. 支持IP白名单和黑名单功能，直接将黑名单的IP访问拒绝。

2. 支持URL白名单，将不需要过滤的URL进行定义。

3. 支持User-Agent的过滤，匹配自定义规则中的条目，然后进行处理（返回403）。

4. 支持CC攻击防护，单个URL指定时间的访问次数，超过设定值，直接返回403。

5. 支持Cookie过滤，匹配自定义规则中的条目，然后进行处理（返回403）。

6. 支持URL过滤，匹配自定义规则中的条目，如果用户请求的URL包含这些，返回403。

7. 支持URL参数过滤，原理同上。

8. 支持日志记录，将所有拒绝的操作，记录到日志中去。

9. 日志记录为JSON格式，便于日志分析，例如使用ELKStack进行攻击日志收集、存储、搜索和展示。

部署WAF

GitHub地址：https://github.com/unixhot/waf

下载waf模块

git clone https://github.com/unixhot/waf.git
cp -a ./waf/waf /data/nginx/conf/

waf文件介绍

ls /data/nginx/conf/waf/rule-config/ -rlth
total 24K
-rw-r--r-- 1 root root   6 Feb  4 09:24 whiteurl.rule           #白名单URL策略文件
-rw-r--r-- 1 root root   0 Feb  4 09:24 whiteip.rule            #IP白名单策略文件
-rw-r--r-- 1 root root 173 Feb  4 09:24 useragent.rule          #异常UserAgent策略文件
-rw-r--r-- 1 root root 307 Feb  4 09:24 url.rule                #异常URL策略文件
-rw-r--r-- 1 root root 739 Feb  4 09:24 post.rule               #异常POST参数策略文件
-rw-r--r-- 1 root root 652 Feb  4 09:24 cookie.rule             #Cookie策略文件
-rw-r--r-- 1 root root   0 Feb  4 09:24 blackip.rule            #IP黑名单策略文件
-rw-r--r-- 1 root root 749 Feb  4 09:24 args.rule               #异常Get参数策略文件

Openresty引入WAF模块

修改nginx配置来引入WAF模块

如下在Nginx中加入以下配置来引入WAF模块

vim /data/nginx/conf/nginx.conf
...
http {
    lua_shared_dict limit 10m;
    lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua";
    init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";
    access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";
    ...
}

重启Openresty

docker restart openresty

查看nginx日志

docker logs openresty

警告如下：​​failed to load the 'resty.core' module​​ 加载 resty.core 核心模块失败，然后下面还有十几行找不到文件的日志

解决办法

上面告警是缺少 ​​lua-resty-core​​ 模块，从而找不到这些信息，所以我们要下载lua-resty-core模块然后引入到Openresty

git clone https://github.com/openresty/lua-resty-core.git
cp -r lua-resty-core /data/nginx/conf/

然后修改nginx配置文件来引入此模块,如下格式添加到第二行的后面

lua_shared_dict limit 10m;
lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua;/usr/local/openresty/nginx/conf/lua-resty-core/lib/?.lua;;";
init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";
access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";

保存退出重启看日志

docker restart openresty

确保日志无异常后则成功引入WAF模块

WAF模块配置文件详解

来学习一下waf/config.lua配置文件中的内容

cat /usr/local/openresty/nginx/conf/waf/config.lua
--lua文件中，--为行注释，
--[[ 
这是块注释
--]]
config_waf_enable = "on"        --是否启用waf模块，值为 on 或 off
config_log_dir = "/tmp"         --waf的日志位置，日志格式默认为json
config_rule_dir = "/usr/local/openresty/nginx/conf/waf/rule-config" --策略规则目录位置，可根据情况变动
config_white_url_check = "on"   --是否开启URL检测
config_white_ip_check = "on"    --是否开启IP白名单检测
config_black_ip_check = "on"    --是否开启IP黑名单检测
config_url_check = "on"         --是否开启URL过滤
config_url_args_check = "on"    --是否开启Get参数过滤
config_user_agent_check = "on"  --是否开启UserAgent客户端过滤
config_cookie_check = "on"      --是否开启cookie过滤
config_cc_check = "on"          --是否开启cc攻击过滤
config_cc_rate = "10/60"        --cc攻击的速率/时间，单位为秒；默认示例中为单个IP地址在60秒内访问同一个页面次数超过10次则认为是cc攻击，则自动禁止此IP地址访问此页面60秒，60秒后解封(封禁过程中此IP地址依然可以访问其它页面，如果同一个页面访问次数超过10次依然会被禁止)
config_post_check = "on"        --是否开启POST检测
config_waf_output = "html"      --对于违反规则的请求则跳转到一个自定义html页面还是指定页面，值为 html 和 redirect
config_waf_redirect_url = "https://www.unixhot.com"     --指定违反请求后跳转的指定html页面
--指定违反规则后跳转的自定义html页面
config_output_html=[[
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>网站防火墙</title>
</head>
<body>
<h1 align="center"> 欢迎红帽子进行授权安全测试，安全漏洞请联系QQ：2586311950。
</body>
</html>
]]

IP黑名单配置

需要在config.lua中开启​​config_black_ip_check = "on"​​​参数 IP黑名单配置非常简单，这个与nginx的​​ngx_http_access_module​​模块原理是一致的，只需要把拒绝的地址加入到waf/rule-config/blackip.rule文件中即可

cat /usr/local/openresty/nginx/conf/waf/rule-config/blackip.rule
192.168.0.10

然后访问openresty地址，如下已返回403被禁止

​IP白名单配置

需要在config.lua中开启​​config_white_ip_check = "on"​​参数 IP白名单与黑名单相反，添加到IP白名单中的IP不受WAF限制,具体请自行测试

cat /usr/local/openresty/nginx/conf/waf/rule-config/whiteip.rule
192.168.0.10

CC攻击过滤

需要在config.lua中开启​​config_cc_check = "on"​​​参数，然后指定​​config_cc_rate = "10/60"​​速率和时间 CC攻击只需要在config.lua配置文件中指定上面的两个参数即可

如下指定在60秒内对于单个IP地址访问单个页面的次数最大10次，超过10次则自动拉入黑名单，60秒后自动解除

vim /usr/local/openresty/nginx/conf/waf/config.lua
config_cc_check = "on"
config_cc_rate = "10/60"

然后进行测试,如下刷新10次以后就变为来403

我们换个页面再次刷新，如下换个页面可以正常访问，不过连续对一个页面60秒内刷新10次以后将也被拉入黑名单

注：以上的请求速率和时间只能作为参考，大家线上使用具体还要根据相应环境进行调整

异常URL策略配置

需要在config.lua中开启​​config_url_check = "on"​​​参数 然后定义​​rule-config/url.rule​​​文件，url.rule文件默认为如下，如果匹配到规则的将跳转到由config.lua中​​config_waf_output = "html"​​参数指定的页面

1. 禁止URL访问 ​​.htaccess|.bash_history​​ 的文件

2. 禁止URL访问包含带有​​phpmyadmin|jmx-console|admin-console|jmxinvokerservlet​​地址

3. 禁止URL访问包含 ​​java.lang​​ 的地址

4. 禁止URL访问包含 ​​.svn/​​ 的地址

cat url.rule
\.(htaccess|bash_history)
\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$
(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)
java\.lang
\.svn\/
/(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)

假如你不想让别人访问根下的/login，那么就可以写入到配置中

cat url.rule
\.(htaccess|bash_history)
\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$
(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)
java\.lang
\.svn\/
/(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)
/login

然后进行重启后访问,如下就跳转到了我们在config.lua中指定的页面，此页面可根据需求进行修改。如果上面默认的url规则匹配到了你的地址，那么你就可以把相应配置去掉

异常UserAgent策略配置

需要在config.lua中开启​​config_user_agent_check = "on"​​参数

WAF模块中默认封锁了以下UserAgent，如 HTTrack网站下载 namp网络扫描 audit网络审计 dirbuster网站目录扫描 pangolin SQL注入工具 scan网络扫描 hydra密码暴力破解 libwww漏洞工具 sqlmap自动SQL注入工具 w3af网络扫描 Nikto Web漏洞扫描 ... 等等

cat useragent.rule
(HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|PycURL|zmeu|BabyKrokodil|netsparker|httperf|bench)

我们正常访问URL是没问题的，下面来模拟一个非法的UserAgent进行访问

添加禁止chrome浏览器访问的UserAgent

#模拟网站下载
curl http://192.168.31.219/ --user-agent 'HTTrack'
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>非法访问</title>
</head>
<body>
<h1 align="center">非法访问，你是个大聪明！
</body>
</html>
#模拟nmap网络扫描
curl http://192.168.31.219/ --user-agent 'nmap'
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>非法访问</title>
</head>
<body>
<h1 align="center">非法访问，你是个大聪明！
</body>
</html>

添加禁止chrome浏览器访问的UserAgent

#跟随配置添加到最后cat useragent.rule
(HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|PycURL|zmeu|BabyKrokodil|netsparker|httperf|bench|Chrome)

然后重启openrestry，通过chrome浏览器进行访问

如上所示全部命中了WAF的规则

异常Get参数策略配置

需要在config.lua配置中开启​​config_url_args_check = "on"​​参数

默认封锁了如下：

cat args.rule
\.\./
\:\$
\$\{
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=

我们进行访问 ​​http://192.168.0.10/hello?aa=select id from mysql​​,得到如下，进行匹配

curl 'http://192.168.0.10/hello?aa=select id from mysql'
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>非法访问</title>
</head>
<body>
<h1 align="center">非法访问，你是个大聪明！
</body>
</html>

我们也可以根据自己需求去配置，如下最后添加abcops

cat args.rule\.\./\:\$\$\{select.+(from|limit)(?:(union(.*?)select))having|rongjitestsleep\((\s*)(\d*)(\s*)\)benchmark\((.*)\,(.*)\)base64_decode\((?:from\W+information_schema\W)(?:(?:current_)user|database|schema|connection_id)\s*\((?:etc\/\W*passwd)into(\s+)+(?:dump|out)file\s*group\s+by.+\(xwork.MethodAccessor(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(xwork\.MethodAccessor(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/java\.lang\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[\<(iframe|script|body|img|layer|div|meta|style|base|object|input)(onmouseover|onerror|onload)\=abcops

然后我们进行访问​​http://192.168.0.10/hello?aa=abcops​​也会匹配到规则

异常POST参数策略配置

需要在config.lua中开启​​config_post_check = "on"​​选项

默认POST请求封禁如下，POST封禁内容与GET相似

cat post.rule
\.\./
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=

直接对POST策略进行提交请求，通过curl -XPOST来进行提交POST请求

curl -XPOST 'http://192.168.0.10/hello?aa=select id from mysql'
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>非法访问</title>
</head>
<body>
<h1 align="center">非法访问，你是个大聪明！
</body>
</html>

如上命中规则，我们查看Openrestry日志，查看是否为POST请求

tail -1 /data/nginx/logs/access.log
192.168.0.10 - - [27/Jul/2023:18:21:32 +0800] "POST /hello?aa=select id from mysql HTTP/1.1" 403 313 "-" "curl/7.29.0"