背景
目前有一台腾讯云服务器，在公网上提供了web服务，使用的架构为LNMP，并且为了加固web服务的安全，安装了nginx的ngx_lua_waf模块，可以轻微阻挡一些SQL注入等其余web攻击，也开启了waf模块的日志记录功能。针对目前的一个情况，需要对waf模块的日志进行分析，定期检查web服务器是否存在潜在的危机，下面就跟着我的步骤一起来看一下，如何借助ELK日志分析平台对nginx的waf日志进行分析，并针对分析的结果做一些潜在危机处理的工作。
一、waf日志上传到ELK服务器
目前已经将waf的日志传输到ELK服务器的/var/log/nginx/waf目录下，共有43天的日志数据
先来简单看一下waf模块的日志都是一些什么
[root@elk7 ~]# cat /var/log/nginx/waf/qiufeng5.cn_2020-07-28_sec.log
61.28.109.5 [2020-07-28 23:30:07] "GET qiufeng5.cn/?id=../etc/passwd" "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"
61.28.109.5 [2020-07-28 23:30:28] "GET qiufeng5.cn/?id=../etc/passwd" "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"
#从这两条日志来看，waf模块日志是有一定格式的，所以我们可以根据日志格式编写正则表达式了
二、Logstash过滤waf日志
[root@elk7 ~]# vim /etc/logstash/conf.d/nginx-waf.conf
input {
file {
path => [ "/var/log/nginx/waf/*.log" ]
add_field => { "tags" => "nginx-waf" }
start_position => "beginning"
#sincedb_path => "/dev/null"
}
}
filter {
if "nginx-waf" in [tags] {
grok {
match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+\"(%{USER:user}|)\"\s+\"%{GREEDYDATA:user_agent}\"\s+\"(?
match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+(\"|)\"((?
}
date {
timezone => "Asia/Shanghai"
match => ["timestamp", "yyyy-MM-dd HH:mm:ss"]
target => "@timestamp"
remove_field => "timestamp"
}
geoip {
source => "client_ip"
target => "geoip"
database =>"/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-filter-geoip-6.0.3-java/vendor/GeoLite2-City.mmdb"
add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
}
}
}
output {
if "nginx-waf" in [tags] {
elasticsearch {
hosts => ["10.1.1.1:9200"]
index => "logstash-nginx-waf-%{+YYYY.MM.dd}"
}
}
}
日志经过logstash过滤后，形成以下有价值的字段：
client_ip 访问者的公网IP
@timestamp 访问网站的时间
client_mode 访问网站时使用的HTTP请求方式
request_url 请求的页面资源（URL）
user_agent 用什么浏览器终端访问网站
touch_rule 触发了waf模块的什么内容，才会被拦截的
geoip.city_name 访问者公网IP所在的城市
geoip.region_name 访问者公网IP所在的省份
geoip.country_name 访问者公网IP所在的国家