Nginx日志分析&EFK案例实战之Awk、Sed、Grep分析Nginx日志

1）在Linux服务器系统上日志种类很多：内核日志、安全日志、审计日志、邮件日志、应用程序（Nginx、MYSQL、Redis、MQ、ZK）日志等。日志内容通常是用于去定位软件服务、操作系统故障的，还可以对日志内容进行分析、统计，进而可以评估网站的访问量、IP、UV、PV、用户行为分析等。

2）基于SHELL编程三剑客awk、sed、grep分析Nginx日志，首先通过find工具去查找Nginx日志文件的位置。操作的方法和指令如下：

3）Nginx WEB日志实战一，基于SHELL编程三剑客awk、sed、grep分析Nginx日志，分析、统计Nginx日志全天总的请求数（访问量），操作的方法和指令如下：

awk '{print $0}' access_20240523.log |wc -l

cat access_20240523.log |wc -l

wc -l < access_20240523.log

awk 'BEGIN{NR==1} END {print NR}' access_20240523.log

sed = access_20240523.log |tail -2|awk 'NR==1 {print $0}'

grep -aicwE " " access_20240523.log

4）Nginx WEB日志实战二，基于SHELL编程三剑客awk、sed、grep分析Nginx日志，分析、统计Nginx日志10:00-11:00之间的总的请求数（访问量），操作的方法和指令如下：

awk '/23\/May\/2024:10:00/' access_20240523.log |wc -l

sed -n '/23\/May\/2024:10:00/p' access_20240523.log |wc -l

grep -aiE '23\/May\/2024:10:00' access_20240523.log |wc -l

awk '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/' access_20240523.log |wc -l

sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |wc -l

5）Nginx WEB日志实战三，基于SHELL编程三剑客awk、sed、grep分析Nginx日志，分析、统计Nginx日志10:00-11:00之间的总的请求数（访问量），将用户的IP地址打印出来，操作的方法和指令如下：

sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |awk '{print $1}'

sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |cut -d" " -f1

sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |grep -aiowE "([0-9]{1,3}\.){3}[0-9]{1,3}"

6）Nginx WEB日志实战四，基于SHELL编程三剑客awk、sed、grep分析Nginx日志，分析、统计Nginx日志10:00-11:00之间的总的请求数（访问量），将用户的IP地址访问次数排前20名打印出来，操作的方法和指令如下：

sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |grep -aiowE "([0-9]{1,3}\.){3}[0-9]{1,3}"|sort -n|uniq -c|sort -nr|awk 'NR<=20 {print $0}'

7）Nginx WEB日志实战五，基于SHELL编程三剑客awk、sed、grep分析Nginx日志，分析、统计Nginx日志10:00-11:00之间的总的请求数（访问量），将用户的IP地址访问次数超过5000次加入Linux黑名单中，操作的方法和指令如下：

for ip in $(sed -n '/23\/May\/2024:10:00/,/23\/May\/2024:11:00/p' access_20240523.log |grep -aiowE "([0-9]{1,3}\.){3}[0-9]{1,3}"|sort -n|uniq -c|sort -nr|awk '{if(($1>=5000)) {print $2}}');do iptables -t filter -A INPUT -s $ip/32 -m tcp -p tcp --dport 80 -j DROP ;done

iptables -t filter -L -n --line-numbers|grep -aiE "DROP"