记一次利用GrayLog实现采集与备份云服务器Web访问日志的实现过程

一、业务场景及主要需求：

如图所示

(图片可点击放大查看)

• 1、采集AWS云服务器(Web服务器)的nginx访问日志，并进行日志分析
• 2、由于AWS云Web服务器(Web服务器)上磁盘空间有限，nginx日志做了logrotate轮转，只保留了最近5天，但是又想做日志长久留存（不仅仅是安全要求），所以想通过同步或者备份的方式在内网的服务器上对nginx Web日志进行增量备份

二、具体实现的思路

由于AWS云服务器在内网可以SSH访问（AWS云服务器安全组上已经将出口公网IP加入SSH端口的白名单）

• 1、内网部署一台GrayLog服务器，将Graylog日志服务器的Syslog接收端口2514能过出口防火墙映射到公网
• 2、AWS云服务器通过rsyslog服务采集本地的nginx日志，并发送上一步中到映射到公网的Syslog UDP端口上，也就是发送GrayLog
• 3、利用GrayLog服务器的磁盘空间，rsync+SSH+crontab的方式实现文件增量同步备份

三、具体实现步骤

1、AWS云服务器配置rsyslog

说明:本文使用的115.58.180.214公网IP为虚构IP

vi /etc/rsyslog.d/toGraylog.conf 
module(load="imfile" PollingInterval="1")
# Input for FILE1
#wildcard is allowed at file level only
input(
      type="imfile" 
      tag="Nginxlog" 
      ruleset="filelog"
      Facility="local0"
      Severity="info" 
      PersistStateInterval="1" 
      reopenOnTruncate="on" 
      freshStartTail="on" 
      file="/var/log/nginx/access.log"
) 

# Define a template for file events
template(name="GraylogFormatFilelog" type="string" string="%msg%\n")

#Replace the Target and Port values with your GrayLog IP address and port.
ruleset(name="filelog") {
   action(
        type="omfwd" 
        protocol="udp" 
        target="115.58.180.214" 
        port="2514" 
        template="GraylogFormatFilelog" 
        queue.type="LinkedList"
        queue.filename="fileq1"
        queue.saveonshutdown="on"
        action.resumeRetryCount="-1"
   ) stop
}

(图片可点击放大查看)

重启rsyslog服务

systemctl restart rsyslog

(图片可点击放大查看)

2、GrayLog上验证是否收到日志

效果如下

可以对提取出来的access访问IP做GEOIP查询

(图片可点击放大查看)

(图片可点击放大查看)

(图片可点击放大查看)

3、实现日志增量备份

先测试一下免密登录是否OK AWS服务器上生成密钥对

ssh-keygen -t rsa -b 4096
cat id_rsa.pub >> /root/.ssh/authorized_keys

(图片可点击放大查看)

GrayLog服务器上验证使用私钥是否可以免密登录到AWS服务器

ssh  -i /home/id_rsa root@115.58.180.214

(图片可点击放大查看)

接下来利用rsync+SSH+crontab实现备份

vi /opt/aws_logs_backup.sh
#!/bin/bash
LOCK=/var/log/aws_logs_rsync_record.log
echo "备份日期:" >> ${LOCK} 2>&1
echo `date '+%Y-%m-%d_%T'`  >> ${LOCK} 2>&1
echo "================= AWS logs Rsync starting==============================="   >> ${LOCK} 2>&1
rsync --progress -avz -e "ssh -p 22 -i /home/id_rsa" root@115.58.180.214:/var/log/nginx/access.log* /opt/AWS_logs_backup/  >> ${LOCK} 2>&1
echo "================= AWS logs Rsync Finished==============================="   >> ${LOCK} 2>&1

(图片可点击放大查看)

赋予脚本执行权限

chmod 755 /opt/aws_logs_backup.sh
crontab -e

[root@graylog ~]# crontab -l
00 0,6,12,18,23 * * * /opt/aws_logs_backup.sh

sh /opt/aws_logs_backup.sh 

尝试手动同步是否OK

(图片可点击放大查看)

后续再观察增量同步备份是否OK

rsync参考之前文章：部署CwRsyncServer实现Linux下文件同步到WindowsServer服务器