如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!
off999 2025-01-21 20:35 15 浏览 0 评论
之前介绍过 ModSecurity 这款优秀的开源 WAF,它是一个入侵检测与阻止的引擎,原本是Apache的一个模块,现在可作为单独模块编译添加到 Nginx 服务中
虽然这款 WAF 很优秀,但是使用起来并没有那么容易,之前也整理了文章介绍它的原理和规则,然而还有一个问题,就是它的日志分析,之前介绍原理规则的时候,也介绍了它的日志规则,但是在使用过程中,纯文本的记录方式,对于入侵分析太不友好了
所以今天介绍一款管理 ModSecurity 日志的开源项目 WAF-FLE
WAF-FLE是专门用来处理ModSecurity日志和事件的控制台,管理员可以通过WAF-FLE查看和搜索ModSecurity记录的日志
WAF-FLE是PHP写的开源项目,搭建需要LNMP/LAMP环境
环境需求:
- Apache/Nginx
- PHP5.3+
- php-pdo
- php-mysql
- php-apc
- php-geoip
- MySQL5.1+
安装环境不赘述,只说一个GeoIP库的安装,这里要通过GeoIP库去展示入侵IP信息,所以需要用到这个库,安装很简单,其实就是下载一个dat数据库,从https://www.maxmind.com/en/geoip-demo下载
下载后解压出dat文件即可
环境准备好之后,从github下载WAF-FLE:https://github.com/klaubert/waf-fle
在waf-fle的extra目录下,存放了数据库sql文件,以及Apache的配置文件,如果是用的Apache,直接将这个配置复制到apache配置目录下即可,如果用Nginx,参考下面的配置
修改config.php的时候,因为我没有安装apc的缓存扩展,这扩展很老了,所以直接设置APC_ON=false,关闭这个缓存
完成上面之后,通过域名访问,即可访问到安装界面
这里检查php扩展的时候,如果你不是Apache的话,会有个问题,就是在setup.php的499行,它用apache_getenv检测是否用Apache运行的,如果没运行Apache,这里过不去,我这里是Nginx运行的,所以打开setup.php文件499行,把这部分代码注释掉即可
接着点击运行创建数据库
这里创建数据库的时候又有个问题,在setup.php代码28行的地方,执行创建函数的时候,引用一个$databaseSchema,这里修改定义了一个位置,但是我放置的是我的位置,所以这里需要根据自己情况进行修改
修改完成后,继续通过页面执行创建数据库操作,创建完成如下:
安装完成,默认用户名密码是admin/admin,之后,在config.php中配置$SETUP=false,关闭安装之后,重新访问
默认用户密码登录之后,就需要修改用户名密码
设置完新密码之后,就会跳转到主界面了
目前没有数据,现在开始接入日志数据,点击菜单栏的management,添加sensor
保存后,即创建好一个sensor,用来接收日志
创建好之后,在这个sensor上面,开始配置事件接收器
这里选着用mlog2waffle的方式接收日志,然后选着service deamon的方式查询日志,这种是实时查询,WAF-FLE controller URL是配置waf-fle的控制器地址,mlog2waffle是通过put请求发送数据到这个接口地址,下面就是配置ModSecurity日志的配置路径,配置完成后,点击Next
系统会给出提示配置,需要按照给出的配置,配置这几个配置文件,这里按照提示的配置操作即可,需要的mlog2waffle配置文件及启动脚本都在extra目录下
配置完成后,启动mlog2waffle
mlog2waffle,是通过put方法发送日志到waf-fle的,但是默认Nginx是不允许put请求的,所以启动会报错,需要在nginx中,通过dav方法,允许put请求
启动mlog2waffle过程中,遇到不少问题,记录如下:
- mlog2waffle中配置了$CHECK_CERT = “TRUE”,用来检测SSL的,当用http的时候,这里要改成False,否则会握手失败
- mlog2waffle中配置了$CHECK_CONNECTIVITY = “TRUE”,这里是启动,检测mlog2waffle和waffle的连通信的,通过check_conn方法
这里通过PUT方法,发送了一个检测请求,这里比较坑的是,发送PUT请求,没有URI,但是Nginx在检测到PUT请求没有URI的时候,会报409,认为资源有冲突
所以,不管怎么做,这里检测就不会通过,两种方法处理,一种是直接关闭这个检测,mlog2waffle就可以正常启动,另外一种方法就是修改这个检测的方法,将uri带上,mlog2waffle是perl脚本,很简单
- waf-fle中使用了不少Apache专用内置函数,比如apache_getenv()、getallheaders()、apache_setenv(),因为这里用的Nginx,所以这几个函数都没有,
这里需要手动替换下,通过$_SERVER去获取客户端IP,而getallheaders()方法,需要手动写一个,如下:
另外在index.php中,65行的位置,原本是通过apache_setenv()将获取到的sensor的名称,复制给Apache的”REMOTE_USER”,这里不用Apache,所以直接注释掉即可
修改完这些,就可以通过脚本启动mlog2waffle了
启动后,通过waf的access日志就可以看到mlog2waffle已经开始通过put方法将日志解析成event,传输到waf-fle
在mlog2waffle的readIndex方法中,因为要读取并解析日志索引文件,所以有一个正则匹配如图:
这里需要你更具自己记录的日志格式进行修改匹配,完全匹配后,才能正确读取到日志,并解析后通过send_event方法将解析后的内容通过PUT方法传输到waf-fle进行展示
waf-fle的接收文件就一个index.php,它将所有步骤通过正则解析,有兴趣的可以看下源码,到此waf-fle就部署完成了,看下效果
虽然waf-fle是比较老的开源项目,但是对于modsecurity的日志分析完全够用
来源:本文转自公众号运维研习社,
相关推荐
- 咱村里有个老爷子,居然自学起了Python编程
-
咱村里有个老爷子,没什么文化,居然自学起了Python编程,还搞出个“智能喂鸡系统”,这事儿可把整个村子都惊到了。要说这老爷子,平时就爱琢磨些新鲜玩意儿。一开始,大家还以为他是瞎折腾,毕竟都一把年纪了...
- 真上头!清华打造的最全Python教程,通俗易懂,学不会我退出IT圈
-
前言随着人工智能的发展,Python近两年也是大火,越来越多的人加入到Python学习大军,对于毫无基础的人该如何入门Python呢?小编这里整理了一套python编程零基础自学教程,清华大佬196小...
- 如何学好Python技术(怎么才能学会python)
-
现在python发展势头很猛,都想快速学好它,其实学任何一个语言没有太多好的秘诀,一般情况下,还是少不了你努力刻苦的样子。学好一门技术并不容易,很多人推荐学习python,在于比其他语言的约束,或者...
- 如何高效且系统地自学Python?(自己学python怎么学)
-
关于这个问题,我也算有些话语权吧!5年多经验的我,今天和大家分享一套系统性学习Python的方法,几周内系统性地学会Python并不是啥难事!首先,学习Python确立明确的学习目标至关重要。要系统性...
- 使用 Python 监控文件系统(基于python的监控系统)
-
前言在我们使用服务器的时候,有时候需要监控文件或文件夹的变化。例如,定期扫描文件夹下是否有某一类型的文件生成。今天,我们介绍如何使用Python来监控文件系统。在Python中,主要有两个监控...
- Python文件读写最佳实践:关键操作的异常处理
-
在Python中进行文件操作时,合理的异常处理是保证程序健壮性的关键。以下是针对文件操作异常处理的全面指南。一、为什么需要异常处理?文件操作可能失败的常见原因:文件不存在(FileNotFoundEr...
- Python编程笔记(python编程入门与案例详解)
-
1.Python简介Python是一种解释型、高级和通用的编程语言。它通过显著的缩进使用来强调代码的可读性。#HelloWorldprogramprint("Hello,World...
- Python目录与文件操作教程(python word目录)
-
大家好,我是ICodeWR。今天要记录的是如何使用Python进行常见的目录和文件操作。Python提供了强大的内置模块来处理文件和目录操作。1.基本模块介绍Python中主要使用以下模块进行文件...
- 自动创建 Python 的 requirements.txt 文件
-
技术背景在Python开发中,requirements.txt文件用于记录项目所依赖的第三方库及其版本,方便在不同环境中部署项目。然而,当从GitHub下载Python源代码时,有时会缺...
- Python文件操作指南(python 操作文件)
-
一、核心函数open()精解基本语法open(file,mode='r',encoding=None,errors=None,newline=None)关键参数解析1.f...
- Python 实现从文本文件提取数据并分析保存
-
一、引言在日常的数据处理工作中,我们经常会遇到从文本文件中提取特定信息并进行分析的需求。本文将详细介绍如何使用Python编写代码,从一个包含用户网络使用信息的文本文件中提取用户姓名、入站流量和出...
- 22-3-Python高级特性-上下文管理器
-
4-上下文管理器4-1-概念上下文管理器是一种实现了`__enter__()`和`__exit__()`方法的对象;用于管理资源的生命周期,如文件的打开和关闭、数据库连接的建立和断开等。使用...
- python:最简单爬虫之使用Scrapy框架爬取小说
-
python爬虫框架中,最简单的就是Scrapy框架。执行几个命令就能生成爬虫所需的项目文件,我们只需要在对应文件中调整代码,就能实现整套的爬虫功能。以下在开发工具PyCharm中用简单的Demo项目...
- Python爬取小说技术指南(python爬取文章)
-
在Python中爬取小说需要遵循法律法规和网站的服务条款,请确保你有权获取目标内容。以下是使用Python爬取小说的通用技术流程安装依赖库pipinstallrequestsbeauti...
- python原始套接字socket下载http网页文件到txt
-
python原始套接字socket下载http网页文件到txtimportsocketdefdownload_webpage(url,output_file):try:...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)