GoAccess轻量nginx日志分析工具
off999 2025-01-21 20:36 23 浏览 0 评论
什么是GoAccess
GoAccess 是一款开源、实时,运行在命令行终端下的 Web 日志分析工具。
该工具提供快速、多样的 HTTP 状态统计。
分析结果,可以通过 XShell 等客户端工具查看,并且可以生成 Html 报告。
GitHub 地址:https://github.com/allinurl/goaccess
官网地址:http://goaccess.io/
安装GoAccess
测试环境, centos7
# yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP GeoIP-devel
# wget http://tar.goaccess.io/goaccess-1.2.tar.gz
# tar -xzvf goaccess-1.2.tar.gz
# cd goaccess-1.2/
# ./configure --enable-geoip --enable-utf8
# make && make install
默认配置文件在
vi /usr/local/etc/goaccess.conf
time-format %H:%M:%S
date-format %d/%b/%Y
log-format
接下来我们测试一下。现在就需要根据nginx的日志格式来写goaccess的规则
goaccess -f /usr/local/nginx/logs/access.log -a > /root/test/report.html
网络上大部分的文章和介绍都只适合没任何修改的nginx日志格式,对自定义的log format都不怎么涉及。如果你采用的自定义的nginx日志格式,那么此处就需要特别注意,一旦log-format配置不对,goaccess分析的结果会差很大。
以我nginx日志格式为例:
log_format main '$server_name $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $upstream_addr $request_time $upstream_response_time;
按照goaccess预设的log format,这样的日志是没法分析的,所以我们需要自定义log format。 我的log format为:
log-format %^ %h %^ %^ [%d:%t %^] “%r” %s %b “%R” “%u” “%^” %^ %T %^
$server_name ---> %h ---> 主机(客户端IP地址,IPv4和IPv6)
[$time_local] ---> [%d:%t %^] ---> 时间
$request ---> "%r" ---> 客户机的请求,这需要具体分隔符在请求(单引号、双引号或其他)解析。如果没有,我们必须使用特殊的格式说明符的组合%m %U %H。
$status ---> %s ---> 发送客户端的状态码
$body_bytes_sent ---> %b ---> 给客户端返回大小
$http_referer ---> %R ---> “Referrer”HTTP请求头
$http_user_agent ---> "%u" ---> UA
$http_x_forwarded_for --->
$request_time ---> %T ---> 服务请求的时间,以秒或毫秒。注意:%D将优先于%T如果都使用。
为了设置正确的log format,踩了不少坑,先列出来避免大家重复碰到。 (1) log format默认是按照空格分隔日志信息的,所以,对于包含了特殊字符如空格等信息的字段,必须包含在“”里面。如字段request http_user_agent等 (2) nginx日志格式里面,采用空格分隔,但是此处一定注意,只能用一个空格。当时我有个地方用了两个空格,直接导致goaccess结果出错。 (3) nginx日志中的每一个字段都要和log format中的一一对应,如果log format中不需要nginx中的某一个信息,则用%^跳过该信息。 (4) 对于nginx日志中的每一个 - log format都需要一个%^来跳过, 如果是“-”, 则用“%^” (5) 如果nginx日志信息中有:, 则需要在log format中也显示出来。例如nginx日志中$time_local就包含了:,所以在log format的相应位置也是 [%d:%t %^]
希望这些能帮助使用goaccess的朋友。
goaccess -f log [-c][-r][-m][-h][-q][-d][-g][-a][-o csv|json][-e IP_ADDRESS][...]
自定义参数及其对应nginx的accesslog中的fromat
%x 匹配替代time_format和date_format的设定,可以同时调用两个的全局设置(时间戳) %t 匹配替代 time-format 的设置 %d 匹配替代 date-forma 的设置 %h 客户端ip $remote_addr %r 请求方法 $request %m 请求算法 相当于$request中的 post或get的匹配 %U 请求的URL路径(包括任何查询字符串) 相当于$request中的 URL匹配 %H 请求的协议 相当于$request中的 HTTP/1.1 %s 服务端返回客户端的状态code $status %b 返回客户端的body size $body_bytes_sent %R refer $http_referer %u user-agent $http_user_agent %D 服务请求的时间,以微秒为单位 $request_time %T 服务请求的时间,以秒为单位 $request_time %L 服务请求的时间,以毫秒为单位 $request_time %^ 忽略官方没有对应参数的区域
以上是官方给出的所有匹配参数,原版见
http://www.goaccess.io/man
以下是我自定义的nginx日志格式:
log_format main_zdy '$request_time - IP:$remote_addr - RealIP:$http_x_forwarded_for - [$time_local] $request - $status - $http_user_agent - $host - from:$http_referer';
记录日志:
0.000 - IP:3.3.3.3 - RealIP:1.1.1.1, 2.2.2.2 - [28/Jul/2017:16:04:15 +0800] POST /site/index.html HTTP/1.1 - 200 - Apache-HttpClient/UNAVAILABLE (java 1.4) - www.111111111.com - from:http://www.111111111.com
0.216 - IP:4.4.4.4 - RealIP:5.5.5.5, 6.6.6.6 - [28/Jul/2017:15:53:04 +0800] GET /client/serverlist?jsonpCallback=jQuery18206177038959697163_1501228347875&gid=163&wid=196&_=1501228353156 HTTP/1.1 - 200 - Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727) - www.111111111.com - from:http://www.1111111111111.com/
goaccess的格式:
log-format %T %^ IP:%^ %^ RealIP:~h{," } %^ [%d:%t %^] %m %U %H %^ %s %^ %u %^ %^ %^ from:%R
%x 一个匹配时间格式的日期和时间字段和日期格式变量。这是时使用时间戳是给定的日期和时间而不是在两个独立的变量。 %t time字段匹配时间格式的变量。 %d date字段匹配日期格式的变量。 %v The服务器名称根据规范名称设置块(服务器或虚拟主机)。 %e 用户标识的人请求文档由HTTP身份验证。 %h host(客户端IP地址,IPv4和IPv6) %r 请求从客户端。这需要在请求特定的分隔符(单引号、双引号等)解析。否则,结合使用等特殊格式说明符%m %U %q 和 %H解析单个字段。注意:使用 %r 得到完整的请求或 %m %U %q 和 %H形成你的请求,不同时使用。请求方法让
%m 请求的方法。 %U 请求URL路径。注意:如果查询字符串在%U,没有必要使用%q。然而,如果URL路径,不包括任何查询字符串,可以使用%q和查询字符串将被附加到请求。
%q 查询字符串。
%H 请求协议。 %s 服务器发送给客户机的状态代码。 %b 服务器发送发送给客户端的大小。 %R 来源 %u 用户代理HTTP请求头。 %D 服务请求的时间,以微秒为单位 $request_time %T 服务请求的时间,以秒为单位 $request_time %L 服务请求的时间,以毫秒为单位作为一个十进制数。 %^ 忽略这个领域。 %~ 前进通过日志字符串直到找到(!isspace)字符进行技术改造。 ~h 主机(客户端IP地址,IPv4和IPv6)在X-Forwarded-For(XFF)领域。
For XFF, GoAccess uses a special specifier which consists of a tilde before the host specifier, followed by the character(s) that delimit the XFF field, which are enclosed by curly braces (i.e., ~h{,"}). For example, ~h{," } is used in order to parse "11.25.11.53, 17.68.33.17" field which is delimited by a double quote, a comma, and a space.
XFF,GoAccess使用特殊说明符由波浪号主机之前,紧随其后的是字符(s)划入XFF字段,由花括号封闭(即~ h { })。 例如,h ~ { }的使用是为了解析”11.25.11.53,17.68.33.17”字段由一个双引号分隔,逗号,和空间。
goaccess -f /www/logs/nginx.log -a > /data/wwwroot/web/test/report1.html
-f 指定nginx日志文件
-p 指定日志格式文件
-o 输出到指定html文件
--real-time-html 实时刷新
--ws-url 绑定一个域名
生成HTML展示
将生成的文件用web服务器展示在浏览器上
goaccess -f /root/www.7477.com-access1000.log -a > /data/wwwroot/web/zabbix/1111/reporta1.html
goaccess -f /root/test.log -a > /data/wwwroot/web/zabbix/1111/reporta6.html
goaccess -f /root/www.7477.com-access181.log -a > /data/wwwroot/web/zabbix/1111/report.html goaccess -f /root/www.7477.com-access1000.log -a > /data/wwwroot/web/zabbix/1111/report1.html
goaccess -f /root/www.funet8.com-access.log -a > /data/wwwroot/web/zabbix/1111/funet1.html
goaccess -f /root/1000.log -a > /data/wwwroot/web/test/report1.html
相关推荐
- 推荐一款Python的GUI可视化工具(python 可视化工具)
-
在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...
- 教你用Python绘制谷歌浏览器的3种图标
-
前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....
- 小白学Python笔记:第二章 Python安装
-
Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...
- Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字
-
Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...
- 一文吃透Python虚拟环境(python虚拟环境安装和配置)
-
摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...
- 小白也可以玩的Python爬虫库,收藏一下
-
最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...
- python环境安装+配置教程(python安装后怎么配置环境变量)
-
安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...
- colorama,一个超好用的 Python 库!
-
大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...
- python制作仪表盘图(python绘制仪表盘)
-
今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...
- 总结90条写Python程序的建议(python写作)
-
1.首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 (1)避免不规范代码,比如只用大小写区分变量、使用容易...
- [oeasy]python0137_相加运算_python之禅_import_this_显式转化
-
变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...
- Python入门学习记录之一:变量(python中变量的规则)
-
写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...
- 掌握Python的"魔法":特殊方法与属性完全指南
-
在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...
- 11个Python技巧 不Pythonic 实用大于纯粹
-
虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...
- Python 从入门到精通 第三课 诗意的Python之禅
-
导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)