百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Logstash实时读取Nginx日志并存储到MySQL思路

off999 2025-01-21 20:36 20 浏览 0 评论

导读:本文将通过一个简单的例子来展示如何使用Logstash实时读取Nginx日志并存到MySQL(阿里云ADB)数据库中。由于Nginx搭建和配置非本文重点,所以这里就不展开讨论了,朋友们可以参考网上的教程自行搭建配置。

Logstash概念

Logstash is an open source data collection engine with real-time pipelining capabilities

简单来说,Logstash是一条具备实时数据传输能力的pipeline管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道支持根据自身需求在中间加上滤网,Logstash提供了很多功能强大的滤网以满足的各种应用场景。

搭建Logstash

要搭建可用于采集Nginx日志并输出到MySQL,主要分为以下几个步骤:

  • Logstash安装
  • 安装logstash-output-jdbc插件
  • 配置mysql-connector-java.jar

1、Logstash安装

环境要求JDK1.8以上,需提前配置好JDK

//从Logstash官方下载地址并上传到服务器
https://www.elastic.co/cn/downloads/logstash
//解压
tar -xzvf logstash-7.0.0.tar.gz -C /usr/local/
//修改名字
mv logstash-7.0.0 logstash

2、安装logstash-output-jdbc插件

虽然logstash默认安装了大部分的插件,但是有些插件没有默认安装。logstash原生版本只有input中自带jdbc插件,这意味着只支持jdbc导入而不支持jdbc导出,我们的目的是期望输出到MySQL,所以需要额外安装 logstash-output-jdbc 插件。

2.1 安装Gem与更新及修改镜像源

//安装gem
yum install -y gem
//检查并修改镜像源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
//更新镜像源
gem update --system

2.2 修改 logstash的 gem 镜像源

国外的gem源由于网络原因,可能导致国内访问太慢而且不稳定,还经常安装不成功。所以这里需要修改logstash的 gem 镜像源。

//进入到logstash目录可以看到Gemfile文件
cd /usr/local/logstash
ls
//查看Gemfile文件
vi Gemfile
//修改 logstash的 gem 镜像源,更改默认的 https://rubygems.org 为https://gems.ruby-china.com
source "https://rubygems.org"

2.3 安装logstash-output-jdbc插件

//进入到/usr/local/logstash/bin/ 目录中执行安装命令,输出Installation successful既安装成功
./logstash-plugin install logstash-output-jdbc
//查看插件列表
./logstash-plugin list

3、配置mysql-connector-java.jar

MySQL Connector/J是MySQL官方JDBC驱动程序,JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。

//官网下载的方式比较慢,可选择从mvnrepository下载
https://mvnrepository.com/artifact/mysql/mysql-connector-java
//创建jdbc目录用于存放 mysql-connector-java.jar
mkdir -p /usr/local/logstash/jdbc
//将下载好的jar包上传到服务器 mysql-connector-java
rz

配置读取Nginx日志并输出到MySQL的 conf文件

步骤:

  • 配置Logstash input 为Nginx
  • 根据Nginx日志格式选择对应的过滤插件(Filter plugins)
  • 配置Logstash output为MySQL

1、配置Logstash input 为Nginx

在 /usr/local/logstash/config/ 创建一个test.conf 文件,并配置input为Nginx

input {
  file {
     path => ["此处填写Nginx的日志目录位置"]
     type => "nginx"
  }
}

2、根据Nginx日志格式选择对应的过滤插件

由于日志格式多种多样,所以需要结合实际情况选择对应的过滤插件。官网提供了丰富的过滤插件可帮助我们进行处理。比较常用的如 grok、json、kv、mutate等。

//官网filter-plugins插件地址
https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

下面用一条Nginx日志为例子进行分析

该日志格式所需提取的参数格式均为类似 foo=bar,Logstash提供的 Kv filter plugin 正好符合我们的需求。

进一步分析发现我们所需的参数位于"?" 之后,且每一个 foo=bar 都是用 "&" 进行分隔。

查阅Kv filter plugin 插件文档得知可以通过配置选项 field_split 实现效果

自此便可以配置好 input 和 filter

input {
  file {
     path => ["/data/nginx_logs/ods_media_show_log/access.log"]
     type => "nginx"
  }
}

filter {
      kv {
        field_split => "&?"
      }
    }

3、配置Logstash output为MySQL

主要是配置一些MySQL连接信息、及编写插入的SQL语句。下面以一个简单的例子,将通过filter提取到的"idfa" 插入到MySQL(ADB) 数据库中。

output {
   jdbc {
      driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
      driver_class => "com.mysql.jdbc.Driver"
      #数据库连接
      connection_string => "jdbc:mysql://xxxxxxxxx.ads.aliyuncs.com:3306/数据库名?user=xxxxx&password=xxxxxx"
      #insert语句
      statement => [ "insert into v2_ods_media_show_log (`idfa`) value(?)",
             "idfa"]
   }
}

4、自此完成配置,下面是完整的配置

input {
  file {
     path => ["/data/nginx_logs/ods_media_show_log/access.log"]
     type => "nginx"
  }
}

filter {
      #使用kv插件处理
      kv {
        field_split => "&?"
      }
    }

output {
   jdbc {
      driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
      driver_class => "com.mysql.jdbc.Driver"
      #数据库连接
      connection_string => "此处配置jdbcURL"
      #insert语句
      statement => [ "insert into v2_ods_media_show_log (`idfa`,`insert_time`) value(?,default)",
             "idfa"]
   }
}

启动Logstash

//进入到/usr/local/logstash/bin/ 目录中执行, -f 指定我们配置好的文件
bin/logstash -f /usr/local/logstash/config/test.conf 

启动Logstash查看效果,Logstash实时获取Nginx日志并成功存入MySQL。

总结

本文以一个简单的例子讨论使用Logstash实时采集Nginx日志并存入MySQL的思路。要实现存入MySQL主要需要安装logstash-output-jdbc插件以及 mysql-connector-java.jar。根据日志的格式和实际业务场景选取组合合适的过滤插件,并编写过滤规则。最后使用 -f 指定配置文件启动Logstash。

感谢您的阅读,如果喜欢本文欢迎关注和转发,本头条号将坚持持续分享IT技术知识。对于文章内容有其他想法或意见建议等,欢迎提出共同讨论共同进步。

相关推荐

推荐一款Python的GUI可视化工具(python 可视化工具)

在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...

教你用Python绘制谷歌浏览器的3种图标

前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....

小白学Python笔记:第二章 Python安装

Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...

一文吃透Python虚拟环境(python虚拟环境安装和配置)

摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...

小白也可以玩的Python爬虫库,收藏一下

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...

python环境安装+配置教程(python安装后怎么配置环境变量)

安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...

colorama,一个超好用的 Python 库!

大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...

python制作仪表盘图(python绘制仪表盘)

今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...

总结90条写Python程序的建议(python写作)

  1.首先  建议1、理解Pythonic概念—-详见Python中的《Python之禅》  建议2、编写Pythonic代码  (1)避免不规范代码,比如只用大小写区分变量、使用容易...

[oeasy]python0137_相加运算_python之禅_import_this_显式转化

变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...

Python入门学习记录之一:变量(python中变量的规则)

写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...

掌握Python的"魔法":特殊方法与属性完全指南

在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...

11个Python技巧 不Pythonic 实用大于纯粹

虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...

Python 从入门到精通 第三课 诗意的Python之禅

导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...

取消回复欢迎 发表评论: