导读：本文将通过一个简单的例子来展示如何使用Logstash实时读取Nginx日志并存到MySQL(阿里云ADB)数据库中。由于Nginx搭建和配置非本文重点，所以这里就不展开讨论了，朋友们可以参考网上的教程自行搭建配置。

Logstash概念

Logstash is an open source data collection engine with real-time pipelining capabilities

简单来说，Logstash是一条具备实时数据传输能力的pipeline管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道支持根据自身需求在中间加上滤网，Logstash提供了很多功能强大的滤网以满足的各种应用场景。

搭建Logstash

要搭建可用于采集Nginx日志并输出到MySQL，主要分为以下几个步骤：

• Logstash安装
• 安装logstash-output-jdbc插件
• 配置mysql-connector-java.jar

1、Logstash安装

环境要求JDK1.8以上，需提前配置好JDK

//从Logstash官方下载地址并上传到服务器
https://www.elastic.co/cn/downloads/logstash
//解压
tar -xzvf logstash-7.0.0.tar.gz -C /usr/local/
//修改名字
mv logstash-7.0.0 logstash

2、安装logstash-output-jdbc插件

虽然logstash默认安装了大部分的插件，但是有些插件没有默认安装。logstash原生版本只有input中自带jdbc插件,这意味着只支持jdbc导入而不支持jdbc导出，我们的目的是期望输出到MySQL，所以需要额外安装 logstash-output-jdbc 插件。

2.1 安装Gem与更新及修改镜像源

//安装gem
yum install -y gem
//检查并修改镜像源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
//更新镜像源
gem update --system

2.2 修改 logstash的 gem 镜像源

国外的gem源由于网络原因，可能导致国内访问太慢而且不稳定，还经常安装不成功。所以这里需要修改logstash的 gem 镜像源。

//进入到logstash目录可以看到Gemfile文件
cd /usr/local/logstash
ls
//查看Gemfile文件
vi Gemfile
//修改 logstash的 gem 镜像源,更改默认的 https://rubygems.org 为https://gems.ruby-china.com
source "https://rubygems.org"

2.3 安装logstash-output-jdbc插件

//进入到/usr/local/logstash/bin/ 目录中执行安装命令,输出Installation successful既安装成功
./logstash-plugin install logstash-output-jdbc
//查看插件列表
./logstash-plugin list

3、配置mysql-connector-java.jar

MySQL Connector/J是MySQL官方JDBC驱动程序，JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。

//官网下载的方式比较慢，可选择从mvnrepository下载
https://mvnrepository.com/artifact/mysql/mysql-connector-java

//创建jdbc目录用于存放 mysql-connector-java.jar
mkdir -p /usr/local/logstash/jdbc
//将下载好的jar包上传到服务器 mysql-connector-java
rz

配置读取Nginx日志并输出到MySQL的 conf文件

步骤：

• 配置Logstash input 为Nginx
• 根据Nginx日志格式选择对应的过滤插件（Filter plugins）
• 配置Logstash output为MySQL

1、配置Logstash input 为Nginx

在 /usr/local/logstash/config/ 创建一个test.conf 文件，并配置input为Nginx

input {
  file {
     path => ["此处填写Nginx的日志目录位置"]
     type => "nginx"
  }
}

2、根据Nginx日志格式选择对应的过滤插件

由于日志格式多种多样，所以需要结合实际情况选择对应的过滤插件。官网提供了丰富的过滤插件可帮助我们进行处理。比较常用的如 grok、json、kv、mutate等。

//官网filter-plugins插件地址
https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

下面用一条Nginx日志为例子进行分析

该日志格式所需提取的参数格式均为类似 foo=bar，Logstash提供的 Kv filter plugin 正好符合我们的需求。

进一步分析发现我们所需的参数位于"？" 之后，且每一个 foo=bar 都是用 "&" 进行分隔。

查阅Kv filter plugin 插件文档得知可以通过配置选项 field_split 实现效果

自此便可以配置好 input 和 filter

input {
  file {
     path => ["/data/nginx_logs/ods_media_show_log/access.log"]
     type => "nginx"
  }
}

filter {
      kv {
        field_split => "&?"
      }
    }

3、配置Logstash output为MySQL

主要是配置一些MySQL连接信息、及编写插入的SQL语句。下面以一个简单的例子，将通过filter提取到的"idfa" 插入到MySQL(ADB) 数据库中。

output {
   jdbc {
      driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
      driver_class => "com.mysql.jdbc.Driver"
      #数据库连接
      connection_string => "jdbc:mysql://xxxxxxxxx.ads.aliyuncs.com:3306/数据库名?user=xxxxx&password=xxxxxx"
      #insert语句
      statement => [ "insert into v2_ods_media_show_log (`idfa`) value(?)",
             "idfa"]
   }
}

4、自此完成配置，下面是完整的配置

input {
  file {
     path => ["/data/nginx_logs/ods_media_show_log/access.log"]
     type => "nginx"
  }
}

filter {
      #使用kv插件处理
      kv {
        field_split => "&?"
      }
    }

output {
   jdbc {
      driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
      driver_class => "com.mysql.jdbc.Driver"
      #数据库连接
      connection_string => "此处配置jdbcURL"
      #insert语句
      statement => [ "insert into v2_ods_media_show_log (`idfa`,`insert_time`) value(?,default)",
             "idfa"]
   }
}

启动Logstash

//进入到/usr/local/logstash/bin/ 目录中执行， -f 指定我们配置好的文件
bin/logstash -f /usr/local/logstash/config/test.conf 

启动Logstash查看效果，Logstash实时获取Nginx日志并成功存入MySQL。

总结

本文以一个简单的例子讨论使用Logstash实时采集Nginx日志并存入MySQL的思路。要实现存入MySQL主要需要安装logstash-output-jdbc插件以及 mysql-connector-java.jar。根据日志的格式和实际业务场景选取组合合适的过滤插件，并编写过滤规则。最后使用 -f 指定配置文件启动Logstash。

感谢您的阅读，如果喜欢本文欢迎关注和转发，本头条号将坚持持续分享IT技术知识。对于文章内容有其他想法或意见建议等，欢迎提出共同讨论共同进步。