简介

Fluent Bit 是一款快、轻且高度可扩展的日志和指标采集器。

与logstash对比更省资源。

nginx日志可以让我们分析出很多信息，多个应用采集到elasticsearch之后，可以让查询统计更加便捷。

流程

nginx通过log_format设置对应的日志格式，然后fluent-bit 通过解析日志，转换成JSON，写入elasticsearch（数据量大还可以加一层kafka进行缓冲），kinban可以快速展示日志。

采集：nginx => log => fluent-bit => elasticsearch

查询：kinbana=> elasticsearch

部署

nginx日志格式设置

在nginx.conf 里面设置日志格式和日志路径，采用多个分隔符,;来分割日志字段。

    log_format  main escape=json '$time_local,;$remote_addr,;$remote_user,;$ssl_protocol,;$ssl_cipher,;$http_host,;$request,;$request_time,;$status,;$body_bytes_sent,;$http_referer,;$http_user_agent,;$upstream_status,;$upstream_addr,;$upstream_response_time,;$scheme,;$server_name,;$server_port,;$document_root,;$request_id';
      access_log  /var/log/nginx/access.log  main;

配置好之后，只要reload一下nginx服务，新的日志格式就会生效。

部署fluent-bit

在操作系统 CentOS7.9 安装 fluent-bit，直接通过包管理器就可以直接安装，需要先添加fluent-bit源。

cat > /etc/yum.repos.d/fluentbit.repo  <<EOF
[fluent-bit]
name = Fluent Bit
baseurl = https://packages.fluentbit.io/centos/\$releasever/\$basearch/
gpgcheck=1
gpgkey=https://packages.fluentbit.io/fluentbit.key
repo_gpgcheck=1
enabled=1
EOF
yum -y install fluent-bit

安装之后配置文件路径是在/etc/fluent-bit目录下，首先要先解析函数，通过正则匹配去提取需要的日志，并转换成JSON格式。

编辑 /etc/fluent-bit/parsers.conf最近我们的解析函数。

可以通过https://rubular.com/ 这个网站进行测试正则表达式。

[PARSER]
    Name   nginx-proxy
    Format regex
    Regex ^(?<time_local>(.*?)),;(?<remote_addr>(.*?)),;(?<remote_user>(.*?)),;(?<ssl_protocol>(.*?)),;(?<ssl_cipher>(.*?)),;(?<http_host>(.*?)),;(?<method>(.*?))\s+(?<uri>(.*?))\s+(?<http_version>(.*?)),;(?<request_time>(.*?)),;(?<status>(.*?)),;(?<body_bytes_sent>(.*?)),;(?<http_referer>(.*?)),;(?<http_user_agent>(.*?)),;(?<upstream_status>(.*?)),;(?<upstream_addr>(.*?)),;(?<upstream_response_time>(.*)),;(?<scheme>(.*?)),;(?<server_name>(.*?)),;(?<server_port>(\d+)),;(?<document_root>(.*?)),;(?<trace_id>(.*?))$
    Types request_time:float status:integer  upstream_status:integer  upstream_response_time:float body_bytes_sent:integer server_port:integer
    Time_Key time_local
    Time_Format %d/%b/%Y:%H:%M:%S %z

采集配置/etc/fluent-bit/fluent-bit.conf，

[SERVICE]
    flush        1
    daemon       Off
    log_level    info
    parsers_file parsers.conf
    plugins_file plugins.conf
    http_server  Off
    http_listen  0.0.0.0
    http_port    2020

    storage.metrics on

[FILTER]
    Name    modify
    Match   *
    Add    host 10.1.1.1

[INPUT]
    Name tail
    tag ops-nginx-proxy
    path /var/log/nginx/access.log
    Parser nginx-proxy
    Path_Key file

[OUTPUT]
    Name es
    Match ops-nginx-proxy
    Generate_ID on
    Host  es-office.meiyou.com
    Port  9200
    HTTP_User elastic
    HTTP_Passwd xxxxxxxx
    Index ops-nginx-proxy
    Type  ops-nginx-proxy
    tls on
    tls.verify off
    Logstash_Format true
    Logstash_Prefix ops-nginx-proxy

配置好之后，启动服务就完成部署。

总结

fluent-bit很轻量，不仅适合主机上部署采集日志，也很适合收集容器日志。