Kubernetes集群中的日志收集解决方案

Kubernetes集群中的日志收集解决方案

一：介绍

关于kubernetes的日志分好几种，针对kubernetes本身而言有三种：

1、资源运行时的event事件。比如在k8s集群中创建pod之后，可以通过 kubectl describe pod 命令查看pod的详细信息。

2、容器中运行的应用程序自身产生的日志，比如tomcat、nginx、php的运行日志。比如kubectl logs redis-master-bobr0。这也是官方以及网上多数文章介绍的部分

3、k8s各组件的服务日志，比如 systemctl status kubelet

容器日志收集的方式通常有以下几种：

1、容器外收集。将宿主机的目录挂载为容器的日志目录，然后在宿主机上收集。

2、容器内收集。在容器内运行一个后台日志收集服务。

3、单独运行日志容器。单独运行一个容器提供共享日志卷，在日志容器中收集日志。

4、网络收集。容器内应用将日志直接发送到日志中心，比如java程序可以使用log4j 2转换日志格式并发送到远端。

5、通过修改docker的--log-driver。可以利用不同的driver把日志输出到不同地方，将log-driver设置为syslog、fluentd、splunk等日志收集服务，然后发送到远端。

二：EFK方案（fluentd）

为了让fluentd在每个node上运行一份，这里有几种不同的方法：

1、直接在Node宿主机上安装fluentd。这种方法适合elk都安装在物理机上的场景

2、利用kubelet的–config参数，为每个node分别运行一个静态fluentd pod

3、利用daemonset来让fluentd分别在每个node上运行一个pod。（daemontset是k8s的一种资源对象）

官方使用的是第三种方式，将ElesticSearch和kibana都运行在k8s集群中，然后用daemonset运行fluentd

集群启动时会在每个机器启动一个Fluentd agent收集日志然后发送给Elasticsearch

实现方式是每个agent挂载目录/var/lib/docker/containers使用fluentd的tail插件扫描每个容器日志文件，直接发送给Elasticsearch

除了容器应用的日志之外，还有一个重要的部分就是，程序自身的日志。一般情况下，会将程序日志写到固定目录文件、或者写入到中间件保存和读取。

这部分日志的处理，可以直接通过日志文件收集、或者是让开发程序的同学修改程序把日志输出到中间件或者是直接输出到elk上

三：EFK方案（filebeat）

多个Filebeat在各个业务端进行日志采集，然后上传至Logstash

多个Logstash节点并行（负载均衡，不作为集群），对日志记录进行过滤处理，然后上传至Elasticsearch集群

多个Elasticsearch构成集群服务，提供日志的索引和存储能力

Kibana负责对Elasticsearch中的日志数据进行检索、分析

在该架构中，根据业务特点，还可以加入某些中间件，如Redis、Kafak等：

Kafka集群作为消息缓冲队列，可以降低大量FIlebeat对Logstash的并发访问压力

Logstash是基于JDK的，在没有产生日志的情况单纯启动Logstash就大概要消耗500M内存

单独启动Filebeat容器大约会消耗12M内存，比起logstash相当轻量级

四：采集风险

日志收集与处理解耦

由于收集和处理过程间加入了队列，当日志出现暴增时，可以避免分析处理节点被打垮，给分析处理节点足够时间消化日志数据

日志分析处理节点可以动态伸缩

大流量日志收集系统架构图

当日志流量过大时，如果每一个日志收集节点都直连队列写数据，由于有很多分散的连接及写请求，会给队列造成压力。如果日志都发送到logstash收集节点，再集中写入队列，会减轻队列压力

五：方案比对

这里如果有想不同路径下的日志区分，可以加上document_type

apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
data:
  filebeat.yml: |
    filebeat.prospectors:
    - input_type: log
      paths:
        - "/log/*.log"
      document_type: app-logs
      multiline.pattern: '^[[:space:]]+|^Caused by:|^#{3}|^;|^org|^com'
      multiline.negate: false
      multiline.match: after
    - input_type: log
      paths:
        - "/logs/*.log"
      document_type: access-logs
      multiline.pattern: '^[[:space:]]+|^Caused by:|^#{3}|^;|^org|^com'
      multiline.negate: false
      multiline.match: after
    output.elasticsearch:
      hosts: ["192.168.30.21:9200"]
      index: "filebeat-test-%{+yyyy.MM.dd}"