百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

如何利用 Graylog 进行容器化应用日志管理?

off999 2025-01-23 20:17 21 浏览 0 评论

Docker日志

当一个容器启动的时候,它其实是docker deamon的一个子进程,docker daemon可以拿到容器里面进程的标准输出,然后通过自身的LogDriver模块来处理,LogDriver支持的方式很多,默认写到本地文件,也可以发送到syslog等。

Docker会默认收集应用程序的标准输出到一个json.log文件中,以一行一条JSON存储数据,文件的格式如下:

{"log":"root@74205cdc7b53dd:/#ls\r\n","stream":"stdout","time":"xxx.155834526Z"}
{"log":"root@74205cdc7b53dd:/#ls\r\n","stream":"stdout","time":"xxx.255834528Z"}

Docker的这种日志存储方式可以在容器启动时通过指定log-driver进行配置,支持的log driver如下:

Graylog日志管理

Graylog是一个开源的完整的日志管理工具,功能和ELK类似。Docker原生支持graylog协议,Graylog官方也提供了对Docker的支持,二者可以无缝衔接。

Graylog官方提供了Dockerfile可以在Docker上部署日志系统,同时也提供了docker-compose.yml文件来快速部署整个graylog栈。

详细内容可以通过
http://docs.graylog.org/en/3.1/pages/installation/docker.html 来查看。

Graylog部署

1.在当前用户目录下创建graylog目录作为部署的工作目录:

mkdir graylog

cd graylog

2.初始化目录和配置文件

mkdir -p ./graylog/config

cd ./graylog/config

wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.1/config/graylog.conf

wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.1/config/log4j2.xml




#另外由于Graylog以ID 1100 定义了用户和用户组,

#导致Graylog在启动的时候可能会报config目录权限不足的错误,可以通过以下命令来解决

chown -R 1100:1100 ./graylog/config

3.修改配置文件, 上一步获得的graylog.conf文件是官方提供的默认配置,用户可以根据需要进行配置,比如配置中时区默认为UTC时区,可以将其改为中国时区

root_timezone = Asia/Shanghai

4.准备 docker-compose.yml 文件

version: '3'

services:

  # MongoDB: https://hub.docker.com/_/mongo/

  mongo:

    image: mongo:3

    networks:

      - graylog

    volumes:

      - mongo_data:/data/db

  # Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/6.x/docker.html

  elasticsearch:

    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0

    volumes:

      - es_data:/usr/share/elasticsearch/data

    environment:

      - http.host=0.0.0.0

      - transport.host=localhost

      - network.host=0.0.0.0

      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

    ulimits:

      memlock:

        soft: -1

        hard: -1

    deploy:

      resources:

        limits:

          memory: 1g

    networks:

      - graylog

  # Graylog: https://hub.docker.com/r/graylog/graylog/

  graylog:

    image: graylog/graylog:3.1

    volumes:

      - graylog_journal:/usr/share/graylog/data/journal

      - ./graylog/config:/usr/share/graylog/data/config

    environment:

      # CHANGE ME (must be at least 16 characters)!

      - GRAYLOG_PASSWORD_SECRET=somepasswordpepper

      # Password: admin

      - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

      - GRAYLOG_HTTP_EXTERNAL_URI=http://192.168.0.103:9000/

    networks:

      - graylog

    depends_on:

      - mongo

      - elasticsearch

    ports:

      # Graylog web interface and REST API

      - 9000:9000

      # Syslog TCP

      - 1514:1514

      # Syslog UDP

      - 1514:1514/udp

      # GELF TCP

      - 12201:12201

      # GELF UDP

      - 12201:12201/udp

networks:

  graylog:

    driver: bridge

# Volumes for persisting data, see https://docs.docker.com/engine/admin/volumes/volumes/

volumes:

  mongo_data:

    driver: local

  es_data:

    driver: local

  graylog_journal:

    driver: local

5.运行 “docker-compose up”启动服务, 服务正常启动后就可以通过http://ip:9000 进行访问graylog的Web界面,默认用户admin/admin。

Graylog配置日志收集

Graylog的日志收集通过定义input来完成,在Graylog的Web管理页面的System tab下可以选择定义input来对日志进行收集

进入input页面后选择input的类型,比如定义GELF UDP的input:

选择完成后点击 “Lanch new input”,就会进入详细的input配置,配置完成后保存就可以了

保存后一切正常的话,input就会进入RUNNING状态,这时就可以往这个input里面发送数据了,点击“Stop input”,input就会停止,数据的接收也会停止,“Stop input”会变成“Start input”,需要接受数据的时点击启动就可以了。

配置Docker容器发送数据到Graylog

配置Docker容器发送数据到Graylog时可以在运行docker run命令启动容器的时候加上如下参数:

docker run --log-driver=gelf \

--log-opt gelf-address=udp://graylog服务器地址:12201 \

--log-opt tag=<当前容器服务标签,用来供graylog查询的时候进行分类> \

 

具体示例:

docker run -d \

--log-driver=gelf \

--log-opt gelf-address=udp://localhost:12201 \

--log-opt tag="{{.ImageName}}/{{.Name}}/{{.ID}}" \

busybox sh -c 'while true; do echo "Graylog test message"; sleep 10; done;'

如果容器通过docker-compose命令启动可以在docker-compose.yml文件中加入以下配置:

logging:
  driver:"gelf"
  options:
    gelf-address:"udp://graylog服务器地址:12201"
    tag:"容器服务标签"

具体示例:

version: '2'

services:

  nginx:

    image: nginx:latest

    ports:

      - "80:80"

    logging:

      driver: "gelf"

      options:

        gelf-address: "udp://localhost:12201"

        tag: nginx-service

日志发送配置好之后就可以在的Search tab下搜索产看日志信息

相关推荐

阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?

TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...

高流量大并发Linux TCP性能调优_linux 高并发网络编程

其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...

性能测试100集(12)性能指标资源使用率

在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...

Linux 服务器常见的性能调优_linux高性能服务端编程

一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...

Nginx性能优化实战:手把手教你提升10倍性能!

关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...

高并发场景下,Spring Cloud Gateway如何抗住百万QPS?

关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...

Kubernetes 高并发处理实战(可落地案例 + 源码)

目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...

高并发场景下,Nginx如何扛住千万级请求?

Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...

Spring Boot+Vue全栈开发实战,中文版高清PDF资源

SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...

Docker-基础操作_docker基础实战教程二

一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...

你有空吗?跟我一起搭个服务器好不好?

来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...

部署你自己的 SaaS_saas如何部署

部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...

Docker Compose_dockercompose安装

DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...

京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统

前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...

Kubernetes (k8s) 入门学习指南_k8s kubeproxy

Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...

取消回复欢迎 发表评论: