百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

分布式日志系统ELK+skywalking分布式链路完整搭建流程

off999 2025-02-16 22:25 23 浏览 0 评论

开头

在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志飞速滑动的情况下,很难找出问题。
所以,分布式系统中很有必要搭建一套分布式日志系统,笔者采用了市面成熟的解决方案ELK+skywalking解决,本文将从0到1搭建一个分布式日志系统。

效果

先看效果图
1.kibana:在kibana中可直接查看线上错误日志,trace_id表示这次请求的唯一链路id
2.skywalking:通过1中的trace_id在skywalking中搜索,能迅速定位到日志

image.png

image.png

架构图

文档地址:
www.processon.com/view/link/6…

image.png

架构说明:
1.skywalking:分布式链路解决方案,可记录整条链路的调用详情,含所有下游服务,TID贯穿整条链路
2.elasticsearch1:用来存储skywalking的链路数据
3.filebeat:见名知意,文件心跳,用来收集springboot的日志文件,原理就是可指定log未知,开启收割机定时收集日志
4.logstash:用来过滤有效的日志信息,比如收集IP、TID等信息,定义索引规范,数据存储对接es
5.elasticsearch2:用来存储logstash过滤后的日志信息,本文主要存储错误日志
6.kibana:读取elasticsearch2的错误日志,UI页面

搭建流程

机器配置:两台32G的服务器,ES没有上集群版,按需扩充

1.elasticsearch和kibana搭建

以前搭建过,这里就不赘述了,具体看这里
www.jianshu.com/p/a69f8cefe…

2.skywalking搭建

下载地址:
archive.apache.org/dist/skywal…

因为我使用的es是7.6.2版本,所以下载
apache-skywalking-apm-es7-8.4.0.tar.gz

①下载后解压,修改webui的端口号:webapp/webapp.yml
修改skywalking oap服务配置文件 conf/application.yml,保存日志到es
配置表示trace记录保持7天,之后自动删除
storage.elasticsearch7配置(省略了${},转义错误)
recordDataTTL:
SW_STORAGE_ES_RECORD_DATA_TTL:7

otherMetricsDataTTL:
SW_STORAGE_ES_OTHER_METRIC_DATA_TTL:45

monthMetricsDataTTL:
SW_STORAGE_ES_MONTH_METRIC_DATA_TTL:18

②启动
apache-skywalking-apm-bin/bin/startup.sh

该脚本会启动两个服务,一个是webUI的服务,一个是oap收集日志服务
③在应用机02上传
apache-skywalking-apm-es7-8.4.0.tar.gz,解压

④修改springboot启动脚本(java agent探针技术)
java
-javaagent:apache-skywalking-apm-bin/agent/skywalking-agent.jar
-Dskywalking.agent.service_name=${pro}
-Dskywalking.collector.backend_service=xxx:11800 -jar xxx.jar >> logs/catalina.out &

⑤springboot集成skywalking服务



    org.apache.skywalking
    apm-toolkit-logback-1.x
    8.4.0


logback-spring.xml配置

    
        
        ${APP_NAME}:${ServerIP}:${ServerPort} %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %tid %t %logger{36}: %msg%n
    

复制代码

3.filebeat搭建

①在JAVA应用服务器上搭建,采用的版本是
filebeat-7.6.2-linux-x86_64,和es的版本要保持一致

②新建filebeat-logstash.yml
multiline.pattern: '^\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3}'

image.png

③启动
./filebeat -e -c filebeat-logstash.yml

4.logstash搭建

①在软件机01上传logstash-7.6.2
②在logstash-7.6.2/config新建filebeat-grok.conf
message表示索引 mapping
index 表示索引名称,按天建立,然后写定时任务保留最近X天

image.png

③新建startLogstash.sh nohup bin/logstash -f config/filebeat-grok.conf --config.reload.automatic > logstash.log &

image.png

注意事项:先启动logstash,再启动filebeat

总结

总结几个注意事项
1.需要保证kibana和skywalking web ui的安全性,可以通过nginx设置登录密码
2.oap服务需要根据调用量灵活调整
3.es需要搭建集群,需要设置定期清理,比如保留最近7天日志
4.skywalking增强:有报警服务、grpc日志上传服务等,需要另外配置
5.缺点:filebeat和skywalking的agent服务需要安装在每台应用机器上

相关推荐

在NAS实现直链访问_如何访问nas存储数据

平常在使用IPTV或者TVBOX时,经常自己会自定义一些源。如何直链的方式引用这些自定义的源呢?本人基于armbian和CasaOS来创作。使用标准的Web服务器(如Nginx或Apache...

PHP开发者必备的Linux权限核心指南

本文旨在帮助PHP开发者彻底理解并解决在Linux服务器上部署应用时遇到的权限问题(如Permissiondenied)。核心在于理解“哪个用户(进程)在访问哪个文件(目录)”。一、核心...

【Linux高手必修课】吃透sed命令!文本手术刀让你秒变运维大神!

为什么说sed是Linux运维的"核武器"?想象你有10万个配置文件需要批量修改?传统方式要写10万行脚本?sed一个命令就能搞定!这正是运维工程师的"暴力美学"时...

「实战」docker-compose 编排 多个docker 组成一个集群并做负载

本文目标docker-compose,对springboot应用进行一个集群(2个docker,多个类似,只要在docker-compose.yml再加boot应用的服务即可)发布的过程架构...

企业安全访问网关:ZeroNews反向代理

“我们需要让外包团队访问测试环境,但不想让他们看到我们的财务系统。”“审计要求我们必须记录所有第三方对内部系统的访问,现在的VPN日志一团糟。”“每次有新员工入职或合作伙伴接入,IT部门都要花半天时间...

反向代理以及其使用场景_反向代理实现过程

一、反向代理概念反向代理(ReverseProxy)是一种服务器配置,它将客户端的请求转发给内部的另一台或多台服务器处理,然后将响应返回给客户端。与正向代理(ForwardProxy)不同,正向代...

Nginx反向代理有多牛?一篇文章带你彻底搞懂!

你以为Nginx只是个简单的Web服务器?那可就大错特错了!这个看似普通的开源软件,实际上隐藏着惊人的能力。今天我们就来揭开它最强大的功能之一——反向代理的神秘面纱。反向代理到底是什么鬼?想象一下你...

Nginx反向代理最全详解(原理+应用+案例)

Nginx反向代理在大型网站有非常广泛的使用,下面我就重点来详解Nginx反向代理@mikechen文章来源:mikechen.cc正向代理要理解清楚反向代理,首先:你需要搞懂什么是正向代理。正向代理...

centos 生产环境安装 nginx,包含各种模块http3

企业级生产环境Nginx全模块构建的大部分功能,包括HTTP/2、HTTP/3、流媒体、SSL、缓存清理、负载均衡、DAV扩展、替换过滤、静态压缩等。下面我给出一个完整的生产环境安装流程(C...

Nginx的负载均衡方式有哪些?_nginx负载均衡机制

1.轮询(默认)2.加权轮询3.ip_hash4.least_conn5.fair(最小响应时间)--第三方6.url_hash--第三方...

Nginx百万并发优化:如何提升100倍性能!

关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。Nginx是大型架构的核心,下面我重点详解Nginx百万并发优化@mikechen文章来源:mikechen....

在 Red Hat Linux 上搭建高可用 Nginx + Keepalived 负载均衡集群

一、前言在现代生产环境中,负载均衡是确保系统高可用性和可扩展性的核心技术。Nginx作为轻量级高性能Web服务器,与Keepalived结合,可轻松实现高可用负载均衡集群(HA+LB...

云原生(十五) | Kubernetes 篇之深入了解 Pod

深入了解Pod一、什么是PodPod是一组(一个或多个)容器(docker容器)的集合(就像在豌豆荚中);这些容器共享存储、网络、以及怎样运行这些容器的声明。我们一般不直接创建Pod,而是...

云原生(十七) | Kubernetes 篇之深入了解 Deployment

深入了解Deployment一、什么是Deployment一个Deployment为Pods和ReplicaSets提供声明式的更新能力。你负责描述Deployment中的目标状...

深入理解令牌桶算法:实现分布式系统高效限流的秘籍

在高并发系统中,“限流”是保障服务稳定的核心手段——当请求量超过系统承载能力时,合理的限流策略能避免服务过载崩溃。令牌桶算法(TokenBucket)作为最经典的限流算法之一,既能控制请求的平...

取消回复欢迎 发表评论: