百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Loki日志全链路实战:从收集到告警的完整指南

off999 2025-04-06 20:04 27 浏览 0 评论

01为什么选择Loki ?

传统日志系统的痛点

  • 资源消耗高:ELK(Elasticsearch)需要为全文检索建立复杂索引,存储成本飙升,官方数据是通常可以将数据压缩20%~30%,实测下来在某些场景下可以达到50%,使用DEFLATE压缩算法,最低可以降低超过70%
  • 云原生适配差:Kubernetes动态环境下的日志标签管理困难

Loki的核心优势

  • 轻量级设计:仅索引元数据(标签),有近10倍的压缩比,5G数据输入存储实际增长0.5G。
  • 无缝集成:原生支持Prometheus生态,原生集成grafana,支持集群本身监控告警和日志监控告警。
  • 动态标签:完美适配Kubernetes Pod/Node等动态资源标签

02Loki架构解析

核心组件与数据流

Loki则采用了分布式架构,将日志数据存储在多个节点上,Promtail进行日志收集,可视化依赖于Grafana。

关键概念解析

03部 署

环境准备

  • 硬件建议:
  • 生产环境:至少3节点集群(每个节点4核8GB+)
  • 存储:优先选择SSD + S3兼容存储(MinIO)
  • 版本选择:
推荐使用v2.8+版本
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

Kubernetes集群部署

使用Helm部署Loki Stack(包含Promtail)
helm upgrade --install loki grafana/loki-stack \
  --set promtail.enabled=true \
  --set loki.persistence.enabled=true \
  --set loki.persistence.size=100Gi

Promtail配置示例

#promtail-config.yaml
server:
  http_listen_port: 9080

positions:
  filename: /tmp/positions.yaml

clients:
url: http://loki:3100/loki/api/v1/push

scrape_configs:
job_name: kubernetes
kubernetes_sd_configs:
role: pod
  pipeline_stages:
docker: {}
  relabel_configs:
source_labels: [__meta_kubernetes_pod_label_app]
  target_label: app

04告警集成

grafana告警规则配置

05性能优化与分析实践

存储优化技巧

loki-config.yaml 优化片段
schema_config:
  configs:
    - from: 2023-01-01
      store: boltdb-shipper
      object_store: s3
      schema: v11
      index:
        prefix: index_
        period: 24h

chunk_store_config:
  max_look_back_period: 720h # 日志保留30天

日志查询和分析

  1. 首先,指定 查询文件 filename="/usr/local/nginx/logs/loki-error.log"
  2. 然后,通过json的方式
  3. 最后,设置条件选择,比如status=500、server_name=test.com

查询加速策略

  1. 预过滤标签
#先通过精确标签缩小范围
{cluster="aws", pod=~"frontend-.+"} |= "timeout"
  1. 避免全文本扫描:优先使用|=(包含)而非|~(正则)

06真实场景案例

案例1:nginx5xx日志收集

重新编译nginx

#上传安装包
nginx-1.25.3.tar.gz、ngx_http_geoip2_module-3.4.tar.gz、libmaxminddb-1.9.1.tar.gz、GeoLite2-City.mmdb、GeoLite2-Country.mmdb

#nginx重新编译
./configure --prefix=/usr/local/nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie' --add-dynamic-module=/root/nginx/ngx_http_geoip2_module-3.4 

修改日志格式

load_module modules/ngx_http_geoip2_module.so;
#修改日志格式
  log_format json_analytics escape=json '{'
                    '"msec": "$msec", ' 
                    '"connection": "$connection", '
                    '"connection_requests": "$connection_requests", ' 
                    '"http_referer": "$http_referer", '
                    '"http_user_agent": "$http_user_agent", ' 
                    '"request_method": "$request_method", '
                    '"server_protocol": "$server_protocol", '
                    '"status": "$status", '
                    '"pipe": "$pipe", ' 
                    '"server_name": "$server_name", '
                    '"request_time": "$request_time", ' 
                    '"gzip_ratio": "$gzip_ratio", '
                    '"http_cf_ray": "$http_cf_ray",'
                    '"geoip_country_code": "$geoip2_data_country_code",'
                    '"geoip2_city_name_en": "$geoip2_city_name_en", '
                    '"geoip2_city_name_cn": "$geoip2_city_name_cn", '
                    '"geoip2_longitude": "$geoip2_longitude", '
                    '"geoip2_latitude": "$geoip2_latitude"'
                    '}';
    map $http_x_forwarded_for $real_ip {
        default "";
        "~^(?P\d+\.\d+\.\d+\.\d+)" $ip;
        "~^(?P\d+\.\d+\.\d+\.\d+),.*" $ip;
    }
#指定日志的位置,会放在nginx目录下
    map $status $log_path {
        ~^4       /logs/loki-error.log;
        ~^5       /logs/loki-error.log;
        default   /logs/access.log;
    }
    geoip2 /usr/local/nginx/modules/GeoLite2-Country.mmdb {
        auto_reload 5m;
        $geoip2_metadata_country_build metadata build_epoch;
        $geoip2_data_country_code source=$real_ip country iso_code;
        $geoip2_data_country_name country names zh-CN;
    }

    geoip2 /usr/local/nginx/modules/GeoLite2-City.mmdb {
         $geoip2_city_name_en source=$real_ip city names en;
         $geoip2_city_name_cn source=$real_ip city names zh-CN;
         $geoip2_longitude source=$real_ip location longitude ;
         $geoip2_latitude source=$real_ip location latitude ;
    }
    fastcgi_param COUNTRY_CODE $geoip2_data_country_code;
    fastcgi_param COUNTRY_NAME $geoip2_data_country_name;
    fastcgi_param CITY_NAME    $geoip2_city_name_cn;    check interval=3000 rise=2 fall=5 timeout=1000 type=tcp;
    check_http_send "HEAD /health/check/status HTTP/1.0\r\n\r\n";
    check_http_expect_alive http_2xx http_3xx;

配置promtail收集

cat << eof>> /data/promtail/config.yaml
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
url: http://192.168.119.191:3100/loki/api/v1/push

scrape_configs:
job_name: nginx
static_configs:
targets:
localhost
    labels:
    job: nginx
    host: $host
    agent: promtail
    path    : /usr/local/nginx/logs/loki-error.log
EOF

结合grafana呈现效果

案例2:数据库慢查询收集

配置promtail收集

cat config.yaml 
server:
  http_listen_port: 9080
  grpc_listen_port: 0
positions:
  filename: /tmp/positions.yaml
clients:
url: http://192.168.119.191:3100/loki/api/v1/push
scrape_configs:
    - job_name: mysql-slowlogs
      static_configs:
        - labels:
            instance: usa4-rds03-slave
            projectname: chat
            job: mysql
            __path__: /database/mysql/1266/mysql-slow.log
      pipeline_stages:
        - multiline:
              firstline: '#\sTime:.'
        - regex:
*              expression: '#\s*Time:\s*(?P.*)\n#\s*User@Host:\s*(?P[^\[]+).*@\s*(?P.*]).***Id:\s***(?P\d+)\n#\s*Query_time:\s*(?P\d+\.\d+)\s*Lock_time:\s*(?P\d+\.\d+)\s*Rows_sent:\s*(?P\d+)\s*Rows_examined:\s*(?P\d+)\n(?P(?s:.*))
- labels: timestamp: user: host: id: query_time: lock_time: rows_sent: rows_examined: query: - drop: expression: "^ *$" drop_counter_reason: "drop empty lines"

结合grafana呈现效果

07总 结


总体而言,Loki相对轻量级,具有较高的可扩展性和简化的存储架构,但需要额外的组件,Loki使用的是自己的查询语言LokiQL,有一定的学习曲线。若是数据量适中,数据属于时序类,如应用程序日志和基础设施指标,并且应用使用kubernetes Pod形式部署,则选择Loki比较合适。

Loki正在成为云原生时代日志管理的标准解决方案,其与以下技术的整合值得关注:

  • OpenTelemetry:统一日志、指标、追踪的采集标准
  • WAL(Write-Ahead Logging):提升高吞吐场景下的可靠性
  • 边缘计算:轻量级特性适合IoT设备日志收集


如有相关问题,请在文章后面给小编留言,小编安排作者第一时间和您联系,为您答疑解惑。

附录

参考文章:

https://www.ctyun.cn/developer/article/418138645577797

http://cloud.tencent.com/developer/article/2241079

相关推荐

「Python条件结构」if…else实现判断奇偶数

功能要求用户从键盘上输入一个整数,判断该数是奇数还是偶数。说明:能被2整除的整数叫偶数,不能被2整除的叫奇数;即该数除以2后余数为0时该数为偶数,否则该数为奇数。求余数运算符为“%”。实例代码num...

Python if else条件语句详解

前面我们看到的代码都是顺序执行的,也就是先执行第1条语句,然后是第2条、第3条……一直到最后一条语句,这称为顺序结构。但是对于很多情况,顺序结构的代码是远远不够的,比如一个程序限制了只能成年人使用,儿...

python基础篇: python中的流程控制,你都了解吗?

在之前的文章中大致的介绍过python中的流程控制语句,今天通过一些案例来详细了解一下python中的流程语句。目前python中流程控制语句,包含如下,如有遗漏欢迎留言补充。在python中条件判断...

python中if语句

if语句用来判断,当不同的条件成立去做与之对应事情;格式如下:if条件:执行代码条件为True才会去做执行代码布尔类型(bool)说到布尔类型,就像开关只有两个值一样,布尔类型的值只有两个...

python中的循环语句到底难不难

好多初学者会有一种这样的心里:循环难不难?该怎么学习?下面来给大家分析下.Python中的循环语句并不难,但需要理解其核心逻辑和应用场景。以下是针对零基础学习者的清晰解析,通过对比、示例和常见误...

Python6大基础运算符,看完这篇之后会让你有一个彻底认识

昨天我们准备好了Python程序所需要的的东西,那么今天我们开始了解Python的各种基础运算符,这些要是不熟悉下来你后面的路也会走的很艰难Python支持基础运算符,常见的算术运算符有+、-、*、/...

Python基础:条件语句和循环语句

下面会详细讲解一下Python关于条件语句和循环语句,会包含一些示例代码。我们首先来介绍条件语句(if-else),然后再讨论循环语句(for和while循环)。条件语句(if-else)在Pytho...

Python合集之Python循环语句(一)

在上一节的合集中,我们了解了Python流程控制语句中if语句的嵌套及条件表达会的相关知识,本节我们将进一步了解一下Python循环语句中的while语句的相关知识。在日常生活中很多问题都无...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

「Python条件结构」if…else实现三角形判断

功能要求编写程序,判断输入的三个数是否能构成三角形的三个边。如果可以,打印“可以构成三角形”;如果不可以,打印“不可以构成三角形”。构成三角形的条件是:三条边都等于0,且任何2条边的边长之和都大于第三...

Python中检查对象是否具有某个属性的方法

技术背景在Python编程中,经常会遇到需要检查一个对象是否具有某个特定属性的情况。例如,在调用对象的属性之前,需要先确认该属性是否存在,以避免引发AttributeError异常。以下将介绍几种常见...

Python条件语句:从入门到精通

导语条件语句是编程中的基础概念,它允许我们根据不同的条件执行不同的代码块。在Python中,条件语句的灵活性和易读性使其成为编写逻辑判断和流程控制的强大工具。本教程将带您深入了解Python条件语句的...

简单学Python——条件语句if

条件语句是用来判断给定的条件是否满足(表达式值是否为0或False),并根据判断的结果(真或假)决定执行的语句。Python条件语句用的是if或if和else、elif等搭配实现的。代码执行的过程:i...

Python合集之Python跳转语句(一)

在上一节的合集中,我们了解了Python循环嵌套语句的相关知识,本节我们将进一步了解一下Python跳转语句中的break的相关知识。当循环条件一直满足时,程序会一直执行下去,如果希望在中间离开循环...

新手学Python避坑,学习效率狂飙! 八、Python 布尔值判断

布尔值判断系统知识在Python里,布尔类型仅有两个值:True和False,它们常被用于条件判断。下面从几个方面展开介绍:1.布尔运算逻辑与(and):只有当两个操作数都为True时,...

取消回复欢迎 发表评论: