Kubernetes日志采集ELK|收集Python项目日志并展示

off999 2024-10-07 12:18 47 浏览 0 评论

简介

Kubernetes是一个流行的容器编排平台，而ELK是一个用于日志分析和可视化的工具组合。在Kubernetes中，我们可以使用ELK收集和展示容器日志，包括Python项目的日志。本文我以在Kubernetes中部署一个Django服务，并且把Django服务的日志接入到ELK中进行展示。

ELK服务搭建

在Kubernetes中搭建ELK服务，可以方便地处理分布式系统中的日志数据，并进行可视化分析。通过Elasticsearch、Logstash和Kibana三个组件的配合，可以实现完整的日志处理和分析流程，ELK日志平台，我在前几篇文章中已经安装好了，请各位移步：

Kubernetes日志采集ELK｜部署ElasticSearch存储

Kubernetes日志采集ELK｜部署Logstash日志收集

Kubernetes日志采集ELK｜部署Kibana日志展示

这里，我们的Logstash的服务地址为 http://logstash:8888

创建一个Django项目

如何使用Python的Django框架和Logstash的Python客户端将日志输出到Logstash中，需要安装logstash的Python客户端，可以使用pip命令进行安装

pip install python-logstash

在Django项目的settings.py文件中，添加以下配置项：

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'logstash': {
            'level': 'DEBUG',
            'class': 'logstash.TCPLogstashHandler',
            'host': 'logstash.elk',
            'port': 8888,  # 默认的Logstash端口为5000
            'version': 1,
            'message_type': 'django',
            'fqdn': False,
            'tags': ['django.request']
        },
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',
        },
    },
    'loggers': {
        'test1': {
            'handlers': ['logstash','console'],
            'level': 'DEBUG',
            'propagate': True,
        }
    },
}

这里使用了logstash的TCPLogstashHandler作为日志处理器，将日志发送到Logstash服务。可以根据实际情况修改host和port配置项，以便连接到正确的Logstash服务。由于我的logstash服务已经部署好了，所以在这里我直接使用地址 http://logstash.elk:8888。

在Django项目test1 APP下的views.py文件中，添加以下代码：

from django.shortcuts import render
from django.http import HttpResponse
import logging
logger = logging.getLogger(__name__)
def index(request):
    msg='Hello, world!'
    logger.debug(msg+' This is a debug message')
    logger.info(msg+' This is an info message')
    logger.warning(msg+' This is a warning message')
    logger.error(msg+' This is an error message')
    logger.critical(msg+' This is a critical message')
    return HttpResponse(msg)

在Django的主APP下urls.py文件内，给test1的视图添加路由

from django.contrib import admin
from django.urls import path
from test1 import views
urlpatterns = [
    path('admin/', admin.site.urls),
    path('index', views.index,name='index'),
]

好了我的程序可以正常运行了

打包为镜像文件

创建Docker镜像：首先需要将Django项目打包成一个Docker镜像，可以使用Dockerfile来定义镜像的构建过程

FROM python:3.10
WORKDIR /opt
COPY requirements.txt . 
RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
COPY . .
CMD ["gunicorn","-b","0.0.0.0:8000","logtest.wsgi"]

在上述Dockerfile中，首先从官方Python 3.10镜像开始构建，然后设置环境变量、安装依赖包、复制项目文件，并使用Gunicorn作为Web服务器运行Django项目。在Kubernetes中运行Django应用程序时，通常不应该使用Django的开发服务器，而应该使用一个成熟的Web服务器，如Gunicorn或uWSGI。因此，建议您将Django应用程序部署到Kubernetes中并使用适当的Web服务器进行服务。

构建成镜像

docker build -t 192.168.82.111:80/test/mypython:v1 .

上传到Harbor私有仓库

docker push 192.168.82.111:80/test/mypython:v1

创建Kubernetes配置文件

Kubernetes中，可以使用Deployment和Service对象来管理Django项目。Deployment对象用于创建和管理Pod，而Service对象则用于将请求路由到运行中的Pod。可以使用YAML文件定义Deployment和Service对象的配置。

vim mypython.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mypython
spec:
  replicas: 2
  selector:
    matchLabels:
      app: mypython
  template:
    metadata:
      labels:
        app: mypython
    spec:
      containers:
      - name: mypython
        image: 192.168.82.111:80/test/mypython:v1
        ports:
        - containerPort: 8000
---
apiVersion: v1
kind: Service
metadata:
  name: mypython
spec:
  selector:
    app: mypython
  type: NodePort
  ports:
    - name: http
      port: 8000
      targetPort: 8000
      nodePort: 38000