带你使用Python在两类场景下自动采集日志数据(附程序)
off999 2025-05-23 19:19 61 浏览 0 评论
各位同学，大家好。采集日志数据是重要的数据来源。本次课程教大家使用Python技术从Windows和Linux两个环境去自动采集日志数据，轻松应对各类日志采集需求。
01 Python实时采集本地文件数据。
如果日志文件在本地，本地的操作系统是windows，可以这样来读取日志文件。
1. Subprocess
我们会使用Subprocess模块，Subprocess是Python内置的模块，这个模块中的Popen方法可以运行用户输入的命令行。如果运行正常，会把内容写入stdout管道。如果命令不正常，则把信息写入stderr管道。
Popen命令的基本格式是这样的：
shell=True 表示在终端中运行的命令，stdout=subprocess.PIPE 表示当命令运行正常的时候把结果写入stdout管道,stderr=subprocess.PIPE 表示的是当命令运行不正常的时候把结果写入stderr管道。
2.读取日志内容
我们使用以下的程序来实时读取日志内容：
其中的命令是powershell Get-Content –wait。
这是调用了Windows的powershell的Get-Content命令，来实时读取日志内容。
如果我们的操作系统是Linux，可以使用下面的程序来读取日志内容：
3.打印内容
读取到的结果通过以下程序来打印出来：
其中的readline是按照每行来读取内容，然后使用decode()将字节流转换成字符串，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后使用communicate方法，将输出结果保存在内存中，而不是默认的保存到管道，这样存储能力更强，不容易卡死。这个进程将会一直执行直到外部程序来将它结束。
02 Python实时远程采集文件数据。
如果我们想远程采集linux服务器上面的日志信息，可以这样来操作。
1.创建ssh连接
Paramiko 是 Python 语言的一个 SSH 客户端。可以远程连接Linux服务器，通过 Python实现进行对远程服务器的操作。
创建SSH连接，我们使用以下程序来实现。
首先进行对paramiko下的SSHClient完成实例化。
然后使用
set_missing_host_key_policy() 方法，连接到没有已知主机秘钥的服务器。最后使用connect()方法，输入远程连接的地址、端口号，用户名，密码等信息。
2.通过ssh获取日志信息
接下来，我们使用以下程序来读取服务器日志。
我们使用exec_command()方法来执行tail –f命令，获取服务器日志信息。
其中ssh_stdin为标准输入流，通常用于向进程发送输入。
ssh_stdout为标准输出流，通常用于输出进程的结果。
ssh_stderr为标准错误流，通常用于输出进程的错误信息。
然后使用readline方法按照每行来读取内容，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后结束ssh连接。
03 实例讲解。
接下来，我们给大家进行实例的讲解。
未完待续。
我是源动君，带领大家一起进步，谢谢观看。
相关推荐
- pip的使用及配置_pip怎么配置
-
要使用python必须要学会使用pip，pip的全称：packageinstallerforpython，也就是Python包管理工具，主要是对python的第三方库进行安装、更新、卸载等操作，...
- Anaconda下安装pytorch_anaconda下安装tensorflow
-
之前的文章介绍了tensorflow-gpu的安装方法，也介绍了许多基本的工具与使用方法，具体可以看Ubuntu快速安装tensorflow2.4的gpu版本。pytorch也是一个十分流行的机器学...
- Centos 7 64位安装 python3的教程
-
wgethttps://www.python.org/ftp/python/3.10.13/Python-3.10.13.tgz#下载指定版本软件安装包tar-xzfPython-3.10.1...
- 如何安装 pip 管理工具_pip安装详细步骤
-
如何安装pip管理工具方法一:yum方式安装Centos安装python3和python3-devel开发包>#yuminstallgcclibffi-develpy...
- Python入门——从开发环境搭建到hello world
-
一、Python解释器安装1、在windows下步骤1、下载安装包https://www.python.org/downloads/打开后选择【Downloads】->【Windows】小编是一...
- 生产环境中使用的十大 Python 设计模式
-
在软件开发的浩瀚世界中，设计模式如同指引方向的灯塔，为我们构建稳定、高效且易于维护的系统提供了经过验证的解决方案。对于Python开发者而言，理解和掌握这些模式，更是提升代码质量、加速开发进程的关...
- 如何创建和管理Python虚拟环境_python怎么创建虚拟环境
-
在Python开发中，虚拟环境是隔离项目依赖的关键工具。下面介绍创建和管理Python虚拟环境的主流方法。一、内置工具：venv（Python3.3+推荐）venv是Python标准...
- 初学者入门Python的第一步——环境搭建
-
Python如今成为零基础编程爱好者的首选学习语言，这和Python语言自身的强大功能和简单易学是分不开的。今天千锋武汉Python培训小编将带领Python零基础的初学者完成入门的第一步——环境搭建...
- 全网最简我的世界Minecraft搭建Python编程环境
-
这篇文章将给大家介绍一种在我的世界minecraft里搭建Python编程开发环境的操作方法。目前看起来应该是全网最简单的方法。搭建完成后，马上就可以利用python代码在我的世界自动创建很多有意思的...
- Python开发中的虚拟环境管理_python3虚拟环境
-
Python开发中，虚拟环境管理帮助隔离项目依赖，避免不同项目之间的依赖冲突。虚拟环境的作用隔离依赖：不同项目可能需要不同版本的库，虚拟环境可以为每个项目创建独立的环境。避免全局污染：全局安装的库可...
- Python内置zipfile模块:操作 ZIP 归档文件详解
-
一、知识导图二、知识讲解（一）zipfile模块概述zipfile模块是Python内置的用于操作ZIP归档文件的模块。它提供了创建、读取、写入、添加及列出ZIP文件的功能。（二）ZipFile类1....
- Python内置模块pydoc :文档生成器和在线帮助系统详解
-
一、引言在Python开发中，良好的文档是提高代码可读性和可维护性的关键。pydoc是Python自带的一个强大的文档生成器和在线帮助系统，它可以根据Python模块自动生成文档，并支持多种输出格式...
- Python sys模块使用教程_python system模块
-
1.知识导图2.sys模块概述2.1模块定义与作用sys模块是Python标准库中的一个内置模块，提供了与Python解释器及其环境交互的接口。它包含了许多与系统相关的变量和函数，可以用来控制P...
- Python Logging 模块完全解读_python logging详解
-
私信我，回复：学习，获取免费学习资源包。Python中的logging模块可以让你跟踪代码运行时的事件，当程序崩溃时可以查看日志并且发现是什么引发了错误。Log信息有内置的层级——调试（deb...
- 软件测试|Python logging模块怎么使用，你会了吗?
-
Pythonlogging模块使用在开发和维护Python应用程序时，日志记录是一项非常重要的任务。Python提供了内置的logging模块，它可以帮助我们方便地记录应用程序的运行时信息、错误和调...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)