带你使用Python在两类场景下自动采集日志数据(附程序)
off999 2025-05-23 19:19 91 浏览 0 评论
各位同学，大家好。采集日志数据是重要的数据来源。本次课程教大家使用Python技术从Windows和Linux两个环境去自动采集日志数据，轻松应对各类日志采集需求。
01 Python实时采集本地文件数据。
如果日志文件在本地，本地的操作系统是windows，可以这样来读取日志文件。
1. Subprocess
我们会使用Subprocess模块，Subprocess是Python内置的模块，这个模块中的Popen方法可以运行用户输入的命令行。如果运行正常，会把内容写入stdout管道。如果命令不正常，则把信息写入stderr管道。
Popen命令的基本格式是这样的：
shell=True 表示在终端中运行的命令，stdout=subprocess.PIPE 表示当命令运行正常的时候把结果写入stdout管道,stderr=subprocess.PIPE 表示的是当命令运行不正常的时候把结果写入stderr管道。
2.读取日志内容
我们使用以下的程序来实时读取日志内容：
其中的命令是powershell Get-Content –wait。
这是调用了Windows的powershell的Get-Content命令，来实时读取日志内容。
如果我们的操作系统是Linux，可以使用下面的程序来读取日志内容：
3.打印内容
读取到的结果通过以下程序来打印出来：
其中的readline是按照每行来读取内容，然后使用decode()将字节流转换成字符串，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后使用communicate方法，将输出结果保存在内存中，而不是默认的保存到管道，这样存储能力更强，不容易卡死。这个进程将会一直执行直到外部程序来将它结束。
02 Python实时远程采集文件数据。
如果我们想远程采集linux服务器上面的日志信息，可以这样来操作。
1.创建ssh连接
Paramiko 是 Python 语言的一个 SSH 客户端。可以远程连接Linux服务器，通过 Python实现进行对远程服务器的操作。
创建SSH连接，我们使用以下程序来实现。
首先进行对paramiko下的SSHClient完成实例化。
然后使用
set_missing_host_key_policy() 方法，连接到没有已知主机秘钥的服务器。最后使用connect()方法，输入远程连接的地址、端口号，用户名，密码等信息。
2.通过ssh获取日志信息
接下来，我们使用以下程序来读取服务器日志。
我们使用exec_command()方法来执行tail –f命令，获取服务器日志信息。
其中ssh_stdin为标准输入流，通常用于向进程发送输入。
ssh_stdout为标准输出流，通常用于输出进程的结果。
ssh_stderr为标准错误流，通常用于输出进程的错误信息。
然后使用readline方法按照每行来读取内容，再使用strip方法，将内容中出现的/r和/n等字符删除。
最后结束ssh连接。
03 实例讲解。
接下来，我们给大家进行实例的讲解。
未完待续。
我是源动君，带领大家一起进步，谢谢观看。
相关推荐
- 拼多多下载安装（拼多多下载安装免费2025版本）
-
一般有人问你有没有拼多多，都是想请你帮忙拼多多平台活动助力。 ...
- 联想电脑安装系统步骤（联想电脑安装系统教程）
-
联想电脑系统重装的方法如下1、制作好U盘启动盘，然后把下载的联想win7系统iso文件直接复制到U盘的GHO目录下：2、在联想电脑上插入U盘，重启后不停按F12或Fn+F12快捷键打开启动菜单，选择U...
- ppt自动生成网站（ppt 自动生成）
-
可以使用以下方法一键生成PPT：1.使用PPT模板：选用一个PPT模板，将图片插入到模板中相应的位置即可。2.使用图像转换器：将多张图片转换成PPT格式，然后将它们放在PPT中的相应位置。3.使用第...
- 最好用的搜索引擎磁力吧（2020年推荐一波好用的磁力搜索引擎）
-
搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎的分类有：全文搜索引擎、目录索引类...
- 电脑装不了系统是什么原因（为什么我电脑装不了系统）
-
电脑不能安装新系统的原因可能有多种。可能是由于硬件不兼容，例如新系统需要更高的处理器或内存要求，而电脑的配置不足。另外，可能是由于硬盘空间不足或损坏，导致无法安装新系统。还有可能是由于操作系统安装文件...
- win7忘记开机密码u盘启动（windows7忘记开机密码用u盘）
-
win7电脑忘记开机密码，之后可以通过PE的方式来进行启动。首先需要找一块U盘，然后再网上下载一个PE系统。把这块U盘做成PE系统启动盘，然后把电脑设置成U盘启动，这样就直接可以进入到系统，进去之后就...
- 开不了机的手机怎么处理（开不了机的手机怎么处理掉）
-
方法/步骤手机突然开不了机，先长按开机键，因为有的时候，现在的知道手机，突然关机了，系统一下子在死机状态，等你长了后，手机就会有一下振动的声音，你再放开手，再重新按开机键，就能开机了。如果长按还是开不...
- cdlinux手机版（cdlinux最新版0.9.8）
-
Kali更好。1.首先，Kali是专门为渗透测试和网络安全而设计的操作系统，它拥有广泛的渗透测试工具和资源，使得用户在这个领域有更多的选择和更强大的功能。2.其次，Kali具有更长的发展历史和更大...
- 电脑cpu处理器排名天梯图（电脑cpu处理器天梯榜）
-
1.荣耀王者段位：A15处理器（5核GPU版）、A15处理器（4核GPU版）不论是从跑分上还是具体体验上，苹果最新的A15处理器都是佼佼者，CPU和GPU大幅领先于安卓现役旗舰SOC2.王者段位：骁龙...
- 电脑怎么重装系统不删除文件
-
一般应用程序的目录你删了只影响程序本身，比如你把某雷的download目录删掉，那只是曾经下载在这个目录下的文件被删了，对电脑应用毫无影响，如果你删除程序的安装目录，那程序就跪了…如果你删除操作系统的...
- 电脑用久了反应慢怎么处理（电脑用久了反应迟钝）
-
方法一：检查电脑配置首先，我们要检查一下自己的电脑配置是否符合安装Windows10系统的要求。如果你的电脑配置本身比较低，比如CPU、内存、硬盘等都不够强劲，那么安装Windows10系统可能会导致...
- 怎么加入已有的局域网（怎么加入已有的局域网连接）
-
你要先知道你公司局域网自己建立的名字，可以从其他的机子上看，比如mshome，workgroup,或者别的什么的。然后，你们有集线器或者路由器吧，插好网线，一边接集线器，一边接电脑网卡。把网卡驱动。...
- 如何在微软官网下载win10系统
-
从微软官网下载win10具体有以下7步：1、输入微软的官网，进入。2、登录自己的账号。3、一直往下拉，可以看到“获取win10”。4、选择要下载的版本。5、选择下载到你自己制定的文件夹，点击...
- 路由器地址怎么改（路由器地址怎么改成别的城市）
-
1、将本机电脑IP地址设置为自动获取。2、打开IE浏览器，在地址栏中输入192.168.1.1或192.168.0.1，在弹出的用户名和密码框中输入默认值，即admin/admin，如果修改过路由器使...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)