实战 | 如何用 Python 自动化监控文件夹完成服务部署
off999 2024-10-14 12:16 26 浏览 0 评论
作者:星安果
来源:AirPython
最近在部署前端项目的时候,需要先将前端项目压缩包通过堡垒机上传到应用服务器的 /tmp 目录下,然后进入应用服务器中,使用 mv 命令将压缩文件移动到 Nginx 项目设定目录,最后使用 unzip 命令解压文件,以此完成项目的部署
仔细分析,大部分操作都是重复性的动作,人工去完成这些操作会大大降低工作效率
本篇文章将介绍如何利用 Python 监控文件夹,以此辅助完成服务的部署动作
1. 准备
这里要介绍一个 Python 依赖库「 watchdog 」
它可用于监控某个文件目录下的文件变化,包含:删除、修改、新增等操,每一个操作都会回调一个事件函数,我们可以在内部编写自定义的逻辑,以此满足我们的需求
# 安装依赖包
pip3 install watchdog
项目地址:
https://pypi.org/project/watchdog/
2. 实战一下
首先,我们需要创建一个监听器,用于监听文件夹目录
from watchdog.observers import Observer
...
# 创建一个监听器,用来监听文件夹目录
observer = Observer()
...
然后,创建 2 个事件处理对象
PS:该对象继承于「 FileSystemEventHandler 」类
它们分别用于监听「 /tmp 」目录、「 /home/project/frontend 」目录,假设事件对象被命名为 obj1、obj2
obj1 负责监听 /tmp 目录,重写「 新建或修改 」事件方法,完成压缩文件的移动操作
from watchdog.events import *
import ntpath
import shutil
import zipfile
def get_filename(filepath):
"""
根据文件夹目录,获取文件名称(待后缀)
:param filepath:
:return:
"""
return ntpath.basename(filepath)
class FileMoveHandler(FileSystemEventHandler):
def __init__(self):
FileSystemEventHandler.__init__(self)
...
# 文件新建
def on_created(self, event):
# 新建文件夹
if event.is_directory:
# print("directory created:{0}".format(event.src_path))
pass
# 新建文件
else:
# print("file created:{0}".format(event.src_path))
filename = get_filename(event.src_path)
# 如果属于前端的4个项目压缩包,开始文件夹的操作
if filename in watch_tags:
self.start(filename)
...
def on_modified(self, event):
if event.is_directory:
# print("directory modified:{0}".format(event.src_path))
pass
else:
# print("file modified:{0}".format(event.src_path))
filename = get_filename(event.src_path)
if filename in watch_tags:
self.start(filename)
...
def start(self, filename):
"""
文件处理逻辑
:param filename:
:return:
"""
try:
# 文件名不带后缀
filename_without_suffix = filename.split(".")[0]
# 源文件路径(压缩包文件)
source_file_path = watch_folder + filename
# 目标文件路径(压缩包文件)
target_file_path = target_folder + filename
# 目标项目文件夹(目标项目)
target_project_path = target_folder + filename_without_suffix
# 1、复制文件到目标文件夹
print(f"拷贝源目录{source_file_path},目标文件夹:{target_folder}")
# 删除目标文件夹下的压缩文件
if os.path.exists(target_file_path):
os.remove(target_file_path)
# 移动文件到目标文件夹中
shutil.move(source_file_path, target_folder)
# 2、清空目标文件夹中内的所有文件夹(如果存在)
# 如果不存在,新建一个文件夹
if os.path.exists(target_project_path):
shutil.rmtree(target_project_path, ignore_errors=True)
print(f"项目{filename_without_suffix}移动成功!")
except Exception as e:
print("部署失败,错误原因:", str(e.args))
obj2 负责监听 /home/project/frontend 目录,同样重写「 新建或修改 」事件方法,完成压缩文件的解压动作
...
def start(self, filename):
# 文件名不带后缀
filename_without_suffix = filename.split(".")[0]
# 目标文件路径(压缩包文件)
target_file_path = target_folder + filename
# 目标项目文件夹(目标项目)
target_project_path = target_folder + filename_without_suffix
r = zipfile.is_zipfile(target_file_path)
if r:
fz = zipfile.ZipFile(target_file_path, 'r')
for file in fz.namelist():
fz.extract(file, target_folder)
else:
print('这不是一个正常的zip压缩包!')
...
接着,通过监听器启动上面两个事件的监听任务
import time
...
if __name__ == "__main__":
# 待监听的文件夹目录
watch_folder = "/tmp/"
# 项目目标文件夹目录
target_folder = "/home/project/frontend/"
# 监听文件夹名称,即:项目压缩包名称
watch_tags = ['proj1.zip', 'proj2.zip', 'proj3.zip', 'proj4.zip']
# 创建一个监听器,用来监听文件夹目录
observer = Observer()
# 创建两个事件处理对象
move_handler = FileMoveHandler()
unzip_handler = FileUnzipHandler()
# 启动监控任务
# 参数分别是:观察者、监听目录、是否监听子目录
observer.schedule(move_handler, watch_folder, True)
observer.schedule(unzip_handler, target_folder, True)
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
...
最后,我们在服务器上通过「 nohup 」命令,让文件监听程序在后台运行即可
# 在后台运行
# 项目文件:watch_folder.py
# 日志文件:watch_folder.log
nohup python3 -u watch_folder.py > watch_folder.log 2>&1 &
# 查看日志:
cat watch_folder.log
3. 总结
通过上面的操作,每次我通过堡垒机将前端 zip 压缩项目文件上传到应用服务器的 /tmp 目录下,程序会自动进行后面的操作,自动完成应用部署
相关推荐
- python入门到脱坑经典案例—清空列表
-
在Python中,清空列表是一个基础但重要的操作。clear()方法是最直接的方式,但还有其他方法也可以实现相同效果。以下是详细说明:1.使用clear()方法(Python3.3+推荐)...
- python中元组,列表,字典,集合删除项目方式的归纳
-
九三,君子终日乾乾,夕惕若,厉无咎。在使用python过程中会经常遇到这四种集合数据类型,今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表(List)是一种有序和可更改的集合。允许重复...
- Linux 下海量文件删除方法效率对比,最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- 数据结构与算法——链式存储(链表)的插入及删除,
-
持续分享嵌入式技术,操作系统,算法,c语言/python等,欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法,本篇我们主要将一下链表的插入删除操作,以及采用堆栈方式如何创建链表。链...
- Python自动化:openpyxl写入数据,插入删除行列等基础操作
-
importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...
- 在Linux下软件的安装与卸载(linux里的程序的安装与卸载命令)
-
通过apt安装/协助软件apt是AdvancedPackagingTool,是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式:安装软件:sudoapt...
- Python 批量卸载关联包 pip-autoremove
-
pip工具在安装扩展包的时候会自动安装依赖的关联包,但是卸载时只删除单个包,无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装:pipinsta...
- 用Python在Word文档中插入和删除文本框
-
在当今自动化办公需求日益增长的背景下,通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器,既能承载多模态信息(如文字、图像),又可实现独...
- Python 从列表中删除值的多种实用方法详解
-
#Python从列表中删除值的多种实用方法详解在Python编程中,列表(List)是一种常用的数据结构,具有动态可变的特性。当我们需要从列表中删除元素时,根据不同的场景(如按值删除、按索引删除、...
- Python 中的前缀删除操作全指南(python删除前导0)
-
1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除:#1.使用removeprefix()方法(Python3.9+)text="...
- 每天学点Python知识:如何删除空白
-
在Python中,删除空白可以分为几种不同的情况,常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白(空格、\t、\n等)使用.strip()方法:s...
- Linux系统自带Python2&yum的卸载及重装
-
写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时,需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时,少写了个3,不小心将系统自带的python2也...
- 如何使用Python将多个excel文件数据快速汇总?
-
在数据分析和处理的过程中,Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例,展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据,并最终生成一个包含...
- 【第三弹】用Python实现Excel的vlookup功能
-
今天继续用pandas实现Excel的vlookup功能,假设我们的2个表长成这样:我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说,先上代码:importpandasaspd...
- python中pandas读取excel单列及连续多列数据
-
案例:想获取test.xls中C列、H列以后(当H列后列数未知时)的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)