百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

shutil库:Python高级文件操作(python中shutil模块的用法)

off999 2024-10-15 12:10 37 浏览 0 评论

前言

什么算是高层的文件操作呢?

普通的文件操作,我们一般只涉及创建文件,文件夹以及写入文件等等。假如我现在需要复制一个文件的内容到另一个文件之中,用pathlib等都只能先打开复制文件,然后进行将其读出来保存,然后再写入新的文件,这种普通的复制操作,无形之中增加了许多步骤。

而shutil库可以直接完成复制符间的操作,同时还支持归档。本篇,将详细介绍文件的高层次操作。

copyfile()

copyfile()函数用于将一个文件的内容复制到另一个文件之中,准确的来说,它不是copy内容,而是直接copy文件,并重命名。

示例如下:

import shutil

shutil.copyfile('week.csv', 'week_copy.csv')

很简单,就一行代码,第1个参数是需要copy的源文件,第2个参数是需要复制的新文件。运行之后,效果如下:

copy()与copy2()

不过,copyfile()函数用于复制文件有一个缺陷,该函数的原理是通过打开源文件进行读取。所以,如果是某些特殊的文件,比如是UNIX设备节点,没有权限会报IOERROR错误。

还需要注意的是,通过copyfile()函数复制的文件是一个新文件,它不包括旧文件的访问时间与修改时间。

而copy2()函数可以复制文件后保留访问时间,修改时间。示例如下:

import shutil
import os
import time

shutil.copy2('week.csv', 'week_copy.csv')
stat_info1 = os.stat('week.csv')
stat_info2 = os.stat('week_copy.csv')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后,效果如下:

而copy()与copyfile()一样都是复制文件的函数,不过copy()你给它一个文件夹名或者文件都可以复制,如果给文件夹名称,它会复制到文件夹下的目录中,当然复制的文件同名。而copyfile()如果给的是一个文件夹名称会报错。

示例如下:

import shutil
import os

os.mkdir('data')
shutil.copy('week.csv', 'data')

运行之后,效果如下:

copymode()与copystat()

通过copy2()函数,我们知道了如何复制文件内容和文件信息等操作。但是其复制并不包含文件的权限,比如我们的Win10系统C盘中,有些文件只能读不能写,那么如果将权限也复制过去呢?

答案是:copymode()函数,示例如下:

import shutil
import os, stat

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IREAD)
shutil.copymode('temp_copymode.txt', 'temp.txt')
print(oct(os.stat('temp.txt').st_mode))
print(oct(os.stat('temp_copymode.txt').st_mode))

需要注意的是,copymode()复制的只是文件权限,不是文件,也就是被赋予权限的文件名必须存在后才能将某个文件的权限复制给它。比如这里temp_copymode.txt获取temp.txt权限,那么temp_copymode.txt必须存在后才能操作。而且这只是复制权限,并没有复制内容。(stat.S_IXGRP组用户组执行权限)

至于copystat()函数,不仅复制权限,而且也复制了文件的信息。具体代码如下:

import shutil
import os, stat
import time

with open("temp.txt", 'wt') as file:
    file.write("11111111111111111")
os.chmod("temp.txt", stat.S_IXGRP)
shutil.copystat('temp_copymode.txt', 'temp.txt')
stat_info1 = os.stat('temp.txt')
stat_info2 = os.stat('temp_copymode.txt')
print("源文件信息")
print(oct(stat_info1.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info1.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info1.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info1.st_mtime)))
print("复制文件信息")
print(oct(stat_info2.st_mode))
print('文件创建时间:{}'.format(time.ctime(stat_info2.st_ctime)))
print('文件访问时间:{}'.format(time.ctime(stat_info2.st_atime)))
print('文件修改时间:{}'.format(time.ctime(stat_info2.st_mtime)))

运行之后,效果如下:

复制整个文件夹

上面的所有复制都是针对单个文件的操作,但其实我们还会在实际的项目中,将整个文件夹复制到另一个位置。而且复制整个文件夹肯定会用到递归,不过shutil库有一个更简单的函数用于实现该操作:copytree()。

示例如下:

import shutil

shutil.copytree('./text', './text_copy')

这里一行代码就可以完成整个文件夹的实现。需要注意的是,第2个参数为需要复制到的目录,但该文件夹不能存在,copytree()函数会自动创建的,如果存在会报错。

参数copy_function

有时候,我们复制文件夹并不是需要将整个文件夹都复制过来,而是只需要指定的符合规则的文件,比如我们只需要某个文件夹下的所有后缀为py的文件,那么怎么筛选呢?

示例如下:

import shutil

def verbose_copy(src, dst):
    if src.endswith(".py"):
        return shutil.copy2(src, dst)

shutil.copytree('./text', './text_copy', copy_function=verbose_copy)

这里,我们通过copytree()函数的参数copy_function进行参数,该参数提供一个函数用于筛选符合规则的文件进行复制,比如这里,我们提供了一个函数,并判断后缀是否是.py然后再创建,当然,它会保存目录结构,但只复制.py后缀的文件。

参数ignore

copytree()不仅只有copy_function参数,还有一个ignore参数,它可以过滤掉某些文件,比如还是如上面一样,但是我们不需要.py后缀的文件,其他文件都复制,那么可以这样实现。

import shutil

shutil.copytree('./text', './text_copy', ignore=shutil.ignore_patterns('*.py'))

这样,就不会复制*.py规则的文件。

删除整个文件夹

既然有复制整个文件夹,那么肯定shutil库也会提供反向的操作用于删除整个文件夹。删除整个文件夹的函数为:rmtree()。

import shutil

shutil.rmtree('./text_copy')

这样,我们就删除了上面复制的文件夹内容。

移动文件夹或文件

除了复制文件与文件夹之外,我们在实际的项目中,还会移动整个某个文件或某个目录到另一个位置,shutil库提供了move()函数用于移动文件或文件夹。

示例如下:

import shutil

shutil.move('week.csv', './text')

这里,我们将csv文件移动到了刚才用于复制的text源文件目录。(移动文件夹一样操作,只是将文件名改为文件夹名)

查找文件

在更多的文件操作中,我们往往还需要查找某个文件。而shutil库提供了which()函数用于搜索查找目标文件。它有3个参数:mode可以设置查找文件的权限,path为需要查找的路径,cmd为要查找的文件。

示例如下:

import shutil

filename = shutil.which('python')
print(filename)

运行之后,效果如下:

归档

shutil库提供了更多高层函数来创建和解压归档文件。我们先来看看shutil库支持哪些格式,示例如下:

import shutil

for format,desc in shutil.get_archive_formats():
    print('{:<5}:{}'.format(format,desc))

运行之后,效果如下:

简单的理解就是支持的压缩格式。

压缩文件

我们先来看一个简单的例子,将某个文件夹进行压缩,代码如下:

import shutil

shutil.make_archive('text','gztar',root_dir='..',base_dir='base_demo')

这里我们将text文件夹,压缩格式为gztar。运行之后,效果如下:

其中,root_dir指定要压缩的路径根目录(默认当前目录),只能指定路径,优先级低于base_dir。base_dir指定要压缩文件的路径,可以指定路径下的文件名,也可以指定路径。

解压缩

既然有压缩,肯定也就有解压缩。shutil库提供了unpack_archive()进行解压缩文件。示例如下:

import shutil

shutil.unpack_archive('text.tar.gz',extract_dir='text_un')

unpack_archive()函数的第1个参数为需要解压的文件,第2个参数为需要解压到哪里。

文件系统空间

完成一个长时间运行的可能耗尽可用空间的操作之前,最好先检查本地文件系统,来看看有多少可用的空间。shutil库提供了disk_usage()函数来返回包括总空间,当前正在使用的空间以及未使用的空间。

示例如下:

import shutil

(total, used, free) = shutil.disk_usage("E:/")
BytesPerGB = 1024 * 1024 * 1024
print ("Total: %.2fGB" % (float(total)/BytesPerGB))
print ("Used: %.2fGB" % (float(used)/BytesPerGB))
print ("Free: %.2fGB" % (float(free)/BytesPerGB))

运行之后,效果如下:

这里博主是获取电脑E盘的信息,比如这里获取到E盘总大小total为238G,已使用Used为43G,未使用Free:194G。一个健壮的程序必然很严谨,所以在操作文件时,特别是比较大的文件时,一定要判断磁盘的大小之后再操作。

相关推荐

阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?

TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...

高流量大并发Linux TCP性能调优_linux 高并发网络编程

其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...

性能测试100集(12)性能指标资源使用率

在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...

Linux 服务器常见的性能调优_linux高性能服务端编程

一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...

Nginx性能优化实战:手把手教你提升10倍性能!

关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...

高并发场景下,Spring Cloud Gateway如何抗住百万QPS?

关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...

Kubernetes 高并发处理实战(可落地案例 + 源码)

目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...

高并发场景下,Nginx如何扛住千万级请求?

Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...

Spring Boot+Vue全栈开发实战,中文版高清PDF资源

SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...

Docker-基础操作_docker基础实战教程二

一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...

你有空吗?跟我一起搭个服务器好不好?

来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...

部署你自己的 SaaS_saas如何部署

部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...

Docker Compose_dockercompose安装

DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...

京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统

前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...

Kubernetes (k8s) 入门学习指南_k8s kubeproxy

Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...

取消回复欢迎 发表评论: