Python开发必备:如何建立一个完美的项目工程环境
off999 2024-10-08 06:07 20 浏览 0 评论
在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python为例,教大家如何快速打造完美的Python项目开发环境:内容涵盖了模块依赖管理、代码风格管理、调试测试管理和Git版本管理,使用git hook做项目规范检查等。
pipx
Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在 Linux、Mac OS 和 Windows 上运行。Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本:
python3 -m pip install --user pipx python3 -m pipx ensurepath
升级Pipx使用:
python3 -m pip install -U pipx
包依赖管理pipenv
Pipenv会自动为你的项目创建和管理虚拟环境,以pipfile文件方式方式管理项目的依赖包,支持包的安装和卸载。和requirements.txt不同,pipfile是TOML格式,支持开发环境与正式环境,还可以使用Pipfile.lock锁定环境版本。pipxenv的安装可以使用pipx:
pipx install pipenv
有些发行版也是可以直接通过其包管理器安装的:
比如MacOS可以下可以使用:
brew install pipenv
一个pipfile的示例如下:
Pipfile.lock的示例部分如下:
代码风格
代码格式化black
代码格式的统一不光可以给我们一个惬意的代码格式,而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。
Black就是用来格式化Python代码的程序。它可以自动帮我们对代码格式进行调整和统一,提高代码效率和可读性。而且通过Black减小代码风格的差异,可以极大提高团队进行代码审查的效率。
一个Black格式化示例如下:
原始代码:
def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False): """Applies `variables` to the `template` and writes to `file`.""" with open(file, 'w') as f: ...
格式化后的代码:
def very_important_function( template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False, ): """Applies `variables` to the `template` and writes to `file`.""" with open(file, "w") as f: ...
isort美化import部分代码
Python开发中经常需要import第三方的模块,往往这部分代码混乱不堪,使用isort可以则可以美化这部分的代码。 isort可以按字母表顺序对import进行排序,自动分成多个部分。
我们可以使用pipenv安装black 和isort:
pipenv install black isort -dev
isort的效果示例,可以看下面的动图:
Black和isort同时使用时,两者默认配置不兼容,我们需要覆盖isort配置,优先以Black的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。
[isort] multi_line_output=3 include_trailing_comma=True force_grid_wrap=0 use_parentheses=True line_length=88
flake8代码风格检测
Flake8可以用来确保代码遵循PEP8中定义的标准Python编程约定,是Python官方辅助代码风格检测工具,lake8检查规则灵活,支持集成额外插件(比如vim、sublime、PyCharm、vsc等都有其相关插件),扩展性强。
其安装也可以使用pipenv:
pipenv install flake8 –dev
flake8的使用示例如下:
flake8 example.py的检查结果:
flake8默认会忽略一些约定(E,F),如果我们检查所有约定:
flake8 --select E,F example.py,结果:
和isort一样,为了配合兼容Black,需要在setup.cfg中额外配置:
[flake8] ignore = E203, E266, E501, W503 max-line-length = 88 max-complexity = 18 select = B,C,E,F,W,T4
mypy静态类型
Mypy是Python的可选静态类型检查器,可以用结合动态(或"鸭子")类型和静态类型优点其他代码的性能。通过Mypy将Python的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合,并且生成原生代码,支持通过Python VM运行,可以没有运行时开销的高性能运行。在Python中使用静态类型好处有:
可以使程序更易于理解和维护;
可以帮助编译时调试和发现错误,减少测试和调试。
可以在代码部署到生产环境之前就可以找到难以捕捉的错误。
可以使用pipenv直接安装Mypy:
pipenv install mypy –dev
mypy动态类型和静态类型一个示例如下:
项目配置
默认情况下,Mypy会递归检查所有类型注释的导入,这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行,并忽略没有类型注释的import模块。这也可以在setup.cfg中设置:
[mypy] files=项目,test ignore_missing_imports=true
代码测试
程序开发中,除了写代码外,另外一个重要的部分是单元测试。Python测试方面我们要介绍的工具有pytest。
可以使用pipenv添加测试工具包及扩展:
pipenv install pytest pytest-cov --dev
Pytest框架可以让编写小测试变得容易,而且支持以扩展的方式提供更加复杂的功能。下面是pytest网站的一个简单示例:
# content of test_sample.py def inc(x): return x + 1 def test_answer(): assert inc(3) == 5
通过以下命令测试
pipenv run pytest
结果如下:
pytest-cov是pytest的单元测试行覆盖率的插件。pytets-cov的测试结果示例如下:
pytest还有很多的扩展插件:
pytest-cov: 单元测试覆盖率报告
pytest-django: 对Django框架的单元测框架
pytest-asyncio:对asyncio的支持
pytest-twisted: 对twisted框架的单元测框架
pytest-instafail: 发送错误时报告错误信息
pytest-bdd 测试驱动开发工具
pytest-konira 测试驱动开发工具
pytest-timeout: 支持超时功能
pytest-pep8: 支持PEP8检查
pytest-flakes: 结合pyflakes进行代码检查
更多插件可以查看github pytest-dev组织下的项目。
项目配置
项目中,所有的测试都应该放在test目录中,我需要给setup.cfg添加配置:
[tool:pytest] testpaths=test
单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息,配置示例如下:
[run] source = 项目 [report] exclude_lines = pragma: no cover def __repr__ if self\.debug raise AssertionError raise NotImplementedError if 0: if __name__ == .__main__.:
然后再工程中运行一下命令,测试项目的覆盖率
pipenv run pytest --cov --cov-fail-under =100
如果程序代码的测试覆盖率低于100%,就会报错。
Git pre-commit hook规范检查
Git hook可以让我们在提交或推送时执行检查脚本,脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子,下面.pre-commit-config.yaml配置示例可以帮我们自动做代码规范化,包括isort检查、black检查、flake8检查、mypy静态类型检查、pytest测试、pytest-cov测试覆盖率检查:
repos: - repo: local hooks: - id: isort name: isort stages: [commit] language: system entry: pipenv run isort types: [python] - id: black name: black stages: [commit] language: system entry: pipenv run black types: [python] - id: flake8 name: flake8 stages: [commit] language: system entry: pipenv run flake8 types: [python] exclude: setup.py - id: mypy name: mypy stages: [commit] language: system entry: pipenv run mypy types: [python] pass_filenames: false - id: pytest name: pytest stages: [commit] language: system entry: pipenv run pytest types: [python] - id: pytest-cov name: pytest stages: [push] language: system entry: pipenv run pytest --cov --cov-fail-under=100 types: [python]
如果你需要跳过这些钩子,你可以运行git commit --no-verify或git push --no-verify
cookiecutter自动创建项目
上面我们提到Python项目应该具备的工具集和配置,可以将其作为模版。cookiecutter的模版定义范例如下:
cookiecutter.json { "full_name": "Chongchong", "email": "chongchong@ijz.me", "project_name": "Python-Practice", "repo_name": ""Python-Practice ", "project_short_description": "The Simple Python Development Practice Example.", "release_date": "2019-09-02", "year": "2019", "version": "0.0.1" }
然后使用cookiecutter自动生成整改工程:
pipx run cookiecutter Python-Practice cd Python-Practice git init
安装依赖项
pipenv install --dev
运行 pre-commit和pre-push hook:
pipenv run pre-commit install -t pre-commit pipenv run pre-commit install -t pre-push
总结
本文我们介绍了在Python项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成Python项目,代码风格检查、代码测试等操作,可以帮助我们打造一个高效完美的Python开发环境。
相关推荐
- python基础模块三剑客:sys、os、shutil(增加示例代码)
-
注:上个篇由于不熟悉头条号编辑器,导致示例代码丢失。现在全部以图片的形式加回。有同学问了个问题:在python里如何复制、删除、重命名文件?有个同学知道os.system(),就回答说:os.syst...
- Python常用文件操作库使用详解(python 对文件操作)
-
Python生态系统提供了丰富的文件操作库,可以处理各种复杂的文件操作需求。本教程将介绍Python中最常用的文件操作库及其实际应用。一、标准库核心模块1.1os模块-操作系统接口主要功能:文件...
- 你知道Python 如何进行高效的代码重构吗?
-
点赞、收藏、加关注,下次找我不迷路写出高质量的代码是每个程序员的追求。而代码重构作为提升代码质量的重要手段,却常常被新手忽视。很多新手在编写代码时,只关注功能是否实现,却不注重代码的结构和可维护性,...
- Python常用内置模块介绍——文件与系统操作详解
-
Python提供了多个强大的内置模块用于文件和系统操作,下面我将详细介绍最常用的几个模块及其核心功能。1.os模块-操作系统交互os模块提供了与操作系统交互的接口,包括文件/目录操作、进程管理、环...
- Python的tarfile模块解压缩.tar/.tar.gz等文件
-
python中的标准库tarfile模块可以帮助我们快速压缩或者解压后缀为.tar/.tar.gz/.tar.bz2/.tar.xz的文件。01、tarfile核心类与函数介绍使用方法因为tarfil...
- 批量重命名工具,Bulk Rename Utility软件体验
-
平常在电脑上处理电子文件,经常在得到文件本身时,没有空闲和精力去为文件重命名,像是一张图片,要作为下一个步骤的素材。而处理完事过后就不理它了,顺手直接丢回收站或者放在硬盘里。但是想把文件存档和提交给上...
- 照片怎样重命名?方法有四种(照片怎么可以重命名)
-
照片怎样重命名?照片在我们日常生活中扮演着越来越重要的角色,但是有时候,我们需要对照片进行重命名,以便更好地组织和查找它们,这样也可以大大提高我们的效率。在这篇文章中,我们将介绍四种简单的方法,让你轻...
- 你需要批量创建文件夹并命名吗,给你推荐几个方法
-
小李是一家设计公司的项目经理,最近接了一个大项目,需要整理大量的设计稿。每个设计稿都需要单独创建一个文件夹,以方便团队成员协作。手动创建文件夹效率太低,而且容易出错。小李在网上搜索了各种方法,尝试了P...
- 怎样批量重命名一个工作簿中的所有工作表
-
上篇文章,Python数据的选取和处理,阅读量93,收藏15,没有评论。目前正在复习Python+Excel实现办公自动化,有兴趣的可以一起讨论,共同提高。花了近4个小时终于把6个分部的统计工作表做好...
- Windows如何批量修改文件后缀名(电脑如何批量修改文件后缀名)
-
在Windows系统中药批量修改文件后缀名的方式非常多,每个方法的优缺点各有不同,下面通过几个常见的方式给大家介绍下,Windows如何批量修改文件后缀名的。给有需要的朋友几个参考。方法一:使用文件资...
- Python3+ 变量命名全攻略:PEP8 规范 + 官方禁忌 + 实战技巧,全搞懂!
-
Python3+变量命名规则与约定详解一、官方命名规则(必须遵守)1.合法字符集变量名只能包含:大小写字母(a-z,A-Z)数字(0-9)下划线(_)2.禁止数字开头合法:user_age,...
- python代码实现读取文件并生成韦恩图
-
00、背景今天战略解码,有同学用韦恩图展示各个产品线的占比,效果不错。韦恩图(Venndiagram),是在集合论数学分支中,在不太严格的意义下用以表示集合的一种图解。它们用于展示在不同的事物群组之...
- python学习第二天:用Pycharm新建的第一个程序
-
分享第一次使用Pycharm学到的内容第一次打开得到上面图片projects:项目customize:自定义plugins:插件learn:学习newproject新建项目聪明如我在插件那里找到了汉...
- 如何编写第一个Python程序(python第一个代码)
-
一、第一个python程序[掌握]python:python解释器,将python代码解释成计算机认识的语言pycharm:IDE(集成开发环境),写代码的一个软件,集成了写代码,...
- Python文件读写操作详解:从基础到实战
-
Python文件的读写操作在Python中,文件操作非常常见,可以通过内建的open()函数进行文件的读取、写入、创建等操作。理解文件操作的模式和with语句对于确保代码的简洁性和效率至...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python重命名文件 (54)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)