用 Python 为接口测试自动生成用例
off999 2024-12-09 16:18 19 浏览 0 评论
基于属性的测试会产生大量的、随机的参数,特别适合为单元测试和接口测试生成测试用例
尽管早在2006年haskell语言就有了QuickCheck来进行”基于属性的测试“,但是目前来看这依然是一个比较小众的领域,参考资料有限,本文如有不足,欢迎指正。
1. 基于表的测试
在过去的测试实践中,执行测试时通常需要明确的内容(Value):
- 条件
- 输入
- 结果
这些内容可以通过”判定树“或者”判断表“来表示,然后测试的执行过程变成了这样
“给定输入 X,我们期望 Y”
可以称为 基于表的测试
在最初,这给了我们测试的方向,但是缺点也非常明显:
你要足够多的"X->Y" 才能可能覆盖到隐蔽的bug。
这里请大家回答几个问题:
你是否已经为每一个测试编写了足够多的用例,以至于你十分确定真的不需要再增加用例了这么多的用例,你编写的是否开心?是否高效?是否愿意继续坚持?
如果以上问题的答案不是yes,那么基于属性的测试就是你需要掌握的东西!
2. 基于属性的测试
基于属性的测试和基于表的测试,最大的区别可以这样描述:
“给定输入 X值,我们期望 Y值”
vs
“给定输入 X类,我们期望 Y类”
于是利用工具生成大量的X类数据,进行测试,并验证结果是否Y类。
值得注意的是:
- 关注输入的类型,而不是输入的值
- 根据类型自动生成大量的、随机的输入值
换言之,它在自动的生成测试用例,虽然输入值是随机的,但是值得类型符合规范要求
3. 如何进行基于属性的测试
在不同的语言中有不同的工具来实现,比如:
- haskell中的QuickCheck、
- java中的quicktheories
- python中的hypothesis
本文以python为例进行演示:
假设有add函数,接收两个类型整数参数,并返回它们的相加结果
def add(a: int, b: int) -> int:
pass
首先写出一个简单的测试用例
def test_add():
assert 3 == add(1, 2)
正如前面所说,一个这样的用例,根本没信心覆盖全部的场景,例如:
- 参数是0
- 参数是负数
- 参数值特别大
- 其他...
所以接下来怎么办?
改为基于属性的测试
import hypothesis.strategies as st
from hypothesis import given
@given(st.integers(), st.integers())
def test_add(a, b):
c = add(a, b)
print(f"{a=},{b=}, {c=}")
assert isinstance(c, int)
assert c == a + b
执行结果
a=0,b=0, c=0
a=0,b=0, c=0
a=0,b=0, c=0
a=16926,b=11053, c=27979
a=0,b=0, c=0
a=0,b=0, c=0
a=21010,b=-2732672789497425072, c=-2732672789497404062
a=0,b=0, c=0
a=14554,b=-15956, c=-1402
a=15597,b=0, c=15597
a=15597,b=13, c=15610
a=15597,b=0, c=15597
a=15597,b=15597, c=31194
a=28965,b=-36, c=28929
a=113,b=-36, c=77
a=28929,b=-36, c=28893
a=28929,b=9356, c=38285
a=9356,b=9356, c=18712
a=10278,b=-62, c=10216
a=-62,b=-62, c=-124
a=1625,b=-68244995710046113596363052355575247332, c=-68244995710046113596363052355575245707
a=1625,b=-13143, c=-11518
a=1625,b=1625, c=3250
a=-1940,b=-31868, c=-33808
a=-7,b=1, c=-6
a=-1,b=0, c=-1
a=-1,b=0, c=-1
a=13,b=7245, c=7258
a=13,b=13, c=26
a=-99,b=-18, c=-117
a=-30172,b=66, c=-30106
a=-30172,b=-16940, c=-47112
a=-16940,b=-16940, c=-33880
a=-1233214851,b=-5152, c=-1233220003
a=-5152,b=-5152, c=-10304
a=-16,b=-29706, c=-29722
a=-29706,b=-29706, c=-59412
a=-29706,b=116, c=-29590
a=29696,b=90, c=29786
a=29696,b=29696, c=59392
a=-11446,b=-21185, c=-32631
a=-21185,b=-21185, c=-42370
a=-12,b=16437, c=16425
a=-12,b=16437, c=16425
a=3202,b=53, c=3255
a=3202,b=3202, c=6404
a=-98,b=3, c=-95
a=82691970030325711417874227410289695610,b=1316378701, c=82691970030325711417874227411606074311
a=82691970030325711417874227410289695610,b=82691970030325711417874227410289695610, c=165383940060651422835748454820579391220
a=24100,b=14385, c=38485
a=24100,b=14385, c=38485
a=24100,b=24100, c=48200
a=12293,b=-106, c=12187
a=12293,b=27280, c=39573
a=27280,b=27280, c=54560
a=-18887,b=-5530, c=-24417
a=-18887,b=-18887, c=-37774
a=4738,b=122351151658095310625663643505383743930, c=122351151658095310625663643505383748668
a=-24601163521689169516616964879873921492,b=565838202, c=-24601163521689169516616964879308083290
a=4738,b=122351151658095310625663643281738736058, c=122351151658095310625663643281738740796
a=-96098295006598318424285019062007505,b=25207226, c=-96098295006598318424285019036800279
a=-96098295006598318424285019062007505,b=-1997122225172868107163535967078611096, c=-2093220520179466425587820986140618601
a=-96098295006598318424285019062007505,b=-96098295006598318424285019062007505, c=-192196590013196636848570038124015010
a=-36,b=1190, c=1154
a=-36,b=-4, c=-40
a=-36,b=-36, c=-72
a=2047897602,b=-4641, c=2047892961
a=2047897602,b=2047897602, c=4095795204
a=-1307873608,b=11753, c=-1307861855
a=-1307873608,b=-3308225400997338452, c=-3308225402305212060
a=-1307873608,b=770256249, c=-537617359
a=-1307873608,b=-1307873608, c=-2615747216
a=-4715910568460396013,b=-18622, c=-4715910568460414635
a=16754,b=-6053, c=10701
a=-6053,b=-6053, c=-12106
a=-6053,b=-6053, c=-12106
a=-22264,b=44, c=-22220
a=-22264,b=-22264, c=-44528
a=-86,b=-86, c=-172
a=-86,b=-86, c=-172
a=1794,b=28170, c=29964
a=1794,b=28170, c=29964
a=-93,b=482, c=389
a=-1,b=482, c=481
a=-1,b=-1, c=-2
由结果可知,工具根据参数是整数这一规范,自动生成、执行了大量的测试用例
4. 在接口测试中自动生成用例
接口测试和函数的单元测试非常相似:
- 输入数据
- 返回数据
此外接口文档作为前后端、甚至测试开发的对接窗口,对参数的要求约定的更加细致,
以OpenAPI为例,每个参数可以有以下属性:
- type:数字还是字符串?
- format:密码还是电子邮箱?
- maxLength:长度不超过多少?
- required:是否必填?
- in:参数通过什么传递?
- 其他...
于是为接口生成符合要求的参数就变得可行了,举个例子:
import logging
import unittest
import requests
from api_tools import APITestCase
class UserCase(APITestCase):
schema = "http://127.0.0.1:7600/openapi.json"
if __name__ == "__main__":
unittest.main()
这是以unittest为例进行封装的结果,只需要在TestCase中指定openapi的内容(或路径),
启动测试框架时,会自动读取、解析接口文档,并生成测试用例
下面是部分执行日志,可以看到对接口发送了随机参数,并获得返回值
INFO 2022-04-10 01:02:59,223 : 执行用例 login_login_access_token_post
INFO 2022-04-10 01:02:59,223 : -----调用接口:login_login_access_token_post-----
INFO 2022-04-10 01:02:59,223 : 发送请求>>> :请求数据 = {'userin': {'password': 'bEYtwDZUxdBVThEFOqTz', 'email': 'KEfQnAtTNtwZOXRjoIjp'}}
INFO 2022-04-10 01:02:59,578 : 接收响应 <<<: <Response [400]>
INFO 2022-04-10 01:02:59,578 : -----调用完毕:login_login_access_token_post-----
INFO 2022-04-10 01:02:59,578 : 执行用例 test_token_login_test_token_post
INFO 2022-04-10 01:02:59,578 : -----调用接口:test_token_login_test_token_post-----
INFO 2022-04-10 01:02:59,578 : 发送请求>>> :请求数据 = {}
INFO 2022-04-10 01:03:00,035 : 接收响应 <<<: <Response [200]>
INFO 2022-04-10 01:03:00,035 : -----调用完毕:test_token_login_test_token_post-----
INFO 2022-04-10 01:03:00,035 : 执行用例 sign_up_login_sign_up_post
INFO 2022-04-10 01:03:00,035 : -----调用接口:sign_up_login_sign_up_post-----
INFO 2022-04-10 01:03:00,035 : 发送请求>>> :请求数据 = {'userin': {'password': 'GgzYcOwapTwnkkKVTraE', 'email': 'EJrXlCSNKKjdiVvAOnTM'}}
INFO 2022-04-10 01:03:00,657 : 接收响应 <<<: <Response [200]>
INFO 2022-04-10 01:03:00,657 : -----调用完毕:sign_up_login_sign_up_post-----
INFO 2022-04-10 01:03:00,657 : 执行用例 todo_list_todo_get
INFO 2022-04-10 01:03:00,657 : -----调用接口:todo_list_todo_get-----
INFO 2022-04-10 01:03:00,657 : 发送请求>>> :请求数据 = {}
INFO 2022-04-10 01:03:01,233 : 接收响应 <<<: <Response [200]>
INFO 2022-04-10 01:03:01,233 : -----调用完毕:todo_list_todo_get-----
INFO 2022-04-10 01:03:01,233 : 执行用例 todo_post_todo_post
INFO 2022-04-10 01:03:01,233 : -----调用接口:todo_post_todo_post-----
INFO 2022-04-10 01:03:01,233 : 发送请求>>> :请求数据 = {'todoin': {'title': '', 'is_done': False}}
INFO 2022-04-10 01:03:01,594 : 接收响应 <<<: <Response [200]>
INFO 2022-04-10 01:03:01,594 : -----调用完毕:todo_post_todo_post-----
INFO 2022-04-10 01:03:01,594 : 执行用例 todo_delete_all_todo_delete
INFO 2022-04-10 01:03:01,594 : 执行用例 todo_get_todo__todo_id__get
INFO 2022-04-10 01:03:01,594 : -----调用接口:todo_get_todo__todo_id__get-----
INFO 2022-04-10 01:03:01,594 : 发送请求>>> :请求数据 = {'todo_id': 2451}
INFO 2022-04-10 01:03:02,026 : 接收响应 <<<: <Response [404]>
INFO 2022-04-10 01:03:02,026 : -----调用完毕:todo_get_todo__todo_id__get-----
INFO 2022-04-10 01:03:02,026 : 执行用例 todo_put_todo__todo_id__put
INFO 2022-04-10 01:03:02,026 : -----调用接口:todo_put_todo__todo_id__put-----
INFO 2022-04-10 01:03:02,026 : 发送请求>>> :请求数据 = {'todo_id': 1519, 'todoin': {'title': '', 'is_done': False}}
INFO 2022-04-10 01:03:02,423 : 接收响应 <<<: <Response [404]>
INFO 2022-04-10 01:03:02,423 : -----调用完毕:todo_put_todo__todo_id__put-----
INFO 2022-04-10 01:03:02,423 : 执行用例
文章来自https://www.cnblogs.com/dongfangtianyu/p/api_test_by_pbt.html
相关推荐
- 推荐一款Python的GUI可视化工具(python 可视化工具)
-
在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...
- 教你用Python绘制谷歌浏览器的3种图标
-
前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....
- 小白学Python笔记:第二章 Python安装
-
Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...
- Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字
-
Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...
- 一文吃透Python虚拟环境(python虚拟环境安装和配置)
-
摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...
- 小白也可以玩的Python爬虫库,收藏一下
-
最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...
- python环境安装+配置教程(python安装后怎么配置环境变量)
-
安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...
- colorama,一个超好用的 Python 库!
-
大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...
- python制作仪表盘图(python绘制仪表盘)
-
今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...
- 总结90条写Python程序的建议(python写作)
-
1.首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 (1)避免不规范代码,比如只用大小写区分变量、使用容易...
- [oeasy]python0137_相加运算_python之禅_import_this_显式转化
-
变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...
- Python入门学习记录之一:变量(python中变量的规则)
-
写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...
- 掌握Python的"魔法":特殊方法与属性完全指南
-
在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...
- 11个Python技巧 不Pythonic 实用大于纯粹
-
虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...
- Python 从入门到精通 第三课 诗意的Python之禅
-
导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)