RPython GC 对象分配速度大揭秘(废土种田,分配的对象超给力)
off999 2025-06-23 21:20 82 浏览 0 评论
最近,对 RPython GC 的对象分配速度产生了浓厚的兴趣。于是编写了一个小型的 RPython 基准测试程序,试图探究它对象分配的大致速度。
初步测试与问题发现
最初的设想是通过一个紧密循环来分配实例:
class A(object):
pass
def run(loops):
# 初步想法,见下文
for i in range(loops):
a = A()
a.i = i
RPython 类型推断会识别出 A 类实例包含一个整数类型的 i 字段,加上每个 RPython 对象都需要一个用于 GC 元信息的字段,所以在 64 位架构下,A 类实例需要 16 字节内存空间。
然而,这样的测量方式存在缺陷,因为 RPython 静态优化器会移除这个分配操作,原因是对象未被使用。为解决这一问题,我修改代码,确保每次循环都有两个实例处于存活状态:
class A(object):
pass
def run(loops):
a = prev = None
for i in range(loops):
prev = a
a = A()
a.i = i
print(prev, a) # 在末尾打印实例,防止优化器移除分配
经检查 RPython 编译器生成的 C 代码,确认分配操作未被移除。
同时,我们也可以选择不初始化字段,编写如下代码:
def run(initialize_field, loops):
t1 = time.time()
if initialize_field:
a = prev = None
for i in range(loops):
prev = a
a = A()
a.i = i
print(prev, a) # 确保始终有两个对象存活
else:
a = prev = None
for i in range(loops):
prev = a
a = A()
print(prev, a)
t2 = time.time()
print(t2 - t1, 's')
object_size_in_words = 2 # GC 头信息和一个整数字段
mem = loops * 8 * object_size_in_words / 1024.0 / 1024.0 / 1024.0
print(mem, 'GB')
print(mem / (t2 - t1), 'GB/s')
添加 RPython 支架代码后,使用 pypy rpython/bin/rpython targetallocatealot.py 构建二进制文件,该文件既包含上述代码,也包含 RPython 垃圾回收器。
在 AMD Ryzen 7 PRO 7840U(运行 Ubuntu Linux 24.04.2)上运行结果如下:
$ ./targetallocatealot-c 1000000000 0 without initialization
<a object at 0x7c71ad84cf60>
<a object at 0x7c71ad84cf70>
0.433825 s 14.901161 GB 34.348322 GB/s $ ./targetallocatealot-c 1000000000 1
with initialization
<a object at 0x71b41c82cf60>
<a object at 0x71b41c82cf70> 0.501856 s 14.901161 GB 29.692100 GB/s</a></a
></a
></a
>
与 Boehm GC 对比结果:
$ pypy rpython/bin/rpython --gc=boehm --output=targetallocatealot-c-boehm
targetallocatealot.py ... $ ./targetallocatealot-c-boehm 1000000000 0 without
initialization
<a object at 0xffff8bd058a6e3af>
<a object at 0xffff8bd058a6e3bf>
9.722585 s 14.901161 GB 1.532634 GB/s $ ./targetallocatealot-c-boehm
1000000000 1 with initialization
<a object at 0xffff88e1132983af>
<a object at 0xffff88e1132983bf>
9.684149 s 14.901161 GB 1.538717 GB/s</a
></a
></a
></a
>
需注意,这种对比并不完全公平,因为 Boehm GC 使用保守的栈扫描方式,无法移动对象,导致分配更为复杂。
性能分析与 GC 行为探究
使用 perf 工具获取执行过程中的统计信息:
$ perf stat -e
cache-references,cache-misses,cycles,instructions,branches,faults,migrations
./targetallocatealot-c 10000000000 0 without initialization
<a object at 0x7aa260e35980>
<a object at 0x7aa260e35990>
4.301442 s 149.011612 GB 34.642245 GB/s Performance counter stats for
'./targetallocatealot-c 10000000000 0': 7,244,117,828 cache-references
23,446,661 cache-misses # 0.32% of all cache refs 21,074,240,395 cycles
110,116,790,943 instructions # 5.23 insn per cycle 20,024,347,488 branches
1,287 faults 24 migrations 4.303071693 seconds time elapsed 4.297557000
seconds user 0.003998000 seconds sys $ perf stat -e
cache-references,cache-misses,cycles,instructions,branches,faults,migrations
./targetallocatealot-c 10000000000 1 with initialization
<a object at 0x77ceb0235980>
<a object at 0x77ceb0235990>
5.016772 s 149.011612 GB 29.702688 GB/s Performance counter stats for
'./targetallocatealot-c 10000000000 1': 7,571,461,470 cache-references
241,915,266 cache-misses # 3.20% of all cache refs 24,503,497,532 cycles
130,126,387,460 instructions # 5.31 insn per cycle 20,026,280,693
branches 1,285 faults 21 migrations 5.019444749 seconds time elapsed
5.012924000 seconds user 0.005999000 seconds sys</a
></a
></a
></a
>
结果显示,每个分配操作平均需要约 11 条指令和 2.1 个周期(包括循环相关操作)。
探究 GC 的运行频率,RPython GC 根据 L2 缓存大小确定 nursery 尺寸。通过 PYPYLOG 环境变量查看相关信息:
$ PYPYLOG=gc-set-nursery-size,gc-hardware:- ./targetallocatealot-c 1 1
[f3e6970465723] {gc-set-nursery-size nursery size: 270336 [f3e69704758f3]
gc-set-nursery-size} [f3e697047b9a1] {gc-hardware L2cache = 1048576
[f3e69705ced19] gc-hardware} [f3e69705d11b5] {gc-hardware memtotal =
32274210816.000000 [f3e69705f4948] gc-hardware} [f3e6970615f78]
{gc-set-nursery-size nursery size: 4194304 [f3e697061ecc0] gc-set-nursery-size}
with initialization NULL
<a object at 0x7fa7b1434020> 0.000008 s 0.000000 GB 0.001894 GB/s</a>
nursery 尺寸为 4 MiB。分配 14.9 GiB 数据时,GC 需执行约 38146 次 minor 收集。通过日志验证:
$ PYPYLOG=gc-minor:out ./targetallocatealot-c 10000000000 1 with initialization
w<a object at 0x7991e3835980>
<a object at 0x7991e3835990>
5.315511 s 149.011612 GB 28.033356 GB/s $ head out [f3ee482f4cd97] {gc-minor
[f3ee482f53874] {gc-minor-walkroots [f3ee482f54117] gc-minor-walkroots}
minor collect, total memory used: 0 number of pinned objects: 0 total size
of surviving objects: 0 time taken: 0.000029 [f3ee482f67b7e] gc-minor}
[f3ee4838097c5] {gc-minor [f3ee48380c945] {gc-minor-walkroots $ grep
"{gc-minor-walkroots" out | wc -l 38147</a
></a
>
minor 收集耗时统计显示,GC 所占时间约为 2%。
机器码层面的探究
RPython GC 的分配快速路径采用简单的指针碰撞(bump pointer)方式,伪代码如下:
result = gc.nursery_free # 将 nursery_free 指针向前移动 totalsize
gc.nursery_free = result + totalsize # 检查此次分配是否会超出 nursery
if gc.nursery_free > gc.nursery_top: # 如果超出,则收集 nursery 并分配
result = collect_and_reserve(totalsize) result.hdr = <A 的 GC 标志和类型 id></GC>
通过分析编译后的二进制文件 targetallocatealot-c 的机器码,大致定位到核心循环的机器码实现,并尝试注释关键操作:
... cb68: mov %rbx,%rdi cb6b: mov %rdx,%rbx # 初始化上一次迭代分配对象的对象头 cb6e: movq $0x4c8,(%rbx) # 循环终止检查 cb75: cmp %rbp,%r12 cb78: je ccb8 # 加载 nursery_free cb7e: mov 0x33c13(%rip),%rdx # 增加循环计数器 cb85: add $0x1,%rbp # 将 nursery_free 增加 16(对象大小) cb89: lea 0x10(%rdx),%rax # 比较 nursery_top 与新的 nursery_free cb8d: cmp %rax,0x33c24(%rip) # 存储新的 nursery_free cb94: mov %rax,0x33bfd(%rip) # 如果新的 nursery_free 超出 nursery_top,则跳转到慢速路径,否则跳转到顶部 cb9b: jae cb68 # 从这里开始是慢速路径: # 将上次迭代存活对象保存到 GC 影子栈 cb9d: mov %rbx,-0x8(%rcx) cba1: mov %r13,%rdi cba4: mov $0x10,%esi # 执行 minor 收集 cba9: call 20800 <pypy_g_IncrementalMiniMarkGC_collect_and_reserve>
...</pypy_g_IncrementalMiniMarkGC_collect_and_reserve
>
在常规 Python 环境中的表现
将相同代码作为常规 Python3 程序运行在 PyPy 上。由于动态类型特性,PyPy 上用户自定义类的实例占用空间更大(至少 7 个字,即 56 字节)。但可以改用整数对象进行测试,整数对象在堆上分配,包含两个字(一个用于 GC,一个存储机器字大小的整数值)。
测试代码如下:
import sys, time
def run(loops):
t1 = time.time()
a = prev = None
for i in range(loops):
prev = a
a = i
print(prev, a) # 确保始终有两个对象存活
t2 = time.time()
object_size_in_words = 2 # GC 头信息和一个整数字段
mem = loops * 28 / 1024.0 / 1024.0 / 1024.0
print(mem, 'GB')
print(mem / (t2 - t1), 'GB/s')
def main(argv):
loops = int(argv[1])
run(loops)
return 0
if __name__ == '__main__':
sys.exit(main(sys.argv))
运行结果对比(启用与禁用 JIT):
$ pypy3 allocatealot.py 1000000000
999999998 999999999
14.901161193847656 GB
17.857494904899553 GB/s
$ pypy3 --jit off allocatealot.py 1000000000
999999998 999999999
14.901161193847656 GB
0.8275382375297171 GB/s
分析 PyPy JIT 生成的机器码较为复杂,需通过 PYPYLOG=jit:out 启用 JIT 日志记录,找到循环的跟踪 IR,并利用 PyPy 仓库中的脚本进行反汇编分析。
总结
RPython GC 的分配快速路径设计精巧,能够实现较高的分配速率。这一设计并非创新,而是垃圾回收器设计领域的常见手法。除了算法本身,现代 CPU 架构的不断进步也为性能提升做出了巨大贡献。在同事的旧款 AMD 设备上运行相同代码,性能表现明显逊色,进一步证明了硬件进步对程序性能的显著影响。
相关推荐
- office2016家庭版激活密钥(office家庭版激活码2019)
-
走淘宝吧,因为零售版的密钥只能用一次。大概几块钱就能激活2016。如果你不在乎钱的话可以向我一样,订阅一个office365.实在不行可以和几个人一起买一个家庭版的365.出现这个情况,找微软申诉是没...
- 移动硬盘驱动器下载安装(移动硬盘驱动器下载安装教程)
-
1、右键单击您的桌面,选择“新建文件夹”,并命名该文件夹(例如“usb驱动程序”);2、然后到本站下载驱动程序;3、将其解压缩至在您的桌面上刚刚创建的usb驱动程序文件夹;4、单击开始菜单,然后选择设...
- 电脑硬盘格式化工具(电脑 格式化硬盘)
-
硬盘格式化工具很多,PQMACGIG8.0(中文就叫硬盘分区魔法师)是比较好的一个,这个是在WINDOWS下比叫好用,(个人感觉)FDISK也是比较好的一个,这个一般用在DOS下分区格式化WIN...
- photoshop是一款什么软件(ps指的是什么软件)
-
这个说法是错误的,ps软件“即:photoshop”是由美国著名的“adobe阿多比”公司出品的专业的图像处理软件,它不是由微软公司出品的软件。众所周知的是,微软公司以设计视窗操作系统名满全球,它出...
- ipad越狱的好处与坏处(ipad越狱好不好)
-
好处一: 1、重命名、重组应用程序 如果你看着Sparrow(iOS最优秀邮件客户端)这个名字不爽,越狱之后就可以改成“Email”,如果你觉得“豆瓣电台”这个名字不给力,那就改成“中央人民广...
- win7光盘重装系统步骤图解(win7光盘如何重装系统)
-
1.确认您的电脑支持从光盘启动。如果支持,可以直接将Windows7安装光盘插入电脑的光驱中。 2.打开电脑,按下F2、F10、F12或Delete等键进入BIOS设置界面。 ...
- 电脑已联网却无法上网(电脑已经联网了但是不能上网)
-
电脑连上网后,仍可能存在无法上网的情况,这可能是由多种原因造成的。以下是一些可能的原因和解决方法:1.浏览器问题:有时候,浏览器可能会出现故障,导致无法正常访问网络。您可以尝试清除浏览器的缓存和co...
- u盘价格一览表(u盘单价)
-
不同品牌价格不同,不同内存价格也不同,例如8g、16g、32g、64g等多种容量大小的,根据容量的不同,报价在29元到120元之间不等。闪存盘虽然小,但相对来说却有很大的存储容量。U盘大多能够存储比一...
- windows查看ip命令(windows如何查看ip地址)
-
查看电脑IP: 1)使用Windows+R键打开“运行”窗口,然后输入CMD进入命令提示窗口2)进入命令窗口之后,输入:ipconfig/all回车即可...
- 内存条的作用(内存条的作用和参数配置)
-
内存条是存储电脑运行所需的数据和程序,帮助CPU快速读取和运行,提高计算机的运行速度和处理能力。内存条也被称为随机存取存储器(RAM),是电脑中非常必要的一个组件。常见的内存条类型有DDR、DDR2、...
- autocad2012安装失败(autocad2012无法安装)
-
如果您遇到CAD2012安装不了的问题,可能有几个原因导致这种情况。以下是一些常见的解决方法:1.确保系统要求:首先,请确保您的计算机符合CAD2012的系统要求。检查您的操作系统版本、内存、处理器...
- win11 16g内存最佳虚拟内存(window10 16个g虚拟内存设置)
-
内存足够大可以将系统的虚拟内存关掉。1、鼠标右键【此电脑】,在菜单中选择【属性】。2、进入属性后,点击【高级系统设置】。3、进入系统属性后,点击高级下面的【设置】。4、进入性能设置后,点击【高级】。5...
- 查看windows7激活码(win7激活码哪里看)
-
windows7激活密钥如下:PPBK3-M92CH-MRR9X-34Y9P-7CH2FQ8JXJ-8HDJR-X4PXM-PW99R-KTJ3H8489X-THF3D-BDJQR-D27PH-P...
- win10商业版和消费者版区别(win10商业版与消费者版)
-
1、用户群体的区别消费者版:通俗来说就是零售版,是一个非常适合个人用户和家庭用户购买的版本。商业版:适合大客户使用的版本,而且还比较适合企业用户使用以及进行批量部署。2、版本区别消费者版Consume...
- bilibili加速器(bilibili加速器手机版官网)
-
需要在电脑上使用bilibili加速器,因为手机上bilibili已经有自带的加速器功能了。可以在bilibili官网或者一些应用商店下载使用,下完后按照安装提示进行安装即可。如果使用的是第三方软件,...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
