别小看“拖延症”:Python 惰性(Lazy)求值的 9 种用法
off999 2025-09-04 15:30 3 浏览 0 评论
如果要选出一个最能体现 Python 优雅之处的特性,我会毫不犹豫地选择——惰性( lazy)求值。
所谓惰性求值(Lazy Evaluation),就是将计算延迟到真正需要的时候才执行。这种机制让 Python 能够避免不必要的工作、节省内存、加快响应速度,甚至还能实现一些听起来不可思议的事情,比如生成一个无限长的列表。
更妙的是,在 Python 中实现惰性求值几乎不需要复杂的语法或晦涩的技巧,一切都简单、优雅,却又极具威力。
在这篇文章里,我们将一起探索 Python 内置的 9 个惰性求值特性,它们会在不声不响中显著优化你的代码。读完并掌握这些实用示例后,你会发现:让 Python 应用高效扩展,其实可以轻松实现。
1.生成器(Generators):处理海量数据的利器
生成器是 Python 中最知名的惰性求值特性之一。它允许我们在迭代序列时无需一次性将整个序列加载到内存中。这在处理大规模数据集、流式数据,甚至无限数据流时,尤其有用。
例如,当一个文件大到无法一次性读入时,生成器可以帮我们节省内存:
这段代码的核心是 yield 关键字。与一次性计算并返回所有结果的 return 不同,yield 会让函数返回一个生成器对象,并在每次产出数据后暂停执行,保留当前状态,下次迭代时再继续执行。
因此,上面的例子中,我们不会一次性返回整个文件内容,而是每次只将一行加载到内存中,这在处理大文件时能显著降低内存消耗。
当然,生成器也有取舍:数据是顺序流式读取的,因此不能像列表一样随机访问,比如不能直接跳到第 1000 行而不先读取前 999 行。
除了读取大数据集,我们还可以用生成器来构造数据集。比如著名的斐波那契数列是一个无限序列,但借助生成器,我们可以轻松实现一个“按需生成”的版本:
这个生成器会在你需要时才产出下一个斐波那契数,而不是一次性生成全部(这本来就是不可能的)。
2.生成器表达式(Generator Expressions):轻松获取内存友好的可迭代对象
除了用 yield 创建生成器,Python 还提供了另一种更简洁的方式——生成器表达式。
它的语法和列表推导式(List Comprehension)几乎一模一样,只是将方括号 [] 换成圆括号 (),就能让它具备惰性求值的特性。
如果需要,可以随时用 list() 方法将生成器表达式转换为列表:
生成器表达式的优势在于:不会一次性生成所有元素,因此相比列表更加节省内存。
来看一个简单的内存占用对比:
可见,生成器表达式在处理大规模数据时几乎不占额外内存,非常适合流式计算或内存受限的场景。
3. itertools模块:惰性迭代的工具箱
Python 内置的 itertools 模块提供了一组高效迭代的工具,其中很多都利用了惰性求值的特性。它们不仅节省内存,还能让我们用极少的代码实现复杂的迭代逻辑。下面是几个常用方法:
① 无限计数器 — itertools.count(start=0, step=1)
生成一个无限递增(或递减)的数字序列:
② 无限循环 — itertools.cycle(iterable)
让一个可迭代对象无限循环,无需写笨拙的死循环:
③ 重复元素 — itertools.repeat(object, times=None)
重复生成同一个对象,可选次数限制:
④ 惰性切片 — itertools.islice(iterable, start, stop[, step])
类似 list[start:stop],但不一次性生成所有数据:
⑤ 惰性拼接 — itertools.chain(*iterables)
将多个可迭代对象拼接成一个序列,但不会一次性加载到内存:
itertools 像是 Python 的惰性迭代“工具箱”,不仅能帮我们节省内存,还能让循环逻辑更优雅、更高效。
4. range():按需生成的数字序列
range() 是 Python 中最经典的惰性求值案例之一。它不会一次性生成所有数字,而是在需要时才生成对应的值。
来看一个内存占用对比:
可以看到,即使是生成一百万个数字,range() 也只占用 48 字节 内存,而列表却需要 8 MB 以上。这就是惰性求值带来的巨大优势:数据不提前占用内存,只在迭代时生成。
因此,在需要遍历大范围数字时,优先考虑 range() 而不是一次性生成完整列表,这能显著降低内存开销。
5. map()和 filter():惰性的高阶函数
Python 内置的 map() 和 filter() 都是高阶函数(即可以接收函数作为参数),同时它们也是惰性求值的代表:并不会一次性计算所有结果,而是返回一个迭代器,在遍历时才逐个执行计算。
这种特性使它们在处理大规模数据集时既节省内存,又保持较高性能。
惰性映射 — map()
map() 会将一个函数按需应用到序列的每个元素上:
惰性过滤 — filter()
filter() 会使用一个条件函数按需筛选元素:
与列表推导式相比,map() 和 filter() 在大数据场景下的内存占用更低,因为它们不会立即生成整个结果集,而是边迭代边计算。这让它们在数据流处理、日志分析等场景中非常实用。
6. zip():惰性组合多个可迭代对象
zip() 用于并行迭代多个可迭代对象,会按顺序生成由对应元素组成的元组。
它返回的是一个惰性迭代器,只有在调用 next() 或遍历时,才会按需生成下一个组合。
默认行为:取最短序列长度
zip() 会在最短的可迭代对象结束时停止:
zip_longest():补齐缺失元素
如果希望按最长的可迭代对象对齐,可以使用 itertools.zip_longest(),并指定 fillvalue 来填充缺失值:
由于 zip() 是惰性生成的,因此即使组合的是大型数据集,也不会一次性加载到内存中,非常适合多数据源同步迭代的场景。
7. enumerate():惰性获取索引与值
enumerate() 是 Python 中非常常用的迭代工具,尤其是在需要同时获取索引和值时。
它返回的是一个惰性迭代器,不会一次性生成所有索引—值对,而是在遍历时按需生成:
相比手动维护一个计数器变量,enumerate() 不仅代码更简洁,而且由于它是惰性生成的,内存占用也更低,非常适合在处理大规模可迭代对象时使用。
8. 字典视图(Dictionary Views)也是惰性的
当你调用 dict.keys()、dict.values() 或 dict.items() 时,返回的并不是一个列表,而是一个视图对象(view object)。
这意味着:
1.不会生成数据的完整副本。
2.实时反映字典的变化。
3.惰性且内存高效。
内存占用对比实验
如结果所示,字典视图对象的占用仅为几十字节,与直接转换成列表相比,节省了大量内存。也就是说,即使我们没意识到,它们也在悄悄帮我们优化内存使用。
9. 类型注解(Type Annotations)的惰性求值
Python 3.14 引入了类型注解惰性求值的重要更新:函数、类和模块的注解不再在定义时立即执行。
相反,这些注解会被存储为一种特殊的“延迟形式”,只有在真正需要时才会被求值。
举个例子,定义如下函数:
在 Python 3.14 之前,MyType 和 OtherType 会在模块导入时立即求值,这可能导致导入时间变长或引发循环依赖。
而从 Python 3.14 开始,这种求值会被延迟,直到运行时真正需要进行类型检查或反射操作时才执行(相关内容见 PEP 649 和 PEP 749)。
之前的 Python 版本(3.7–3.11)中,我们需要通过一句特殊的导入来开启这项惰性特性:
而在 Python 3.14 及以后,类型注解默认就是惰性求值,无需再额外声明。
这项改进不仅优化了程序启动速度,还减少了因类型注解引起的依赖问题,让类型提示更好用、更高效。
结语:善用 Python 的惰性求值,做更高效的开发者
Python 的惰性求值机制,能够显著提升代码的性能和内存效率。无论你是处理海量数据、构建无限循环,还是管理复杂的类型注解,理解并合理利用惰性求值,都能让你成为一个更懂资源管理的开发者。
当然,我们也要牢记,惰性求值并非万能,某些场景下,**立即求值(eager evaluation)**反而更合适,比如:
- 需要马上得到完整结果时
- 数据集较小,性能开销不大时
- 需要多次遍历同一数据时
- 内存使用不是瓶颈时
作为开发者,关键是根据实际需求灵活取舍,写出既优雅又高效的 Python 代码。
相关推荐
- python:从 12 分钟到 20 秒的奇迹之旅
-
大家好,我是一个常年与代码和数据打交道的程序员。最近,我经历了一次令人头疼的性能挑战。我的一个Python脚本需要处理一个超过一百万行的数据集,任务是对数据进行筛选、清洗并导出结果。然而,这个本该...
- 玩星露谷还能学Python?比刷题更上瘾的学习方法
-
最近朋友在玩星露谷,想起之前网上安利的星露谷编程游戏,然后就被带入坑了。本以为是普通种田游戏,结果全程用Python写代码通关,边摸鱼边学,打工人狂喜!举个游戏里怎么用Python?比如“自动收...
- 大数据计算学习,难度究竟几何?_大数据算法怎么学
-
大数据计算学习,难度究竟几何?在当今这个数字化的时代,大数据计算就像是一颗闪耀的明星,吸引着无数人的目光。很多小伙伴都对学习大数据计算充满了好奇,但又担心它的难度太高,自己学不会。那么,大数据计算学习...
- 不是活爹们 你们学Python都不刷项目的吗
-
在当今这个科技飞速发展的时代,编程语言就像是一把把神奇的钥匙,能为我们打开不同的职业大门。而Python,无疑是其中最耀眼的那一把。但现在问题来了,Python实操项目怎么学习呢?今天咱们就来好好唠唠...
- Python的 10 个“天坑”:搞懂这些,才算真正迈入高手之列
-
引言:Python的“表里不一”作为一名从业多年的Python开发者,我深知Python的魅力所在:它语法简洁,入门门槛低,似乎几个月的学习就能让你自信满满地写出代码。然而,正是这种“表面上...
- Python:开启编程世界的万能钥匙_python编程窗口怎么打开
-
一、引言嘿,老铁们!在当今的编程世界里,Python就像一把万能钥匙,能打开无数扇门。它以其简洁的语法、丰富的库和广泛的应用领域,受到了越来越多人的喜爱。无论是初出茅庐的编程小白,还是经验丰富的开发者...
- 这 6 个 Python 项目,带你从新手蜕变为实战高手
-
你是不是也有过这样的经历?刷完了YouTube上所有的Python教程,写了不下五六个“待办事项”应用,却依然感到自己离一个真正的开发者遥不可及。打开Udemy,课程列表满满当当,但总感觉...
- 用Python做WiFi嗅探?5分钟上手黑客同款技能(附代码)
-
本文是【Python网络安全】入门教学文章,建议收藏!适合安全学习者、网络审计员、Python进阶者阅读。有没有想过,你的电脑其实可以像个“监听器”,实时捕捉周围WiFi的蛛丝马迹?是的,哪怕你不是...
- 用 Python 守护你的 API:从入门到实践的安全监测指南
-
今天我们聊聊一个既技术又务实的话题——如何用Python进行API安全监测。在互联网快速发展的今天,API已成为现代应用程序的核心桥梁,从前端到后端,从移动端到物联网设备,几乎无处不在。可与...
- 学计算机专业,到底学些啥玩意儿?
-
#计算机专业##学计算机#跟你们说个真事儿:我表弟去年报志愿,听人说“学计算机能拿高薪”,咔咔就选了软件工程。结果开学第一周就给我发消息:“哥,啥是‘数据结构’?老师讲指针的时候,我感觉自己脑子像...
- Python 12 个鲜为人知的宝藏库,让运维工作量减少 90%
-
Python12个鲜为人知的宝藏库,让运维工作量减少90%作为一名开发者,你可能对Jenkins流水线、繁琐的配置和午夜紧急回滚习以为常。尽管你可能是Python编程高手,但面对运维的日...
- 别小看“拖延症”:Python 惰性(Lazy)求值的 9 种用法
-
如果要选出一个最能体现Python优雅之处的特性,我会毫不犹豫地选择——惰性(lazy)求值。所谓惰性求值(LazyEvaluation),就是将计算延迟到真正需要的时候才执行。这种机制让P...
- 学 Python 就像谈恋爱:从暧昧到正式牵手,我用 8 个瞬间讲透了!
-
你有没有发现,人生里很多重要的事情,第一步都是最难的。第一次约会、第一次上台讲话、第一次进健身房……总有点怯场。学Python也一样。很多人一听到“编程”两个字,脑海里浮现的画面是:黑屏幕上飞...
- Python 入门不用愁!5 个核心知识 + 3 个偷懒技巧,小白 3 天就能上手
-
提到编程,很多人会觉得“太难了,学不会”。但Python不一样,它就像编程语言里的“白话文”,语法简单、逻辑清晰,哪怕是零基础小白,掌握几个核心知识点和小技巧,也能快速上手。今天就带大家解锁...
- 信息技术专业学什么?从敲代码到搞安全,这些内容要掌握
-
提到信息技术专业,很多人第一反应是“写代码的”。其实这个专业的学习内容远不止于此,它更像一个“数字时代工具箱”,既教你搭建系统,也教你维护网络,还能让你搞懂数据背后的逻辑。下面就用大白话讲讲这个专...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)