python 的迭代器:如何用最快的速度读出大小为10G的文件的行数?
off999 2024-10-15 12:10 29 浏览 0 评论
with open('rm_keys.txt', 'r', encoding = 'utf-8') as f:
count = 0
for line in f:
count += 1
print(count)
for line in f 将文件对象 f 视为一个可迭代的数据类型，会自动使用 IO 缓存和内存管理，这样就不必担心大文件了。
一、先理解可迭代对象的本质
随便封装了一个可以存放多条数据的类型是不能迭代的——需要添加了__iter__方法。
可迭代对象的本质就是提供一个这样的中间“人”即迭代器，帮助我们对其进行迭代遍历使用。
可迭代对象是一个具备了__iter__方法的对象，通过__iter__方法获取可迭代对象的迭代器。
二、跌代器好处：实时生成数据，节省内存
三、迭代器的作用：具体指定下一个数据
四、如何使用迭代器
先获取迭代器：[可迭代对象].__iter__()
再用next()函数来获取下一个元素
五、判断是否是迭代器：
from collection import Iterator
isinstance(对象，Iterator)
判断的依据是有没有__iter__()方法和__next__()方法
六、for...in...循环的本质
先得到这个可迭代对象的迭代器iter(对象)
使用while循环不断得遍历下一个值next(迭代器)
直到遍历到已经没有下一个值了（会报异常StopIteration）
退出循环
七、举个例子
数学中有个著名的斐波拉契数列（Fibonacci）
数列中第一个数为0，第二个数为1
其后的每一个数都可由前两个数相加得到：
0, 1, 1, 2, 3, 5, 8, 13, 21, 34, ...
现在我们先通过for...in...循环来遍历迭代斐波那契数列中的前n个数：
class Fib(object):
def __iter__(self):
return self
def __next__(self):
pass
fib = Fib()
for i in fib:
print(i)
# 一次性的到结果：0， 1， 1， 2， 3， 5， 8， 13....
这个斐波那契数列我们可以用迭代器来实现，
每次迭代都通过数学计算来生成下一个数。
使用迭代器的形式实现：
class Fib(object):
def __init__(self, num):
self.num = num # 表示前n项
self.a = 0 # 前一个值
self.b = 1 # 后一个值
self.i = 0 # 次数
def __iter__(self):
return self
def __next__(self):
if self.i < self.num:
ret = self.a
self.a, self.b = self.b, self.a+self.b
self.i += 1
return ret
else:
raise StopIteration
fib = Fib(10)
print(next(fib))
print(next(fib))
print(next(fib))
print(next(fib))
for i in fib:
print(i)
# 想要多少个就next()多少个
八、有了迭代器，接下就可以了解生成器
生成器是一种特殊的迭代器,它比迭代器更优雅
相关推荐
- PYTHON-简易计算器的元素介绍
-
[烟花]了解模板代码的组成importPySimpleGUIassg#1)导入库layout=[[],[],[]]#2)定义布局，确定行数window=sg.Window(&#...
- 如何使用Python编写一个简单的计算器程序
-
Python是一种简单易学的编程语言，非常适合初学者入门。本文将教您如何使用Python编写一个简单易用的计算器程序，帮助您快速进行基本的数学运算。无需任何高深的数学知识，只需跟随本文的步骤，即可轻松...
- 用Python打造一个简洁美观的桌面计算器
-
最近在学习PythonGUI编程，顺手用Tkinter实现了一个简易桌面计算器，功能虽然不复杂，但非常适合新手练手。如果你正在学习Python，不妨一起来看看这个项目吧！项目背景Tkint...
- 用Python制作一个带图形界面的计算器
-
大家好，今天我要带大家使用Python制作一个具有图形界面的计算器应用程序。这个项目不仅可以帮助你巩固Python编程基础，还可以让你初步体验图形化编程的乐趣。我们将使用Python的tkinter库...
- 用python怎么做最简单的桌面计算器
-
有网友问，用python怎么做一个最简单的桌面计算器。如果只强调简单，在本机运行，不考虑安全性和容错等的话，你能想到的最简单的方案是什么呢？我觉得用tkinter加eval就够简单的。现在开整。首先创...
- 说好的《Think Python 2e》更新呢!
-
编程派微信号：codingpy本周三脱更了，不过发现好多朋友在那天去访问《ThinkPython2e》的在线版，感觉有点对不住呢（实在是没抽出时间来更新）。不过还好本周六的更新可以实现，要不就放一...
- 构建AI系统(三):使用Python设置您的第一个MCP服务器
-
是时候动手实践了！在这一部分中，我们将设置开发环境并创建我们的第一个MCP服务器。如果您从未编写过代码，也不用担心-我们将一步一步来。我们要构建什么还记得第1部分中Maria的咖啡馆吗？我们正在创...
- 函数还是类?90%程序员都踩过的Python认知误区
-
那个深夜，你在调试代码，一行行检查变量类型。突然，一个TypeError错误蹦出来，你盯着那句"strobjectisnotcallable"，咖啡杯在桌上留下了一圈深色...
- 《Think Python 2e》中译版更新啦!
-
【回复“python”，送你十本电子书】又到了周三，一周快过去一半了。小编按计划更新《ThinkPython2e》最新版中译。今天更新的是第五章：条件和递归。具体内容请点击阅读原文查看。其他章节的...
- Python mysql批量更新数据(兼容动态数据库字段、表名)
-
一、应用场景上篇文章我们学会了在pymysql事务中批量插入数据的复用代码，既然有了批量插入，那批量更新和批量删除的操作也少不了。二、解决思路为了解决批量删除和批量更新的问题，提出如下思路：所有更新语...
- Python Pandas 库:解锁 combine、update 和compare函数的强大功能
-
在Python的数据处理领域，Pandas库提供了丰富且实用的函数，帮助我们高效地处理和分析数据。今天，咱们就来深入探索Pandas库中四个功能独特的函数：combine、combine_fi...
- 记录Python3.7.4更新到Python.3.7.8
-
Python官网Python安装包下载下载文件名称运行后选择升级选项等待安装安装完毕打开IDLE使用Python...
- Python千叶网原图爬虫:界面化升级实践
-
该工具以Python爬虫技术为核心，实现千叶网原图的精准抓取，突破缩略图限制，直达高清资源。新增图形化界面（GUI）后，操作门槛大幅降低：-界面集成URL输入、存储路径选择、线程设置等核心功能，...
- __future__模块:Python语言版本演进的桥梁
-
摘要Python作为一门持续演进的编程语言，在版本迭代过程中不可避免地引入了破坏性变更。__future__模块作为Python兼容性管理的核心机制，为开发者提供了在旧版本中体验新特性的能力。本文深入...
- Python 集合隐藏技能:add 与 update 的致命区别，90% 开发者都踩过坑
-
add函数的使用场景及错误注意添加单一元素：正确示例：pythons={1,2}s.add(3)print(s)#{1,2,3}错误场景：试图添加可变对象（如列表）会报错（Pytho...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)