写这段代码的日子我盯着for i in range(100)又一次陷入沉思这个用了上千次的循环凭什么能从第一个元素自动跑到最后一个它怎么知道啥时候该停它背后到底干了些什么后来我翻了一整天源码和官方文档才恍然明白——for循环表面上是一个语法糖底层却是一个完整的迭代协议在运作。搞懂这层逻辑写生成器、处理大文件、自定义容器都会顺手很多再也不用靠“背API”来写代码。这篇文章不打算按教科书套路讲定义。我选择直接从最贴近日常的for循环切入一层层拆开迭代器 (Iterator) 的真实面目再把迭代器、可迭代对象、生成器这些纠缠不清的概念彻底排干净。适合所有写过Python但没细想过循环本质的开发者无论你是想优化数据处理还是想掌握更Pythonic的写法这篇都值得读完。1. for循环其实是个“协议翻译官”先搞懂迭代器的核心机制先抛一个反直觉的结论for循环根本不认识列表也不认识字典它只认识一种东西——迭代器。你在for里写了一个列表Python会偷偷把它转换成迭代器然后通过迭代器一个个往外拿值。这就是为什么我用“协议翻译官”来形容for循环它把“可迭代对象”翻译成“迭代器”再驱动迭代器工作。1.1 迭代协议到底是什么在Python世界里“协议”不是一种强制接口而是一种默契约定。迭代协议本质上由两个方法组成__iter__()返回一个迭代器对象。__next__()返回下一个元素如果没有元素了就抛出StopIteration异常。注意并不是每个可迭代对象都自己实现__next__。比如列表list它实现的是__iter__返回一个列表迭代器list_iterator这个迭代器对象才实现__next__。打开Python终端试一下 my_list [10, 20, 30] iterator iter(my_list) # 调用 my_list.__iter__() next(iterator) # 调用 iterator.__next__() 10 next(iterator) 20 next(iterator) 30 next(iterator) Traceback (most recent call last): ... StopIteration这个实验直接揭示了for循环的秘密它不断调用next()直到捕获到StopIteration异常才停下来。for循环本身不关心数据是列表、元组还是生成器它只管按协议往下拿。1.2 一个简单的for循环内部等价代码为了把“翻译官”翻译的样子完整呈现我先把for item in iterable:翻译成while循环版本iterator iter(iterable) # 等价于 iterable.__iter__() while True: try: item next(iterator) # 等价于 iterator.__next__() except StopIteration: break # 循环体 print(item)这么一看for循环没了任何神秘感。它本质上就是iter()next()StopIteration异常处理的组合。理解了这一点你再看到for循环的时候脑子里会自动浮现这个while版本调试代码时判断“什么时候取到了最后一个元素”就不再靠猜了。1.3 为什么列表本身不是迭代器这一点经常让新手疑惑列表明明可以用for遍历怎么就不是迭代器我用一个很直白的场景解释迭代器是一个“只能前进不能后退”的游标而列表是一个“随时可以回头访问”的仓库。列表把数据全部存在内存里支持索引、切片、随机访问迭代器没有索引你只能顺着指针一个接一个拿数据。验证看看 hasattr([], __next__) False hasattr([], __iter__) True列表只有__iter__没有__next__所以它只能生产出迭代器自己却不是迭代器。而文件对象、生成器这类东西既有__iter__又有__next__所以它们同时是迭代器也是可迭代对象。2. 可迭代对象与迭代器傻傻分不清的兄弟俩上一节提到列表不是迭代器这就带出一个更基础的区分可迭代对象 (Iterable)和迭代器 (Iterator)是两个完全不同的概念。我见过太多人在简历上写“熟悉Python迭代器”结果一问就混为一谈。弄清楚这对兄弟是彻底理解for循环的关键一步。2.1 判断标准iter()和isinstance()一句话区分最权威的判断方式不是靠肉眼而是交给Python内置函数如果一个对象能传给iter()并返回一个迭代器它就是可迭代对象。如果一个对象本身是迭代器的同时又是可迭代的那它就是迭代器Iterator。更严格的判定可以用collections.abc里的抽象基类from collections.abc import Iterable, Iterator my_list [1, 2, 3] my_iter iter(my_list) print(isinstance(my_list, Iterable)) # True print(isinstance(my_list, Iterator)) # False print(isinstance(my_iter, Iterator)) # True print(isinstance(my_iter, Iterable)) # True输出结果表明列表是“可迭代对象”但它不是“迭代器”列表的迭代器则同时满足了Iterable和Iterator两个身份。我习惯这样记Iterator是Iterable的子集。任何一个迭代器都必然是Iterable因为它实现了__iter__返回自己但不是每个Iterable都是Iterator。2.2 为什么要有两层区分惰性与状态持久化的代价那Python为什么不把所有容器都设计成自带迭代器的类型呢因为迭代器核心特征是“有状态”它记录当前遍历到哪个位置了。如果列表本身就是一个迭代器列表就只能保持一个当前位置多个循环同时遍历同一列表时就会互相踩脚。举个例子data [1, 2, 3, 4] for x in data: for y in data: print(x, y)这个双重循环能正常跑出16组组合正是因为外层循环和内层循环各自调用iter(data)得到了两个独立的迭代器各自维护自己的索引。如果列表自己就是迭代器第二个循环的指针会跟着第一个循环动结果彻底乱掉。所以Python设计了“可迭代对象”和“迭代器”两层一个负责提供数据一个负责消耗数据解耦之后互不干扰。2.3 哪些常见的对象是迭代器哪些不是我整理了一个速查表在实际编码中很实用对象可迭代对象?迭代器?说明列表 list是否每次iter()都返回新的迭代器元组 tuple是否同列表字典 dict是否迭代时返回键字符串 str是否迭代时返回单个字符文件对象是是也是迭代器逐行读取生成器 generator是是函数里含yield即为生成器range对象是否惰性计算序列不是迭代器枚举 enumerate是是自身就是迭代器这张表不是我背下来的全是实践总结的。比如字典虽然能迭代但你还得先确认迭代的是键很容易踩坑。文件对象则是迭代器的典型代表很多人用readline()一行行读其实直接用for line in f才是文件对象作为迭代器的正确姿势。3. 从零手写迭代器生成器只是冰山一角理解完概念之后真正的分水岭来了你能不能自己写一个迭代器很多人会说“我会写生成器”但生成器只是迭代器的便捷实现之一。我在这节里分两条路走一条是用yield生成器一条是用__iter____next__手动构造类。两条路写出来的东西从结果上看都是迭代器但设计思路完全不同。3.1 快速上手一个带状态的数字迭代器类假设我需要一个迭代器每次取一个数字从1开始每次翻倍。用类实现的话关键就是把状态存在self里class Doubler: def __init__(self, start1): self.current start def __iter__(self): return self def __next__(self): value self.current self.current * 2 return value注意两点__iter__返回self意思是“迭代器本身也是可迭代的”__next__内部没有停止条件所以这是个无限迭代器用for直接跑会死循环必须配合break或者itertools.islice。用一次doubler Doubler() for _ in range(5): print(next(doubler)) # 1, 2, 4, 8, 16这个例子虽然简单但足够说明类迭代器的核心你必须自己维护状态变量。像列表迭代器内部维护的就是索引值文件迭代器内部维护的是文件指针我们自定义迭代器也可以维护任意属性。3.2 用yield写同样逻辑为什么代码少这么多同样的功能用生成器写法就直观到不像代码def doubler(): current 1 while True: yield current current * 2调用doubler()得到一个生成器对象它自动实现了__iter__和__next__。函数里的yield就像把函数砍成两半每次执行到yield current就暂停把current传出去下一次next()从暂停的地方接着跑current * 2然后循环回到yield。很多人问我怎么选如果你需要保存别的属性和方法用类如果你只需要顺序产生值用生成器。比如你写一个迭代器除了next之外还想提供reset()方法重置状态类更合适。如果只是想把某种计算过程流式化生成器完胜。3.3 迭代器也可以反向思考何时不该用迭代器需要提醒的是迭代器不适合所有场景。比如你需要随机访问某个位置的元素或者需要反复遍历同一个数据集四次那么直接用列表或元组会更好。迭代器是“用完即走”你不能说“先暂停等我访问一下第三个元素再回来继续”。这就像磁带和CD的区别迭代器像磁带只能顺序播放容器像CD可以瞬间跳到任何一首。在实际项目里我遇到过有人强行把所有列表改成生成器结果需要每种数据做多次不同的聚合统计代码写到最后只能把生成器转成列表白白绕了一圈。迭代器只适合“一次消费”的场景比如逐行读大文件不适合需要多轮遍历的数据集合。4. 模拟for循环的一次完整执行从iter()到StopIteration前面已经写了for的while等价代码但纸上得来终觉浅。我特意做一次“手动驾驶实验”通过逐步调用iter()、next()并捕获异常完整还原for循环执行的全过程。你会发现StopIteration根本不是错误而是“正常结束”信号。4.1 手动开车的逐帧实验定义极简数据word AB it iter(word) # 获取迭代器 print(it) # str_iterator print(next(it)) # A print(next(it)) # B print(next(it)) # 触发StopIteration上面代码执行到最后一个next(it)时如果不在REPL环境程序会抛异常终止。但如果我用try包住它就模拟了for循环尾部逻辑it iter(word) while True: try: char next(it) print(f当前元素: {char}) except StopIteration: print(所有元素已取完循环结束) break输出为当前元素: A 当前元素: B 所有元素已取完循环结束这说明StopIteration被except捕获后所有迭代任务就宣告完成。注意StopIteration是Exception的子类但它在迭代语境里是正常流程的一部分不是错误提示。如果你在自己的迭代器__next__里遇到真正的错误别去抛StopIteration来暗示错误那是严重误用。4.2 for循环还做了额外处理自动销毁迭代器当for循环结束时其实还发生了一件事循环内部创建的那个迭代器对象在循环结束后就没有强引用了交给垃圾回收机制处理。严格说for循环本身没有像with那样保证销毁但由于迭代器通常不持有特殊资源这种自动回收够用了。文件对象这种特殊迭代器更建议用with语句保证关闭。另外for循环在Python 3还有一个细节它不会捕获循环体内自己抛出的StopIteration。例如def gen(): yield 1 raise StopIteration(自定义停止)如果循环体内某段逻辑触发了StopIterationPython会把你弄得措手不及。所以永远不要在业务逻辑里自己抛StopIteration这个异常是为迭代器协议保留的。我写爬虫代码时就吃过亏某次try块里本想吞掉“页面无数据”的异常结果意外抛了StopIteration整个for循环被吃掉排查了很久才发现。4.3 透过源码看迭代器iter内置函数的两种参数模式iter()函数有两种用法很多人只用过第一种iter(iterable)传入可迭代对象返回迭代器。iter(callable, sentinel)传入一个可调用对象和一个哨兵值重复调用 callable 直到返回值等于哨兵。第二种用法非常实用。比如逐块读取文件自定义大小或者持续读传感器数据直到达到阈值def read_chunk(): return file.read(1024) for chunk in iter(read_chunk, ): process(chunk)这段代码会反复调用read_chunk()直到返回空字符串才停止。它同样是迭代器协议在工作。遇到“需要不断执行某个函数直到特定值出现”的场景直接用这个内置函数不用自己去写while循环简洁得多。5. 真正用起来才遇到的三个坑一次性、无限循环和工具库理论讲完下面这三条基本可以认定是从实战里爬出来的。每个坑我都踩过讲出来希望你别再踩。5.1 迭代器是一次性“消耗品”用完就没有了这是个超级经典的坑。你以为迭代器和列表一样可以反复使用。真相是numbers [1, 2, 3] it iter(numbers) print(list(it)) # [1, 2, 3] print(list(it)) # []第一次list(it)把迭代器里的元素全部取走迭代器的状态已经指向末尾。第二次再转列表什么都没了。这个特性在业务中偶尔会咬人比如你先把it传给某个函数处理了一遍后面又想用it做第二遍统计结果发现数据不翼而飞。我的习惯是如果同一个数据需要多次使用就保留原始可迭代对象只有明确“只用一次”的时候才转成迭代器。如果确实需要重复迭代一个生成器的结果最简单的是用itertools.tee()拆出多个独立迭代器但要注意 tee 会占用内存不是免费午餐。5.2 无限迭代器要敢写也要会“刹车”迭代器不必有终点这既是优点也是危险。比如计数器、斐波那契数列、圆周率小数生成器都可以无限地next下去。但在for循环里直接跑无限迭代器程序就永远不结束。安全的玩法是配itertools.islicefrom itertools import islice def fibonacci(): a, b 0, 1 while True: yield a a, b b, a b first_ten list(islice(fibonacci(), 10)) print(first_ten) # [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]islice(fibonacci(), 10)从无限迭代器里取前10个元素取完自动停止。这比写break干净许多。无限迭代器也别滥用它适合数据量未知但按需生成的流式场景比如持续读取固定长度的二进制块或者从网络接收实时数据。5.3 itertools迭代器的最佳拍档省掉一半手写循环除非你还在用Python 2.5否则我建议你直接拥抱itertools模块。它专门为迭代器设计所有返回的都是迭代器非常省内存。我平时用得最勤的子集from itertools import count, cycle, repeat, chain, zip_longest, product, permutationscount(start0, step1)无限等差序列生成器等价于range的无限版。cycle(iterable)无限重复某个序列比如轮班表。repeat(obj, timesNone)重复返回同一个对象。chain(*iterables)把多个迭代器首尾相连拼成一个长的迭代器。zip_longest(*iterables)类似内置zip但按最长的迭代器走缺失值用fillvalue补。product/permutations笛卡尔积和排列组合跑算法题时特别爽。举个实际例子你想计算两个列表所有元素之和但zip只到较短列表结束如果希望缺省位置填0就可以from itertools import zip_longest a [1, 2, 3] b [100, 200] for left, right in zip_longest(a, b, fillvalue0): print(left right) # 101 # 202 # 3对比手写if i len(a) else 0的老写法这个工具不知道简洁了多少。学习itertools的副作用是很多之前写得很绕的循环被压缩成一行函数式代码之后读起来反而更直观。5.4 生成器和迭代器的另一个区别是否支持send和close严格说生成器是一种迭代器但它比普通迭代器多了三个方法send(value)、throw(type, value, traceback)和close()。这意味着生成器不仅是数据产出器还可以双向通信。最典型的例子是协程模拟中的send传值def echo(): while True: received yield print(f收到: {received}) gen echo() next(gen) # 启动生成器执行到第一个yield gen.send(hello) # 收到: hello普通自定义迭代器类没有send方法。如果你需要这么高级的双向交互生成器是你的唯一选择。不过日常业务里用到send的机会不多我只在写有限状态机和流式协议解析时用过几次知道有这么个东西或够排查问题时用。6. 最后聊点实操层面的小体会这个选题写下来我自己也重新回忆了不少踩坑时刻。最直观的一个体会是真正理解迭代器之后你会发现很多“Pythonic”写法都是它衍生出来的。大文件不再一次性read()全部加载而是用for line in f大数据预处理不再攒出一整个列表而是用生成器表达式逐条喂给模型这些不是魔法全是迭代协议在背后撑腰。如果你现在才开始认真看这块内容我给一个简单的进阶路径先把iter()和next()玩熟再手写一个类迭代器然后练习用生成器改写range、zip这类内置函数的行为。等到你能不看文档写出islice的等价实现迭代器这块基本就入味了。还有个小技巧分享给你调试迭代器时如果想知道它“现在到哪一步了”别想着去查看迭代器内部属性——直接 next 几次看结果就行因为迭代器本身就该被这样消费。若怕状况不可逆用itertools.tee先克隆一份做试探再决定怎么处理原迭代器。这套方法在我处理流式数据时救过我不少次。
深入理解Python迭代器：for循环背后的协议与生成器实战
写这段代码的日子我盯着for i in range(100)又一次陷入沉思这个用了上千次的循环凭什么能从第一个元素自动跑到最后一个它怎么知道啥时候该停它背后到底干了些什么后来我翻了一整天源码和官方文档才恍然明白——for循环表面上是一个语法糖底层却是一个完整的迭代协议在运作。搞懂这层逻辑写生成器、处理大文件、自定义容器都会顺手很多再也不用靠“背API”来写代码。这篇文章不打算按教科书套路讲定义。我选择直接从最贴近日常的for循环切入一层层拆开迭代器 (Iterator) 的真实面目再把迭代器、可迭代对象、生成器这些纠缠不清的概念彻底排干净。适合所有写过Python但没细想过循环本质的开发者无论你是想优化数据处理还是想掌握更Pythonic的写法这篇都值得读完。1. for循环其实是个“协议翻译官”先搞懂迭代器的核心机制先抛一个反直觉的结论for循环根本不认识列表也不认识字典它只认识一种东西——迭代器。你在for里写了一个列表Python会偷偷把它转换成迭代器然后通过迭代器一个个往外拿值。这就是为什么我用“协议翻译官”来形容for循环它把“可迭代对象”翻译成“迭代器”再驱动迭代器工作。1.1 迭代协议到底是什么在Python世界里“协议”不是一种强制接口而是一种默契约定。迭代协议本质上由两个方法组成__iter__()返回一个迭代器对象。__next__()返回下一个元素如果没有元素了就抛出StopIteration异常。注意并不是每个可迭代对象都自己实现__next__。比如列表list它实现的是__iter__返回一个列表迭代器list_iterator这个迭代器对象才实现__next__。打开Python终端试一下 my_list [10, 20, 30] iterator iter(my_list) # 调用 my_list.__iter__() next(iterator) # 调用 iterator.__next__() 10 next(iterator) 20 next(iterator) 30 next(iterator) Traceback (most recent call last): ... StopIteration这个实验直接揭示了for循环的秘密它不断调用next()直到捕获到StopIteration异常才停下来。for循环本身不关心数据是列表、元组还是生成器它只管按协议往下拿。1.2 一个简单的for循环内部等价代码为了把“翻译官”翻译的样子完整呈现我先把for item in iterable:翻译成while循环版本iterator iter(iterable) # 等价于 iterable.__iter__() while True: try: item next(iterator) # 等价于 iterator.__next__() except StopIteration: break # 循环体 print(item)这么一看for循环没了任何神秘感。它本质上就是iter()next()StopIteration异常处理的组合。理解了这一点你再看到for循环的时候脑子里会自动浮现这个while版本调试代码时判断“什么时候取到了最后一个元素”就不再靠猜了。1.3 为什么列表本身不是迭代器这一点经常让新手疑惑列表明明可以用for遍历怎么就不是迭代器我用一个很直白的场景解释迭代器是一个“只能前进不能后退”的游标而列表是一个“随时可以回头访问”的仓库。列表把数据全部存在内存里支持索引、切片、随机访问迭代器没有索引你只能顺着指针一个接一个拿数据。验证看看 hasattr([], __next__) False hasattr([], __iter__) True列表只有__iter__没有__next__所以它只能生产出迭代器自己却不是迭代器。而文件对象、生成器这类东西既有__iter__又有__next__所以它们同时是迭代器也是可迭代对象。2. 可迭代对象与迭代器傻傻分不清的兄弟俩上一节提到列表不是迭代器这就带出一个更基础的区分可迭代对象 (Iterable)和迭代器 (Iterator)是两个完全不同的概念。我见过太多人在简历上写“熟悉Python迭代器”结果一问就混为一谈。弄清楚这对兄弟是彻底理解for循环的关键一步。2.1 判断标准iter()和isinstance()一句话区分最权威的判断方式不是靠肉眼而是交给Python内置函数如果一个对象能传给iter()并返回一个迭代器它就是可迭代对象。如果一个对象本身是迭代器的同时又是可迭代的那它就是迭代器Iterator。更严格的判定可以用collections.abc里的抽象基类from collections.abc import Iterable, Iterator my_list [1, 2, 3] my_iter iter(my_list) print(isinstance(my_list, Iterable)) # True print(isinstance(my_list, Iterator)) # False print(isinstance(my_iter, Iterator)) # True print(isinstance(my_iter, Iterable)) # True输出结果表明列表是“可迭代对象”但它不是“迭代器”列表的迭代器则同时满足了Iterable和Iterator两个身份。我习惯这样记Iterator是Iterable的子集。任何一个迭代器都必然是Iterable因为它实现了__iter__返回自己但不是每个Iterable都是Iterator。2.2 为什么要有两层区分惰性与状态持久化的代价那Python为什么不把所有容器都设计成自带迭代器的类型呢因为迭代器核心特征是“有状态”它记录当前遍历到哪个位置了。如果列表本身就是一个迭代器列表就只能保持一个当前位置多个循环同时遍历同一列表时就会互相踩脚。举个例子data [1, 2, 3, 4] for x in data: for y in data: print(x, y)这个双重循环能正常跑出16组组合正是因为外层循环和内层循环各自调用iter(data)得到了两个独立的迭代器各自维护自己的索引。如果列表自己就是迭代器第二个循环的指针会跟着第一个循环动结果彻底乱掉。所以Python设计了“可迭代对象”和“迭代器”两层一个负责提供数据一个负责消耗数据解耦之后互不干扰。2.3 哪些常见的对象是迭代器哪些不是我整理了一个速查表在实际编码中很实用对象可迭代对象?迭代器?说明列表 list是否每次iter()都返回新的迭代器元组 tuple是否同列表字典 dict是否迭代时返回键字符串 str是否迭代时返回单个字符文件对象是是也是迭代器逐行读取生成器 generator是是函数里含yield即为生成器range对象是否惰性计算序列不是迭代器枚举 enumerate是是自身就是迭代器这张表不是我背下来的全是实践总结的。比如字典虽然能迭代但你还得先确认迭代的是键很容易踩坑。文件对象则是迭代器的典型代表很多人用readline()一行行读其实直接用for line in f才是文件对象作为迭代器的正确姿势。3. 从零手写迭代器生成器只是冰山一角理解完概念之后真正的分水岭来了你能不能自己写一个迭代器很多人会说“我会写生成器”但生成器只是迭代器的便捷实现之一。我在这节里分两条路走一条是用yield生成器一条是用__iter____next__手动构造类。两条路写出来的东西从结果上看都是迭代器但设计思路完全不同。3.1 快速上手一个带状态的数字迭代器类假设我需要一个迭代器每次取一个数字从1开始每次翻倍。用类实现的话关键就是把状态存在self里class Doubler: def __init__(self, start1): self.current start def __iter__(self): return self def __next__(self): value self.current self.current * 2 return value注意两点__iter__返回self意思是“迭代器本身也是可迭代的”__next__内部没有停止条件所以这是个无限迭代器用for直接跑会死循环必须配合break或者itertools.islice。用一次doubler Doubler() for _ in range(5): print(next(doubler)) # 1, 2, 4, 8, 16这个例子虽然简单但足够说明类迭代器的核心你必须自己维护状态变量。像列表迭代器内部维护的就是索引值文件迭代器内部维护的是文件指针我们自定义迭代器也可以维护任意属性。3.2 用yield写同样逻辑为什么代码少这么多同样的功能用生成器写法就直观到不像代码def doubler(): current 1 while True: yield current current * 2调用doubler()得到一个生成器对象它自动实现了__iter__和__next__。函数里的yield就像把函数砍成两半每次执行到yield current就暂停把current传出去下一次next()从暂停的地方接着跑current * 2然后循环回到yield。很多人问我怎么选如果你需要保存别的属性和方法用类如果你只需要顺序产生值用生成器。比如你写一个迭代器除了next之外还想提供reset()方法重置状态类更合适。如果只是想把某种计算过程流式化生成器完胜。3.3 迭代器也可以反向思考何时不该用迭代器需要提醒的是迭代器不适合所有场景。比如你需要随机访问某个位置的元素或者需要反复遍历同一个数据集四次那么直接用列表或元组会更好。迭代器是“用完即走”你不能说“先暂停等我访问一下第三个元素再回来继续”。这就像磁带和CD的区别迭代器像磁带只能顺序播放容器像CD可以瞬间跳到任何一首。在实际项目里我遇到过有人强行把所有列表改成生成器结果需要每种数据做多次不同的聚合统计代码写到最后只能把生成器转成列表白白绕了一圈。迭代器只适合“一次消费”的场景比如逐行读大文件不适合需要多轮遍历的数据集合。4. 模拟for循环的一次完整执行从iter()到StopIteration前面已经写了for的while等价代码但纸上得来终觉浅。我特意做一次“手动驾驶实验”通过逐步调用iter()、next()并捕获异常完整还原for循环执行的全过程。你会发现StopIteration根本不是错误而是“正常结束”信号。4.1 手动开车的逐帧实验定义极简数据word AB it iter(word) # 获取迭代器 print(it) # str_iterator print(next(it)) # A print(next(it)) # B print(next(it)) # 触发StopIteration上面代码执行到最后一个next(it)时如果不在REPL环境程序会抛异常终止。但如果我用try包住它就模拟了for循环尾部逻辑it iter(word) while True: try: char next(it) print(f当前元素: {char}) except StopIteration: print(所有元素已取完循环结束) break输出为当前元素: A 当前元素: B 所有元素已取完循环结束这说明StopIteration被except捕获后所有迭代任务就宣告完成。注意StopIteration是Exception的子类但它在迭代语境里是正常流程的一部分不是错误提示。如果你在自己的迭代器__next__里遇到真正的错误别去抛StopIteration来暗示错误那是严重误用。4.2 for循环还做了额外处理自动销毁迭代器当for循环结束时其实还发生了一件事循环内部创建的那个迭代器对象在循环结束后就没有强引用了交给垃圾回收机制处理。严格说for循环本身没有像with那样保证销毁但由于迭代器通常不持有特殊资源这种自动回收够用了。文件对象这种特殊迭代器更建议用with语句保证关闭。另外for循环在Python 3还有一个细节它不会捕获循环体内自己抛出的StopIteration。例如def gen(): yield 1 raise StopIteration(自定义停止)如果循环体内某段逻辑触发了StopIterationPython会把你弄得措手不及。所以永远不要在业务逻辑里自己抛StopIteration这个异常是为迭代器协议保留的。我写爬虫代码时就吃过亏某次try块里本想吞掉“页面无数据”的异常结果意外抛了StopIteration整个for循环被吃掉排查了很久才发现。4.3 透过源码看迭代器iter内置函数的两种参数模式iter()函数有两种用法很多人只用过第一种iter(iterable)传入可迭代对象返回迭代器。iter(callable, sentinel)传入一个可调用对象和一个哨兵值重复调用 callable 直到返回值等于哨兵。第二种用法非常实用。比如逐块读取文件自定义大小或者持续读传感器数据直到达到阈值def read_chunk(): return file.read(1024) for chunk in iter(read_chunk, ): process(chunk)这段代码会反复调用read_chunk()直到返回空字符串才停止。它同样是迭代器协议在工作。遇到“需要不断执行某个函数直到特定值出现”的场景直接用这个内置函数不用自己去写while循环简洁得多。5. 真正用起来才遇到的三个坑一次性、无限循环和工具库理论讲完下面这三条基本可以认定是从实战里爬出来的。每个坑我都踩过讲出来希望你别再踩。5.1 迭代器是一次性“消耗品”用完就没有了这是个超级经典的坑。你以为迭代器和列表一样可以反复使用。真相是numbers [1, 2, 3] it iter(numbers) print(list(it)) # [1, 2, 3] print(list(it)) # []第一次list(it)把迭代器里的元素全部取走迭代器的状态已经指向末尾。第二次再转列表什么都没了。这个特性在业务中偶尔会咬人比如你先把it传给某个函数处理了一遍后面又想用it做第二遍统计结果发现数据不翼而飞。我的习惯是如果同一个数据需要多次使用就保留原始可迭代对象只有明确“只用一次”的时候才转成迭代器。如果确实需要重复迭代一个生成器的结果最简单的是用itertools.tee()拆出多个独立迭代器但要注意 tee 会占用内存不是免费午餐。5.2 无限迭代器要敢写也要会“刹车”迭代器不必有终点这既是优点也是危险。比如计数器、斐波那契数列、圆周率小数生成器都可以无限地next下去。但在for循环里直接跑无限迭代器程序就永远不结束。安全的玩法是配itertools.islicefrom itertools import islice def fibonacci(): a, b 0, 1 while True: yield a a, b b, a b first_ten list(islice(fibonacci(), 10)) print(first_ten) # [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]islice(fibonacci(), 10)从无限迭代器里取前10个元素取完自动停止。这比写break干净许多。无限迭代器也别滥用它适合数据量未知但按需生成的流式场景比如持续读取固定长度的二进制块或者从网络接收实时数据。5.3 itertools迭代器的最佳拍档省掉一半手写循环除非你还在用Python 2.5否则我建议你直接拥抱itertools模块。它专门为迭代器设计所有返回的都是迭代器非常省内存。我平时用得最勤的子集from itertools import count, cycle, repeat, chain, zip_longest, product, permutationscount(start0, step1)无限等差序列生成器等价于range的无限版。cycle(iterable)无限重复某个序列比如轮班表。repeat(obj, timesNone)重复返回同一个对象。chain(*iterables)把多个迭代器首尾相连拼成一个长的迭代器。zip_longest(*iterables)类似内置zip但按最长的迭代器走缺失值用fillvalue补。product/permutations笛卡尔积和排列组合跑算法题时特别爽。举个实际例子你想计算两个列表所有元素之和但zip只到较短列表结束如果希望缺省位置填0就可以from itertools import zip_longest a [1, 2, 3] b [100, 200] for left, right in zip_longest(a, b, fillvalue0): print(left right) # 101 # 202 # 3对比手写if i len(a) else 0的老写法这个工具不知道简洁了多少。学习itertools的副作用是很多之前写得很绕的循环被压缩成一行函数式代码之后读起来反而更直观。5.4 生成器和迭代器的另一个区别是否支持send和close严格说生成器是一种迭代器但它比普通迭代器多了三个方法send(value)、throw(type, value, traceback)和close()。这意味着生成器不仅是数据产出器还可以双向通信。最典型的例子是协程模拟中的send传值def echo(): while True: received yield print(f收到: {received}) gen echo() next(gen) # 启动生成器执行到第一个yield gen.send(hello) # 收到: hello普通自定义迭代器类没有send方法。如果你需要这么高级的双向交互生成器是你的唯一选择。不过日常业务里用到send的机会不多我只在写有限状态机和流式协议解析时用过几次知道有这么个东西或够排查问题时用。6. 最后聊点实操层面的小体会这个选题写下来我自己也重新回忆了不少踩坑时刻。最直观的一个体会是真正理解迭代器之后你会发现很多“Pythonic”写法都是它衍生出来的。大文件不再一次性read()全部加载而是用for line in f大数据预处理不再攒出一整个列表而是用生成器表达式逐条喂给模型这些不是魔法全是迭代协议在背后撑腰。如果你现在才开始认真看这块内容我给一个简单的进阶路径先把iter()和next()玩熟再手写一个类迭代器然后练习用生成器改写range、zip这类内置函数的行为。等到你能不看文档写出islice的等价实现迭代器这块基本就入味了。还有个小技巧分享给你调试迭代器时如果想知道它“现在到哪一步了”别想着去查看迭代器内部属性——直接 next 几次看结果就行因为迭代器本身就该被这样消费。若怕状况不可逆用itertools.tee先克隆一份做试探再决定怎么处理原迭代器。这套方法在我处理流式数据时救过我不少次。
