迭代器
Python 迭代器是一种对象,它实现了迭代协议,包括 __iter__()
和 __next__()
方法。迭代器可以让你在数据集中逐个访问元素,而无需关心数据结构的底层实现。与列表或其他集合相比,迭代器可以节省内存,因为它们一次只生成一个元素。
迭代器的基本特点
- 懒加载:迭代器不会一次性将所有数据加载到内存中,而是根据需要生成元素。
- 状态保持:迭代器在迭代过程中会保持其状态,可以从上次停止的地方继续迭代。
- 可以遍历:迭代器是可遍历的,可以使用
for
循环等结构来进行遍历。
下面的代码可以看出迭代器在节省内存方面的作用。
import sys
import random# 生成 1-100的随机数的集合,共1000个元素
numbers = [random.randint(1, 100) for _ in range(1000)]
iterator = iter(numbers)# 打印对象的内存大小
print(sys.getsizeof(numbers)) # 9016
print(sys.getsizeof(iterator)) # 48
迭代器的经典demo:
# 创建一个简单的迭代器
class MyIterator:def __init__(self, limit):self.limit = limitself.current = 0def __iter__(self):return selfdef __next__(self):if self.current < self.limit:self.current += 1return self.currentelse:raise StopIteration# 使用迭代器
for num in MyIterator(5):print(num)
迭代器在读取大文件的经典应用:
with open('users.csv', 'r') as file:for line in file:print(line.strip())
逐行读取文件内容,而不需要将整个文件加载到内存中。这种方法节省了内存资源,特别是在处理非常大的文件时。
生成器
生成器是一种特殊类型的迭代器,它允许你在函数中暂停执行并在以后继续。
使用 yield
的基本概念:
-
生成器函数:当一个函数包含
yield
语句时,它不再是一个普通的函数,而是一个生成器函数。当调用这个函数时,它不会立即执行,而是返回一个生成器对象。 -
状态保留:每次调用生成器的
__next__()
方法(或者使用next()
函数)时,生成器函数会从上次执行的位置继续执行,直到遇到下一个yield
语句。在此时,函数的执行状态(包括局部变量)会被保留。 -
迭代:生成器可以被用于迭代,像普通的列表或其他可迭代对象一样。使用
for
循环可以逐个获取生成器产生的值。
# 定义一个生成器函数
def read_users():with open('users.csv', 'r') as file:for line in file:yield line.strip()r1 = read_users() # 定义一个生成器对象
r2 = read_users() # 定义另一个生成器对象
print(next(r1))
print(next(r1))
print(next(r1))
print(next(r1))
print(next(r2))
print(next(r2))
print(next(r2))
print(next(r2))