Python中可迭代对象、迭代器、生成器详解

本篇文章简单谈谈可迭代对象，迭代器和生成器之间的关系。

一、三者简要关系图

 

可迭代对象分为三类，分别是迭代器、序列和字典。其中实现了__iter__方法的对象就叫做可迭代对象；实现了__iter__和__next__()方法的对象叫做迭代器；具有yield关键字的函数都是生成器；

 

二、可迭代对象与迭代器

2.1 可迭代对象

2.1.1 定义

在Python世界里，一切皆对象。对象根据定义的维度，又可以分为各种不同的类型，比如：文件对象，字符串对象，列表对象等等。那什么对象才能叫做可迭代对象呢？一句话：“实现了__iter__方法的对象就叫做可迭代对象”，__iter__方法的作用就是返回一个迭代器对象。直观理解就是能用for循环进行迭代的对象就是可迭代对象。比如：字符串，列表，元祖，字典，集合等等，都是可迭代对象。

2.2.2 for循环与__iter()__方法关系？

比如我们在对一个列表进行迭代时，如下代码：

x = [1,2,3]
for i in x:
    print(i)

实际执行情况如下图：

1. 调用可迭代对象（本例中的列表x）的__iter__方法返回一个迭代器对象（iterator）
2. 不断调用迭代器的__next__方法返回元素
3. 直到迭代完成后，自动处理StopIteration异常

2.2 迭代器

什么叫迭代器呢？它是一个带状态的对象，他能在你调用next()方法的时候返回容器中的下一个值，任何实现了__iter__和__next__()方法的对象都是迭代器，__iter__返回迭代器自身，__next__返回容器中的下一个值，如果容器中没有更多元素了，则抛出StopIteration异常。

示例代码：

#1. 定义fab类
class Fab():
    def __init__(self,max):
        self.n = 0
        self.prev = 0
        self.curr = 1
        self.max = max

    def __iter__(self):
        return self

    def __next__(self):
        if self.n < self.max:
            value = self.curr
            self.curr += self.prev
            self.prev = value
            self.n += 1
            return value
        else:
            raise StopIteration

# 调用
f = Fab(5)
print(next(f))
print(next(f))
print(next(f))
print(next(f))
print(next(f))
#max=5, 正常输出前5个值，第六次next则会抛出异常
print(next(f))

输出结果：

1

1

2

3

5

Traceback (most recent call last):

  File "ex1.py", line 56, in <module>

    print(next(f))

  File "ex1.py", line 47, in __next__

    raise StopIteration

StopIteration

迭代器就像一个懒加载的工厂，等到有人需要的时候才给它生成值返回，没调用的时候就处于休眠状态等待下一次调用。直到无元素可调用，返回StopIteration异常。

2.3 可迭代对象与迭代器的区别与联系

1）可迭代对象包含迭代器。

2）如果一个对象拥有__iter__方法，其是可迭代对象；如果一个对象拥有next方法，其是迭代器。

3）定义可迭代对象，必须实现__iter__方法；定义迭代器，必须实现__iter__和next方法。

你也许会问，结论3与结论2是不是有一点矛盾？既然一个对象拥有了next方法就是迭代器，那为什么迭代器必须同时实现两方法呢？因为结论1，迭代器也是可迭代对象，因此迭代器必须也实现__iter__方法。
 

2.4 iter与next方法说明

1）__iter__()

该方法返回的是当前对象的迭代器类的实例。因为可迭代对象与迭代器都要实现这个方法，因此有以下两种写法。

写法一：用于可迭代对象类的写法，返回该可迭代对象的迭代器类的实例。

写法二：用于迭代器类的写法，直接返回self（即自己本身），表示自身即是自己的迭代器。

2）next()

返回迭代的下一步，实现该方法时注意最后超出边界要抛出StopIteration异常。

2.5 可迭代对象与迭代器举例

# coding=utf-8  
  
#1. 定义可迭代对象类  MyList类
class MyList(object):            
  
    def __init__(self, num):  
        self.data = num          # 上边界  
  
    def __iter__(self):  
        return MyListIterator(self.data)  # 返回该可迭代对象的迭代器类的实例  
  
#2. 定义可迭代对象的迭代器类  MyListIterator类
class MyListIterator(object):    
  
    def __init__(self, data):  
        self.data = data         # 上边界  
        self.now = 0             # 当前迭代值，初始为0  
  
    def __iter__(self):  
        return self              # 返回该对象的迭代器类的实例；因为自己就是迭代器，所以返回self  
  
    def next(self):              # 迭代器类必须实现的方法  
        while self.now < self.data:  
            self.now += 1  
            return self.now - 1  # 返回当前迭代值  
        raise StopIteration      # 超出上边界，抛出异常  
  
  
#3. 测试代码
my_list = MyList(5)              # 得到一个可迭代对象  
print type(my_list)              # 返回该对象的类型  
  
my_list_iter = iter(my_list)     # 得到该对象的迭代器实例，iter函数在下面会详细解释  
print type(my_list_iter)  
  
  
for i in my_list:                # 迭代  
    print i  

<class '_main_.MyList' >

<class '_main_.MyListIterator' >

0

1

2

3

4

问题：上面的例子中出现了iter函数，这是什么东西？和iter方法有关系吗？
其实该函数与迭代是息息相关的，通过在Python命令行中打印“help(iter)”得知其有以下两种用法。

用法一：iter(callable, sentinel)
不停的调用callable，直至其的返回值等于sentinel。其中的callable可以是函数，方法或实现了call方法的实例。

用法二：iter(collection)
1）用于返回collection对象的迭代器实例，这里的collection我认为表示的是可迭代对象，即该对象必须实现iter方法；事实上iter函数与iter方法联系非常紧密，iter()是直接调用该对象的iter()，并把iter()的返回结果作为自己的返回值，故该用法常被称为“创建迭代器”。
2）iter函数可以显示调用，或当执行“for i in obj:”，Python解释器会在第一次迭代时自动调用iter(obj)，之后的迭代会调用迭代器的next方法，for语句会自动处理最后抛出的StopIteration异常。

通过上面的例子，相信对可迭代对象与迭代器有了更具体的认识，那么生成器与它们有什么关系呢？下面简单谈一谈

三、生成器

• 生成器是一种特殊的迭代器，生成器自动实现了“迭代器协议”（即__iter__和next方法），不需要再手动实现两方法。

• 生成器在迭代的过程中可以改变当前迭代值(通过send()方法)，而修改普通迭代器的当前迭代值往往会发生异常，影响程序的执行。

• 生成器一定是迭代器（反之不成立），因此任何生成器也是以一种懒加载的迭代器。

看一个生成器的例子：

# coding=utf-8  
  
#1. 定义生成器  
def myList(num):     
    now = 0           # 当前迭代值，初始为0  
    while now < num:  
        val = (yield now)                      # 返回当前迭代值，并接受可能的send发送值；
        now = now + 1 if val is None else val  # val为None，迭代值自增1，否则重新设定当前迭代值为val  
  
#2. 测试代码
my_list = myList(5)   # 得到一个生成器对象  
  
print my_list.next()  # 返回当前迭代值  
print my_list.next()  
  
my_list.send(3)       # 重新设定当前的迭代值  
print my_list.next()  
  
print dir(my_list)    # 返回该对象所拥有的方法名，可以看到__iter__与next在其中  

运行结果：

总结：

• 具有yield关键字的函数都是生成器，yield可以理解为return，返回后面的值给调用者。不同的是return返回后，函数会释放，而生成器则不会。在直接调用next方法或用for语句进行下一次迭代时，生成器会从yield下一句开始执行，直至遇到下一个yield。
• 生成器特殊的地方在于函数体中没有return关键字，函数的返回值是一个生成器对象。当执行f=fab()返回的是一个生成器对象，此时函数体中的代码并不会执行，只有显示或隐示地调用next的时候才会真正执行里面的代码。
• 生成器还有一个send方法，可以往生成器里的变量传值。

四、生成器表达式

生成器表达式是列表推导式的生成器版本，看起来像列表推导式，但是它返回的是一个生成器对象而不是列表对象。

a = (x for x in range(10))
print(a)

执行结果：

"C:\Program Files\Python36\python.exe" D:/Git/Test_Framework/utils/1.py
<generator object <genexpr> at 0x000000000289D8E0>

Process finished with exit code 0

五、参考资料

• Python核心编程第二版11.10节，13.13.3节
• 完全理解Python迭代对象、迭代器、生成器
• 深入讲解Python中的迭代器和生成器
• 如何更好地理解Python迭代器和生成器
• https://www.cnblogs.com/eastonliu/p/9156418.html