2018.6.27 Python第十一课

生成器和迭代器

生成器在我个人看来还是比较容易理解的。

---

一、推导式

要想理解生成器，我们先来看下什么是推导
推导式是Python中很强大的、很受欢迎的特性，具有语言简洁，速度快等优点。推导式包括:
1.列表推导式：[表达式 for 变量 in 列表] 或者 [表达式 for 变量 in 列表 if 条件]
2.字典推导式：{表达式 for 变量 in 列表] 或者 [表达式 for 变量 in 列表 if 条件}
3.集合推导式：{表达式 for 变量 in 列表] 或者 [表达式 for 变量 in 列表 if 条件}

1.列表推导式，比如：

#将字典dict1中的键值对以元组的形式输出
dict1={'a':6,'b':8}
#list1=[a for a in dict1.items()]
list1=[(a,b) for a,b in dict1.items()]
print(list1)

#0-9的数平方
list2=[x**2 for x in range(10)]
print(list2)

#将单词长度大于3的转为大写输出
list4=['bob','tom','alice','jerry','wendy','smith']
# def Lower(x):
#     x=x.upper()
#     return x
#list3=[Lower(x) for x in list4 if len(x)>3]
list3=[x.upper() for x in list4 if len(x)>3]
for i in list3:
    print(i)

#求(x,y)其中x是0-5之间的偶数，y是0-5之间的奇数组成的元祖列表
list5=[(x,y) for x in range(5) if x%2==0 for y in range(5) if y%2==1]
print(list5)

#求m中3,6,9组成的列表
m = [[1,2,3],[4,5,6],[7,8,9]]
m1=[i[2] for i in m]
print(m1)

---

2.字典推导式,代码如下：

#快速交换字典mcase中的键与值
mcase = {'a': 10, 'b': 34}
mcase_frequency = {v: k for k, v in mcase.items()}
print(mcase_frequency)
#输出结果为: {10: 'a', 34: 'b'}

---

3.集合推导式,代码：

#将列表【1，1，2】中的每个值进行平方操作
squared = {x**2 for x in [1, 1, 2]}
print(squared)
# 输出结果为: {4, 1}

集合推导式和列表推导式一样，只不过就是列表推导式的[]换成{}，那么可能有人会问了，集合推导式不就又和字典推导式的{}有冲突了？仔细想下，集合和字典得到区别，字典是以键值对的形式出现的，所以字典推导式中的表达式也得是键值对的形式。

---

二、生成器

看完以上三种推导式，你会好奇为什么没有元组推导式呢。这就是接下来咱们要说到的生成器了。
可能你也会自己把列表生成式的[]改成元组的()，你会发现运行结果同样不会报错，但是结果却不一样，一个打印出来是列表（因为是列表生成式），而第二个打印出来却是<generator object <genexpr> at 0x000002A4CBF9EBA0>，这就是生成器对象。

1.什么是生成器
通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。
所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Python中，这种一边循环一边计算的机制，称为生成器：generator。
2.创建一个generator（生成器）
2.1()生成式
要创建一个generator，有很多种方法。第一种方法很简单，就像咱们上面说到的，只要把一个列表生成式的[]改成()，就创建了一个generator：

#生成器

generator_ex = (x*x for x in range(10))
print(generator_ex)

以上代码运行结果为<generator object <genexpr> at 0x000002A4CBF9EBA0>
我们可以直接打印出list的每一个元素，但我们怎么打印出generator的每一个元素呢？
如果要一个一个打印出来，可以通过next()函数获得generator的下一个返回值：
比如：

print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))
print(next(generator_ex))

以上输出结果为:
0
1
4
9
16
25
36
49
64
81
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
我们讲过，generator保存的是算法，每次调用next(g)，就计算出g的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。
当然，上面这种不断调用next()实在是太变态了，正确的方法是使用for循环，因为generator也是可迭代对象：

for i in generator_ex:
    print(i)

所以，我们创建了一个generator后，基本上永远不会调用next()，而是通过for循环来迭代它，并且不需要关心StopIteration的错误。

---

2.2yield
generator非常强大。如果推算的算法比较复杂，用类似列表生成式的for循环无法实现的时候，还可以用函数来实现。
比如，著名的斐波拉契数列（Fibonacci），除第一个和第二个数外，任意一个数都可由前两个数相加得到：
1, 1, 2, 3, 5, 8, 13, 21, 34, …
斐波拉契数列用列表生成式写不出来，但是，用函数把它打印出来却很容易：

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        print(b)
        a, b = b, a + b
        n = n + 1
    return 'done'
    fib(6)

上面的函数可以输出斐波那契数列的前6个数：
1
1
2
3
5
8
'done'
仔细观察，可以看出，fib函数实际上是定义了斐波拉契数列的推算规则，可以从第一个元素开始，推算出后续任意的元素，这种逻辑其实非常类似generator。
也就是说，上面的函数和generator仅一步之遥。要把fib函数变成generator，只需要把print(b)改为yield b就可以了：

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1
f=fib(6)
for i in f:
    print(i)

这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator.

---

2.3yield的执行流程
这里，最难理解的就是generator和函数的执行流程不一样。函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。
这里举个简单的例子：

def test():
    for i in range(5):
        print("yield开始")
        yield i
        print("yeild结束")
t=test()
print(next(t))
print(next(t))

当我们第一次执行print(next(t))的时候，发现结果是yield开始 0。第二次执行的时候结果就是:
yield开始
0
yeild结束
yield开始

所以，在执行过程中，遇到yield就中断，下次又继续执行。

---

2.用for循环调用generator时,拿到返回值

回到fib的例子,

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        print(b)
        a, b = b, a + b
        n = n + 1
    return 'done'
f=fib(6)
for i in f:
    print(i)

我们会发现输出结果是：
1
1
2
3
5
8
用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

g = fib(6)
while True:
     try:
         x = next(g)
         print('g:', x)
     except StopIteration as e:
         print('Generator return value:', e.value)
         break

此时输出结果会是：
g: 1
g: 1
g: 2
g: 3
g: 5
g: 8
Generator return value: done