（一)学习心得
（二）知识点总结
1. 高性能爬虫相关
1）http协议本质：
方案：
多进程 > 多线程 > 单线程
本质：
sk = socket()
# 阻塞
sk.connect(('www.cnblogs.com',80))
sk.sendall(b"GET /wupeiqi http1.1\r\n.....\r\n\r\n")
sk.sendall(b"POST /wupeiqi http1.1\r\n.....\r\n\r\nuser=alex&pwd=123")
# 阻塞
data = sk.recv(8096)
sk.close()
IO多路复用：监听多个socket是否发生变化
问题：
- 非阻塞
- 监听socket变化
2）什么是异步非阻塞？
- 非阻塞
- 不等待(报错，捕捉异常)
- 代码：
sk = socket.socket()
sk.setblocking(False)
- 异步：
- 回调，当达到某个指定的状态之后，自动调用特定函数。
自定义异步非阻塞模块
基于socket设置setblocking和IO多路复用来实现。
爬虫发送Http请求本质创建socket对象；
IO多路复用"循环"监听socket是否发生变化，一旦发生变化， 我们可以自定义操作（触发某个函数的执行）
- 基于事件循环
- 基于协程
本质：socket+IO多路复用
使用：
情况一：
import asyncio
import requests
@asyncio.coroutine
def fetch_async(func, *args):
loop = asyncio.get_event_loop()
future = loop.run_in_executor(None, func, *args)
response = yield from future
print(response.url, len(response.content))
tasks = [
fetch_async(requests.get, 'http://www.cnblogs.com/wupeiqi/'),
fetch_async(requests.get, 'http://dig.chouti.com/pic/show?nid=4073644713430508&lid=10273091')
]
loop = asyncio.get_event_loop()
results = loop.run_until_complete(asyncio.gather(*tasks))
loop.close()
情况二：
import gevent
from gevent import monkey
monkey.patch_all()
import requests
def fetch_async(method, url, req_kwargs):
print(method, url, req_kwargs)
response = requests.request(method=method, url=url, **req_kwargs)
print(response.url, len(response.content))
# ##### 发送请求 #####
gevent.joinall([
gevent.spawn(fetch_async, method='get', url='https://www.cnblogs.com/', req_kwargs={}),
gevent.spawn(fetch_async, method='get', url='https://www.baidu.com/', req_kwargs={}),
gevent.spawn(fetch_async, method='get', url='https://www.sogo.com/', req_kwargs={}),
])
# ##### 发送请求（协程池控制最大协程数量） #####
# from gevent.pool import Pool
# pool = Pool(None)
# gevent.joinall([
# pool.spawn(fetch_async, method='get', url='https://www.python.org/', req_kwargs={}),
# pool.spawn(fetch_async, method='get', url='https://www.yahoo.com/', req_kwargs={}),
# pool.spawn(fetch_async, method='get', url='https://www.github.com/', req_kwargs={}),
# ])
情况三：
from twisted.web.client import getPage, defer
from twisted.internet import reactor
def all_done(arg):
reactor.stop()
def callback(contents):
print(contents)
d_list = []
url_list = ['http://www.bing.com', 'http://www.baidu.com', ]
for url in url_list:
d = getPage(bytes(url, encoding='utf8'))
d.addCallback(callback)
d_list.append(d)
# 用于检查是否页面已经全部下载完成，如果已下载完成那么，就停止循环。
dlist = defer.DeferredList(d_list)
dlist.addBoth(all_done) #
reactor.run()
3）什么是协程？
协程是 “微线程” ，让一个线程 先执行某几行代码 再调到某处 执行某几行代码。
是“微线程”，不存在；是由程序员人为创造出来并控制程序：先执行某段代码、再跳到某处执行某段代码。
- 如果遇到非IO请求来回切换：性能更低。
- 如果遇到IO（耗时）请求来回切换：性能高、实现并发（本质上利用IO等待的过程，再去干一些其他的事）
如果 协程+遇到IO就切换 => 可以实现并发
通过yield实现一个协程：
def func1():
print('adsfasdf')
print('adsfasdf')
print('adsfasdf')
yield 1
print('adsfasdf')
print('adsfasdf')
print('adsfasdf')
yield 2
yield 3
yield 4
def func2():
print('adsfasdf')
print('adsfasdf')
print('adsfasdf')
yield 11
yield 12
yield 19
g1=func1()
g2=func2()
g1.send(None)
g1.send(None)
g2.send(None)
通过greenlet模块：
from greenlet import greenlet
def test1():
print 12
gr2.switch()
print 34
gr2.switch()
def test2():
print 56
gr1.switch()
print 78
gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()
2.Scrapy模块
1）安装scrapy
scrapy是个什么鬼？
- 帮我们提供一个可扩展功能齐全的爬虫框架。
安装：
Linux/mac
- pip3 install scrapy
Windows:
- 安装twsited
a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 进入下载目录，执行 pip3 install Twisted-xxxxx.whl
- 安装scrapy
d. pip3 install scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
- 安装pywin32
e. pip3 install pywin32 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
2）快速使用：
Django：
django-admin startproject mysite
cd mysite
python manage.py startapp app01
# 写代码
python manage.py runserver
Scrapy：
创建project:
scrapy startproject xianglong
cd xianglong
scrapy genspider chouti chouti.com
#写代码
scrapy crawl chouti --nolog
3）scrapy相关：
spider，编写爬虫程序，去解析并处理请求。
def parse():
- HtmlXPathSelector
- yield item
- yield request
2. item/pipelines
配置：
ITEM_PIPELINES = {
'xianglong.pipelines.XianglongPipeline': 300,
}
使用：
class XianglongPipeline(object):
def process_item(self, item, spider):
self.f.write(item['href']+'\n')
self.f.flush()
return item
def open_spider(self, spider):
"""
爬虫开始执行时，调用
:param spider:
:return:
"""
self.f = open('url.log','w')
def close_spider(self, spider):
"""
爬虫关闭时，被调用
:param spider:
:return:
"""
self.f.close()