Python爬虫之三

1）使用Scrapy，什么叫做Scrapy

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

2）安装的Scrapy

$ : sudo pip3 install scrapy

3)确定要爬去网站

如：http://bolg.jobbole.com/

　　步骤为：

　　（1）在/home/下新建文件夹

　　　　如：testspider

　　（2）使用命令进入文件夹

　　　　cd ~/testspider

　　　(3)