使用命令scrapy startproject test1来创建第一个scrapy工程
cd test1
然后使用scrapy genspider -l 查看所有spider的模板
然后选择basic 模板创建一个spider: scrapy genspider -t basic first www.whu.edu.cn
然后进入spider目录编辑first.py文件，重写parse方法，可以使用help(response)查看其中的属性及方法。常用的就是response.url与response.txt
最后编写好spider后可以启动scrapy ： scrapy crawl first