-
创建项目
scrapy startproject 项目名
-
个人习惯使用vscode进行编码,相较于pycharm而言,vscode属于轻量级编译器,打开终端,输入以下命令
1. scrapy genspider spider名 爬取的网站 2. 例如:scrapy genspider weather https://www.tianqi.com/fuan/
-
此时会在项目的spider文件夹下生成weather.py.
-
由于爬取的天气网站https://www.tianqi.com/fuan/右键无法查看网页源代码,我自己就先ctrl+s将html页面保存到桌面端,然后再打开,此时便可以右键查看到网页源代码.
-
以上工作都做完后,我们便可以开始编写核心代码了.
-
首先书写items.py, 定义我们需要封装的字段名字
class FuanweatherItem(scrapy.Item): city = scrapy