1、在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
2、该命令将会创建包含下列内容的 tutorial
目录: tree
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
这些文件分别是:
scrapy.cfg
: 项目的配置文件tutorial/
: 该项目的python模块。之后您将在此加入代码。tutorial/items.py
: 项目中的item文件.tutorial/pipelines.py
: 项目中的pipelines文件.tutorial/settings.py
: 项目的设置文件.tutorial/spiders/
: 放置spider代码的目录.
3、
cd tutorial 之后先 scrapy genspider dmoz dmoz.org, 然后再scrapy crawl dmoz |
注意目录路径为:
第一步的执行路径为.\Anaconda3\Scripts\tutorial
第二步的执行路径不变。
否则会报错执行不通。
之后就可以自主的编辑项目的spider和pipelines