Scrapy搭建爬虫项目

版权声明:小仙女的博客,不支持无偿复制粘贴转载 https://blog.csdn.net/qq_40655579/article/details/83003429

1.输入workon命令,进入已经设置好的一个虚拟环境。
2.安装scrapy框架:pip install scrapy
3.安装本地Twisted的wheel文件(上一篇博客有下载地址和安装方法)
https://blog.csdn.net/qq_40655579/article/details/83002590
4.scrapy startproject 项目名称
按照提示命令执行

cd 项目名称
genspider spider 爬虫名 域名

5.scrapy crawl 爬虫名# 执行爬虫
第一次执行很可能会报错,出现No module named ‘win32api’
在这里插入图片描述

执行 pip install pypiwin32下载即可

猜你喜欢

转载自blog.csdn.net/qq_40655579/article/details/83003429