Scrapy 安装问题集锦

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012759136/article/details/47363699

scrapy 具体安装教程网上已经有很多了,我也就不赘述了。但是在我 按照网上教程安装时,遇到的很多问题并没有一个统一的解决。所以,在此进行一个安装问题的集锦,如果大家还遇到了其他问题,欢迎提出,随时更新~ OK!直接上干货~
—— 废话

1.安装 scrapy 所需文件:

 scrapy 
 pywin32 
 twisted(依赖于 zope.interface pyopenssl)
 lxml

具体文件可去对应官网下载
或者去 该网站下载(适用于windows同学)


2.win7/8同学安装对应文件出现python 2.7 required 问题

原因:

python 的版本是 python 64bit

解决:

  • 卸载 python 64bit, 安装 python 32bit即可(win8卸载方法:控制面板-卸载程序-卸载)
  • win8同学可能在卸载的时候会遇到中断的问题,可在 该网站 下下载对应文件安装即可,这个网站下的文件是专门针对于 windows 下64bit的情况
  • Tip:在网站下使用Ctrl-F查找将更加方便;安装whl文件,使用
    pip install *.whl,前提要安装了pip)

3.在运行scrapy crawl spider 时出现 unhandled error in deferred

Unhandled error in Deferred:
[twisted] CRITICAL: Unhandled error in Deferred:
[twisted] CRITICAL:

原因:

pywin32 module 只下载了没安装

解决:

进入文件夹 python27/Scripts/ 找到 pywin32_postinstall.py 文件,在当前目录下的命令行中执行 python pywin32_postinstall.py -install (原答案找到于 stackoverflow


4.运行 scrapy 时出现缺少文件service_identity

解决:

找到 service_identity-14.0.0-py2.py3-none-any.whl 文件安装即可

猜你喜欢

转载自blog.csdn.net/u012759136/article/details/47363699