Python3环境安装Scrapy爬虫框架教程

Scrapy的基础概念

scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy安装介绍

Scrapy的安装有多种方式，它支持Python2.7版本及以上或Python3.3版本及以上。下面说明Python3环境下的安装过程。

Scrapy依赖的库比较多，至少需要依赖的库有Twisted 14.0，lxml 3.4，pyOpenSSL .014。而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好，尤其是Windows。

Anaconda

这种方法是比较简单的安装Scrapy的方法（尤其是对Windows来说），你可以使用该方法安装，也可以选用下文的专用平台安装方法。

Anaconda是包含了常用的数据科学库的Python发行版本，如果没有安装，可以点击<Anaconda的安装方法>参考教程安装软件。

如果已经安装，那么可以轻松地通过conda命令安装Scrapy。

安装命令如下：

conda install Scrapy

Windows

•   安装lxml

最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如是Python3.5版本，WIndows 64位系统，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载，然后通过pip安装。

下载之后，运行如下命令安装（后面的命令是文件名，其他版本替换文件名即可）：

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

•   安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件，然后pip安装。比如Python 3.5版本，Windows 64位系统，就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。

然后安装wheel文件即可，命令如下（后面的命令是文件名，其他版本替换文件名即可）：

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

• 安装pyOpenSSL

去官方网站下载wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后安装即可。

安装命令如下（后面的命令是文件名，其他版本替换文件名即可）：

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

• 安装Twisted

去官方网站下载wheel文件，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件，利用pip安装即可。
如Python 3.5版本，Windows 64位系统，下载Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然后pip安装。

安装命令如下（后面的命令是文件名，其他版本替换文件名即可）：

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

• 安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

• 安装Scrapy

最后安装Scrapy即可，依然使用pip，命令如下：

pip3 install Scrapy

Scrapy测试

我们到底有没有安装完成呢，去验证一下就好了。

输入scrapy命令测试：

scrapy

如果安装成功会出现以下信息：