pycharm怎么新建一个scrapy项目

Scrapy 是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 通过scrapy的二次开发，您几乎可以爬取世界上90%以上的网站。下面我简单介绍下scrapy系统的安装与工程的创建。

1、安装

pip install scrapy

如果顺利的话你会看到

Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 attrs-17.4.0 constantly-15.1.0 cssselect-1.0.3 hyperlink-18.0.0 idna-2.6 incremental-17.5.0 parsel-1.4.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 queuelib-1.5.0 scrapy-1.5.0 service-identity-17.0.0 w3lib-1.19.0

如果出现

OSError: [Errno 13] Permission denied: '/Library/Python/2.7/site-packages/w3lib'

则在pip install scrapy  前加sudo就行了 即sudo pip install scrapy

2、查看版本

scrapy --version

执行成功你将看到

Scrapy 1.5.0 - no active project

如果出现

AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'

这个异常则需要查看

twisted的 版本，我这里查看到的是Twisted-17.9.0

这时候则需要执行

sudo pip install twisted==13.1.0

出现

Successfully installed twisted-13.1.0

这时候再执行

sudo scrapy --version

3、创建项目

scrapy startproject quotes

执行成功后可看到

New Scrapy project 'quotes', using template directory '/Library/Python/2.7/site-packages/scrapy/templates/project', created in:

    /Users/tiancb/quotes

You can start your first spider with:

    cd quotes

    scrapy genspider example example.com

4、导入项目

下面就可以编写自己的项目了