爬虫框架scrapy基本原理

一、scrapy介绍和快速使用

scrapy是python的爬虫框架，类似于django（python的web框架）。

安装：

• Mac、Linux
  执行pip3 install scrapy，不存在任何问题
• Windows
  执行pip3 install scrapy，如果安装失败，执行下面步骤：
  （1）安装wheel（为支持通过文件安装软件）：pip3 install wheel（wheel官网）
  （2）安装lxml：pip3 install lxml
  （3）安装pyopenssl：pip3 install pyopenssl
  （4）下载并安装pywin32（pywin32官网 或 github地址）
  （5）下载twisted的wheel文件（twisted官网），执行pip3 in