爬虫--Scrapy框架课程介绍

Scrapy框架课程介绍：

1. 框架的简介和基础使用
2. 持久化存储
3. 代理和cookie
4. 日志等级和请求传参
5. CrawlSpider
6. 基于redis的分布式爬虫

一scrapy框架的简介和基础使用

a)         概念：为了爬取网站数据而编写的一款应用框架，出名，强大。所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。（高性能的异步下载，解析，持久化……）

b)         安装：

                             i. linux mac os:pip install scrapy

ii. win:

1. pip install wheel
2. 下载twisted：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

pip install 下载好的框架.whl

1. pip install pywin32
2. pip install scrapy

c)          基础使用： 使用流程

                         i.                创建一个工程：scrapy startproject 工程名称

1. 目录结构：

                         ii.                在工程目录下创建一个爬虫文件:

1. cd 工程
2. scrapy genspider 爬虫文件的名称 起始url

                         iii.                对应的文件中编写爬虫程序来完成爬虫的相关操作

                         iv.                配置文件的编写（settings）

                         v.                执行

                         vi.                在工程目录下创建一个爬虫文件

1. cd 工程
2. scrapy genspider 爬虫文件的名称 起始的url

                       vii.                对应的文件中编写爬虫程序来完成爬虫的相关操作

                        viii.                配置文件的编写（settings）

1. 19行：对请求载体的身份进行伪装
2. 22行：不遵从robots协议

                         ix.                执行 ：scrapy crawl 爬虫文件的名称   --nolog(阻止日志信息的输出)

 

 

cp后面的数字代表python的版本，35代表3.5版本；