scrapy写爬虫经历

scrapy写爬虫经历

前一段时间自己做项目参赛，用scrapy爬了许多网课平台的数据，当时没咋总结。最近又要搞事情，总结一下吧。有啥想法都会在次记录下来。

1. 安装，使用

ubuntu 1604
docker+mysql5.7
anaconda>python3.6
pycharm

pip install scrapy 安装Scrapy

在pycharm新建一个项目，然后在终端输入：
scrapy startproject companys
就会自动建立一个文件树。如下图：

2.

3.

4.

5.

6.