内容介绍
很多小伙伴爬虫做多了发现没有在开始做合理规划的情况下后期整理或者再次使用、查询的时候非常尴尬，为了避免这种尴尬的局面，很多内容要提前做好准备，也是为了后期的管理框架搭建做准备。
因此这个章节很重要，要看懂这篇文章是做什么的，为什么后面你会发现爬个网站分分钟的事。
通过这种方法整理了几万个页面进行部署管理的时候很方便。
了解学习全部Scrapy模块学习请点传送门
【Scrapy 2.4.0 文章目录】源码解析篇：全部配置目录索引
整理目标
不管是为了搭建Django网站还是其他什么原因，整理是很重要的。为了抓取的内容通过python脚本自动化处理到这些栏目中现在Excel中构建表格。也为了后期抓取的内容整理分类方便。
先看下我的 基于Django的资源管理网站