- 必读书单 -
不需要一大堆书单和教程，关于python爬虫，看这8本书就够了。
- 网站博客 -
该项目收集了一些各大网站登陆方式和一些网站的爬虫程序，用于研究和分享各大网站的模拟登陆方式和爬虫程序。
网址：https://awesome-python
《python3网络爬虫与开发实战》作者，在此博客上面分享一些自己的爬虫案例和心得，内容非常丰富。
网址：https://cuiqingcai.com
Scraping.pro
Scraping.pro是一个专业的采集软件测评网站，上面有各种国外比较顶尖的采集软件测评文，比如scrapy、octoparse等
网址：http://www.scraping.com/
Kdnuggets
相比scraping.pro，Kdnuggets涵盖范围更广，包括商业分析、大数据、数据挖掘、数据科学等。
网址：https://www.kdnuggets.com/
Octoparse
Octoparse是一款功能强大的免费采集软件，它的博客提供的内容比较广，浅显易懂，比较适合初步的网站采集用户。
网址：https://www.octoparse.com
Big Data News
Big data news和Kdnuggets类似，涵盖的范围主要是在大数据行业方面，网站采集是其下面的一个子栏目。
网址：https://www.bigdatanews
Analytics Vidhya
跟Big data news类似，Analytics Vidhya是一个更专业的数据采集网站，内容涵盖数据科学、机器学习、网站采集等。
网址：https://www.analyticsvidhya
- 爬虫框架 -
Scrapy
是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
网址：https://scrapy.org
PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看.
后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
网址：https://pyspider
Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
网址：http://crawley-cloud.com/
Portia
Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！
网址：https://portia
Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
网址：https://newspaper
Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。
它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。
网址：https://BeautifulSoup/bs4/doc/
Grab
Grab是一个用于构建Web刮板的Python框架。
您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。
网址：http://grab-spider-user-manual
Cola
Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。
项目地址：https://github.com/chineking/cola
- 工具 -
(1)Fiddler
Fiddler 是 Windows 平台最好用的可视化抓包工具，也是大家最熟知的 HTTP 代理工具。
功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。
链接：https://www.telerik.com/fiddler
(2)Charles
Charles 是 macOS 平台下最好用的抓包分析工具之一。
同样提供GUI界面，界面简洁，基本功能包括HTTP、HTTPS 请求抓包，支持请求参数的修改，最新的 Charles 4 还支持 HTTP/2。
链接：https://www.charlesproxy.com/
(3)AnyProxy
AnyProxy 是 阿里巴巴开源的 HTTP 抓包工具，基于 NodeJS 实现。
优点是支持二次开发，可自定义请求处理逻辑，如果你会写JS的话，同时需要做一些自定义的处理，那么AnyProxy 是非常适合的。
GitHub地址：https://alibaba/anyproxy
(4)mitmproxy
mitmproxy 是一款基于 Python，支持 SSL 的抓包工具。它是跨平台的，而且提供的是命令行交互模式。
GitHub 地址：https://mitmproxy/
这是关于python爬虫的工具汇总，只要你能想到的几乎都能在这儿找到。
网址：https://lartpang/spyder_tool
此网站可以用作爬虫的测试（http和https），会返回爬虫机器的一些信息，也可以做在线测试。
网址：httpbin.org
此网站可以将curl命令快速转为python的requests请求（其他语言也可以），而curl命令可以通过浏览器开发者工具快速获取。
网址：https://curl.trillworks.com
有时我们在网页上看到是中文，但查看网页源码时显示的是unicode字符，此时需要在线unicode字符转中文。
网址：https://unicode_chinese/
此工具是chrome的扩展程序，用于辅助分析和调试xpath。
链接：https://xpath-helper/
最后：
【想要学习爬虫的朋友们 我这里整理了很多Python学习资料上传到CSDN官方了，有需要的朋友可以扫描下方二维码进行获取】
一、学习大纲
二、开发工具
三、Python基础材料
四、实战资料
