你好，我是悦创。
对于 “爬虫”， 或许你只是听说过，或许已经有所了解。无论怎样，你可能有过这样的困惑：
- 学了爬虫不知道怎么挣钱？
- 技术不知道如何进阶？
- 遇到问题不知道找谁交流？
以前，小悦在学习 Python 时就遇到了这样困惑。
曾经，“独上高楼，望尽天涯路”；
好在，“衣带渐宽终不悔，为伊消得人憔悴”；
而今，“蓦然回首，那人却在，灯火阑珊处”。
在这几年不断实践中，这些困惑都被一一解开。坚定的目标，专注的追寻，豁然开朗般的领悟，让技术知识融会贯通。领悟得越多就越想把这些经验和知识分享出来，给那些跟曾经的我们有一样困惑的小伙伴们多一点借鉴。于是就动起了笔写下了这份教程。
1. 小悦学 Python 爬虫的过程
从报名培训班，花了不下几万，最后得到的知识少之又少，收智商税的课程、割韭菜的课程让我深受其害。这个部分我之后有时间的话继续写。
2. 爬虫是一个综合技艺
爬虫是一个运用综合技能的工作，一个好的爬虫工程师应该要具备前端(html、JS、浏览器和 APP 抓包)，HTTP 知识，简单数据挖掘(数据结构化、清洗、排重等工作)，数据存储等知识。
熟练运用以上技能可以算作一个合格的爬虫码农，能够处理过百万的网页数据。当处理上千万的网页数据时，你的存储方法，内存调配方式，抓取策略就又需要你打怪升级了。当对抓取的实时性和数据量要求都很高时，爬虫其