介绍
最近接到一个2万多的小项目，需求是这样的。需要将一个大型网站上的数据爬下来保存到本地。具体项目不方便透漏，这里的演示就以阿里拍卖网站为例。
反爬虫机制有那些？
解决反爬虫之前，我们首先得了解反爬虫机制。
- ip限制反爬虫：免登录反爬虫一般用访问ip来判断你是否在爬虫获取网站信息，这里百度亲测过。当初写 了一个脚本自动爬取百度搜索的结果信息，结果前面试了几次还好。而到后面数据再用脚本爬取结果人家百度不再返回数据了。
- 动态网页与加密混淆网页反爬虫：在有的网页中直接查看源码看到的数据如下图，源码要么被加密混淆要么数据是动态加载，也就是通过源码进行爬虫基本是行不通。但这样的页面也有个弊端，就是不利于seo优化，我们都知道seo也是通过爬虫来收录你的个人网站信息的。
- 强制登录反爬虫：有没有发现当我们通过浏览器搜索淘宝里的商品时，搜索的次数多了直接弹出登录界面，而且后续也不会再让你搜索了。这就是一个典型的强制登录做的反爬虫。我们用代码几乎很难去模拟正常的用户信息。所以这样的反爬虫几乎阻断了一切脚本爬虫。
如何解决这些反爬虫机制？
所谓“道高一丈，魔高一尺”，上有政策，我们下有对策。