我们经常会遇到很多网站在爬虫的过程中采用了反爬虫技术，或者说由于自己收集网站信息的强度和速度太大，给对方的服务器带来了太大的压力，所以您就一直使用同一个代理ip获取网页，很可能ip将被禁止访问网页，所以基本上做爬虫的人都躲不过ip的问题。
一般情况下，爬虫用户本身就无法自行维护服务器或自己解决代理ip的问题，一是因为技术含量太高，二是因为成本太高。
当然，也有很多人会把一些免费的代理ip放到网络上，但从实用性、稳定性和安全性方面来说，不建议大家使用免费的ip。由于在线发布的代理ip未必可用，因此您很可能在使用过程中发现ip不可用或已失效。
于是现在市场上出现了许多代理服务器，基本上都可以为您提供代理ip服务。