为什么要用代理池？
- 许多网站有专门的反爬虫措施，可能遇到封IP等问题。
- 互联网上公开了大量免费的代理，利用好资源。
通过定时的检测维护同样可以得到多个可用的代理。
代理池要求
- 多站抓取，异步检测
- 定时筛选，持续更新
提供接口，易于读取
代理池架构
用Flask+Redis维护代理池
猜你喜欢
转载自www.cnblogs.com/carious/p/10101270.html
今日推荐
周排行