爬虫代理IP池的实现

使用代理发送请求:

  • requests.get(url,proxies={协议:协议+ip+端口})
  • 正向代理:客户端知道最终服务器的地址
  • 反向代理:客户端不知道最终服务器的地址
    怎样合理的使用代理:
  • 准备一堆的ip地址,组成ip池,随机选择一个ip来时用
  • 如何随机选择代理ip,让使用次数较少的ip地址有更大的可能性被用到
    • {"ip":ip,"times":0}
    • [{},{},{},{},{}],对这个ip的列表进行排序,按照使用次数进行排序
    • 选择使用次数较少的10个ip,从中随机选择一个

  • 检查ip的可用性
    • 可以使用requests添加超时参数,判断ip地址的质量
    • 在线代理ip质量检测的网站

欢迎交流

猜你喜欢

转载自blog.csdn.net/hudongcun/article/details/83099247