如何正确使用代理ip

我们在使用爬虫的时候,如果需要高频率或者长时间去爬取一个网站的时候,都会使用代理ip以防自己的ip被对方封禁,那么,我们要怎么来辨别自己用的是什么代理呢?

我们可以通过header来区分

1.没有使用代理服务器

REMOTE_ADDR = 自己的真实IP
HTTP_VIA = 没数值或不显示
HTTP_X_FORWARDED_FOR = 无数值或不显示

2.使用透明代理服务器(Transparent Proxies)

REMOTE_ADDR = 最后一个代理服务器 IP
HTTP_VIA = 代理服务器 IP
HTTP_X_FORWARDED_FOR = 自己的真实IP,经过多个代理服务器时,这个值类似如下:118.155.8.45, 158.187.22.169, 119.181.68.23

3.使用普通匿名代理服务器(Anonymous Proxies)

REMOTE_ADDR = 最后一个代理服务器 IP
HTTP_VIA = 代理服务器 IP
HTTP_X_FORWARDED_FOR = 代理服务器 IP ,经过多个代理服务器时,这个值类似如下:119.188.68.169, 119.188.68.231

此类代理服务器隐藏了真实IP,但是向访问对象透露了您是使用代理服务器访问他们的。

4.使用欺骗性代理服务器(Distorting Proxies)

REMOTE_ADDR = 代理服务器 IP
HTTP_VIA = 代理服务器 IP
HTTP_X_FORWARDED_FOR = 随机的 IP ,经过多个代理服务器时,这个值类似如下:3.6.9.12, 119.188.68.169, 119.188.68.231

**
此类代理服务器告诉了访问对象你使用了代理服务器,却编造了一个虚假的随机IP代替你的真实IP欺骗它。

5.使用高匿名代理服务器(High Anonymity Proxies (Elite proxies))

REMOTE_ADDR = 代理服务器 IP
HTTP_VIA = 没数值或不显示
HTTP_X_FORWARDED_FOR = 没数值或不显示 ,经过多个代理服务器时,这个值类似如下:119.188.68.169, 119.188.68.231

此类代理服务器完全用代理服务器的信息替代了你的所有信息,就象你就是完全使用那台代理服务器直接访问对象一样。

以上就是辨别代理的方法

版权声明:如无特殊说明,文章均为本站原创,转载请注明出处
本文链接:https://blog.csdn.net/wsad861512140

原创文章 18 获赞 4 访问量 2016

猜你喜欢

转载自blog.csdn.net/wsad861512140/article/details/105557536