爬虫设置http代理的方法

一、寻找代理IP

寻找http代理平台

神龙http（注册后可在1天内免费得到1000ip）

蜻蜓代理

其余更多的，可以参考这篇博客

免费IP代理网

二、设置nginx

注：nginx目前只适用http代理，若要https代理，需寻找其他代理服务器，目前一般都需收费

1.下载nginx

nginx下载地址

2.下载后，解压缩

3.打开nginx的conf/nginx.conf文件（可使用记事本），在http{}中加入如下代码：

server {
    
    
	resolver 60.18.23.81:35161;
	#resolver是DNS服务器，后面输入代理IP
	listen 8888;
	#代表服务器的端口号是8888
	location / {
    
    
	#location /指任何任何URL都通过这个代理（因为指定路径为/）
		proxy_pass http://$http_host$request_uri;
		#proxy——pass后面的地址表示代理服务器根据客户端的请求向资源服务器发送的URL。$http_host$request_uri是nginx的内部变量，分别表示客户端发过来的IP（域名）以及请求路径
	}
}

4.打开nginx

三、Chrome设置代理服务器

打开设置，找到代理


打开“代理服务器”选项，地址中输入代理IP，端口输入8888，然后保存即可。
此时可以打开一个网页，看是否设置成功，若成功显示网页，即设置代理成功

四、requests库使用代理

import requests
proxies = {
    
    'http':'114.99.17.51:63488'}
r = requests.get('http://www.china.com.cn/',proxies=proxies)
print(r.text)

显示结果成功