【python】py35中使用requests库爬https协议下的网站

版权声明：原创 https://blog.csdn.net/hangvane123/article/details/82937044

使用requests库可以非常简单地爬https协议下的网站：

import requests
url='https://www.baidu.com/'
r = requests.get(url,verify=False)
r.encoding = 'utf-8'
print(r.text)

而当爬取TLSv1或TLSv1.1网站时，这样的代码就会报错
于是我们需要使用HTTPAdapter定制requests参数：

#-*- coding:utf-8 -*-
import re
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.poolmanager import PoolManager
import ssl
import os
class MyAdapter(HTTPAdapter):
    def init_poolmanager(self, connections, maxsize, block=False):
        self.poolmanager = PoolManager(num_pools=connections,
                                      maxsize=maxsize,
                                      block=block,
                                      ssl_version=ssl.PROTOCOL_TLSv1)#这里定义了ssl协议版本
s = requests.Session()
s.mount('https://', MyAdapter())

def downloadImage(netPath,localPath,imageName):#netPath=网络全路径,localPath=本地文件夹路径,imageName=图片文件名
    #检测当前路径的有效性
    if not os.path.isdir(localPath):
        os.makedirs(localPath)
    ok=0
    while(ok==0):
        try:
            r=s.get(netPath,timeout=10)
            ok=1
        except:
            print("连接超时")
    if(r.status_code==200):
        fp = open(localPath+'\\'+imageName, 'wb')
        fp.write(r.content)
        fp.close()
        return 1
    else:
        return 0

这样就可以通过定制HTTPAdapter实现爬取TLSv1或TLSv1.1的网站。