Python爬虫之（三）urllib库

第一个爬虫程序

怎样扒网页呢？

其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来

from urllib.request import urlopen
 
response = urlopen("http://www.baidu.com")
print(response.read().decode())

真正的程序就两行，执行如下命令查看运行结果，感受一下
看，这个网页的源码已经被我们扒下来了，是不是很酸爽？

常见到的方法

• requset.urlopen(url,data,timeout)

1. 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
2. 第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
3. 第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

• response.read()
  read()方法就是读取文件里的全部内容，返回bytes类型
• response.getcode()
  返回 HTTP的响应码，成功返回200，4服务器页面出错，5服务器问题
• response.geturl()
  返回 返回实际数据的实际URL，防止重定向问题
• response .info()
  返回 服务器响应的HTTP报头

Request对象

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写

from urllib.request import urlopen
from urllib.request import Request

request = Request("http://www.baidu.com")
response = urlopen(requst)
print(response.read().decode())

运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答，这样显得逻辑上清晰明确

比如我们在爬虫是需要设置很多的User-Agent，如果不设置，你去爬别人的网站，别人一下就知道你不是正常访问

from urllib.request import urlopen
from urllib.request import Request
import random

url = "http://www.baidu.com"

user_agent = [
    "Mozilla/5.0 01"
    "Mozilla/5.0 02"
    "Mozilla/5.0 03"
]

headers = {
    "User-Agent": random.choice(user_agent)
}

req = Request(url, headers=headers)
resp = urlopen(req)
info = resp.read()
print(info)

Get请求

大部分被传输到浏览器的html，images，js，css, … 都是通过GET方法发出请求的。它是获取数据的主要方法
Get请求的参数都是在Url中体现的,如果有中文，需要转码，这时我们可使用

• urllib.parse.urlencode()
• urllib.parse. quote()
  煮个栗子：

from urllib.request import Request, urlopen

url = "https://www.baidu.com/s?wd=爬虫"
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

上面这段代码看起来很完美
可是一执行：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128)

编码错误，就是因为url中包含中文。
第一种写法：

from urllib.request import Request, urlopen
from urllib.parse import quote

args = "爬虫"
url = "https://www.baidu.com/s?wd=" + quote(args)
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

第二种写法：

from urllib.request import Request, urlopen
from urllib.parse import urlencode

args = {
    "wd": "爬虫",
    "ie": "utf-8"
}
url = "https://www.baidu.com/s?" + urlencode(args)
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

爬取贴吧案例

from urllib.request import Request, urlopen
from urllib.parse import urlencode


def get_html(filename, url):
    """
    :param filename: 要获取的文件名
    :param url: 要爬取的url
    :return: url中的html信息
    """
    print("正在获取:" + filename)
    headers = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
    }
    request = Request(url, headers=headers)
    response = urlopen(request)
    # print(response.read().decode())
    return response.read()


def save_html(filename, html):
    """

    :param filename: 要保存的文件名
    :param html: 要保存的信息
    """
    print("正在保存:" + filename)
    with open(filename, "wb") as f:
        f.write(html)


def main():
    """
    控制方法
    """
    info = input("请输入要保存的贴吧：")
    num = int(input("请输入要保存多少页："))
    base_url = "https://tieba.baidu.com/f?{}"
    for i in range(1, num + 1):
        args = {
            "kw": info,
            "pn": (i - 1) * 50
        }
        new_url = base_url.format(urlencode(args))
        # print(new_url)
        filename = "贴吧" + str(i) + "页.html"
        html = get_html(filename, new_url)
        save_html(filename, html)


if __name__ == '__main__':
    main()

Post请求

我们说了Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对
先上代码

from urllib.request import Request, urlopen
from urllib.parse import urlencode

url = "https://www.xxx.cn/index/login/login.html"
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}

form_data = {
    "username": "xxx",
    "password": "xxx"
}

f_data = urlencode(form_data)
request = Request(url, headers=headers, data=f_data.encode())
response = urlopen(request)
info = response.read().decode()

print(info)

可以看的出Post和Get请求爬虫的规则基本相同，区别在于：

• Request中多了一个data=" "

发送请求/响应header头的含义：

名称	含义
Accept	告诉服务器，客户端支持的数据类型
Accept-Charset	告诉服务器，客户端采用的编码
Accept-Encoding	告诉服务器，客户机支持的数据压缩格式
Accept-Language	告诉服务器，客户机的语言环境
Host	客户机通过这个头告诉服务器，想访问的主机名
If-Modified-Since	客户机通过这个头告诉服务器，资源的缓存时间
Referer	客户机通过这个头告诉服务器，它是从哪个资源来访问服务器的。（一般用于防盗链）
User-Agent	客户机通过这个头告诉服务器，客户机的软件环境
Cookie	客户机通过这个头告诉服务器，可以向服务器带数据
Refresh	服务器通过这个头，告诉浏览器隔多长时间刷新一次
Content-Type	服务器通过这个头，回送数据的类型
Content-Language	服务器通过这个头，告诉服务器的语言环境
Server	服务器通过这个头，告诉浏览器服务器的类型
Content-Encoding	服务器通过这个头，告诉浏览器数据采用的压缩格式
Content-Length	服务器通过这个头，告诉浏览器回送数据的长度

响应的编码

响应状态码

响应状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。 常见状态码：

号码	含义
100~199	表示服务器成功接收部分请求，要求客户端继续提交其余请求才能完成整个处理过程
200~299	表示服务器成功接收请求并已完成整个处理过程。常用200（OK 请求成功）
300~399	为完成请求，客户需进一步细化请求。例如：请求的资源已经移动一个新地址、常用302（所请求的页面已经临时转移至新的url）、307和304（使用缓存资源）
400~499	客户端的请求有错误，常用404（服务器无法找到被请求的页面）、403（服务器拒绝访问，权限不够）
500~599	服务器端出现错误，常用500（请求未完成。服务器遇到不可预知的情况）

Ajax的请求获取数据

有些网页内容使用AJAX加载，而AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了

from urllib.request import Request, urlopen

url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}

request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())

请求 SSL证书验证

现在随处可见 https 开头的网站，urllib可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/ 的时候，会警告用户证书不受信任。（据说 12306 网站证书是自己做的，没有通过CA认证）
爬取Https请求方式：

from urllib.request import Request, urlopen
import ssl

url = "https://www.12306.cn/mormhweb/"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = Request(url, headers=headers)
# 忽略证书
context = ssl._create_unverified_context()

resp = urlopen(request, context=context)

info = resp.read()

print(info.decode())

如果我们不添加ssl忽略证书代码的话，可能（为什么说是可能，是因为有的网站同时支持http和https）会报如下错误：

ssl.CertificateError