Urllib 是Python自带的标准库,无需安装,直接可以用。
提供了如下功能:
- 网页请求
- 响应获取
- 代理和cookie设置
- 异常处理
- URL解析
爬虫所需要的功能,基本上在urllib
中都能找到,学习这个标准库,可以更加深入的理解后面更加便利的requests
库。
----------------------------------------------------------------------我是分割线--------------------------------------------------------------------
先来一个最简单的例子:
from urllib import request response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8'))
执行后就可以得到百度首页的 HTML 。
response对象有一个read方法,可以返回获取到的网页内容。
如果不加read直接打印会直接打印出了该对象的描述
上面使用了一个 urlopen的函数,urlopen()函数用于实现对目标url的访问。
urlopen 语法
urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)
#url:访问的网址
#data:额外的数据,如header,form data
从上一篇文章可以看到数据传送主要分为POST和GET两种方式。那这两种方式有什么区别呢?
最重要的区别:
GET方式直接以链接形式访问,链接中包含了所有的参数,若包含了密码的话是不安全的,不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数,不过如果你想直接查看提交了什么就不太方便了。
POST方式:
先演示一下吧:
import urllib.parse import urllib.request values = {"username":"1559186****","password":"*********"} data = urllib.parse.urlencode(values) url = "https://passport.csdn.net/account/login" response = urllib.request.urlopen(url,data) print(response.read())
urlencode是一个函数,可将字符串以URL编码,用于编码处理。
可以看到核心的代码是 response = urllib.request.urlopen(url,data)
这里用到了data参数(或者说POST方式用到了data参数)。例子上的data参数中的内容十分简单、所以并不能真正的登录。
GET方式:
同样的,先举个例子:
import urllib.parse import urllib.request values = {"username":"15591861964","password":"yanhang1235813"} data = urllib.parse.urlencode(values) url = "https://passport.csdn.net/account/login" geturl = url + "?"+data response = urllib.request.urlopen(geturl) print(response.read())可以看到这次的核心代码是这样的 : response = urllib.request.urlopen(geturl)
没有了data参数、只是url参数。而URL参数的内容是原来的url加 ?然后加编码后的参数。
从上面的POST和GET两种不同方式的例子就验证了一个结论,
GET方式直接以链接形式访问,链接中包含了所有的参数
POST则不会在网址上显示所有的参数
------------------------------------------上面就是我学习到的些许爬虫原理----------------------------------------
------------------------------------------下面是扩展学习的一些东西(Urllib库的其他内容)-----------------------------------
timeout参数的使用
开始练习的时候我是对 http://httpbin.org/post 这个网站发的请求,但是迟迟没有响应、、、
最终返回了报错信息
urllib.error.HTTPError: HTTP Error 503: Service Unavailable
那如果给请求设置一个超时时间应该会好一点,urlopen有一个timeout参数
from urllib import request response = request.urlopen('http://httpbin.org/get', timeout=0.1) print(response.read())这次的错误返回信息是:
urllib.error.URLError: <urlopen error timed out>
也可以将这个作为异常、捕获处理
import socket import urllib.request import urllib.error try: response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1) except urllib.error.URLError as e: if isinstance(e.reason, socket.timeout): print('TIME OUT')