Python网络编程(三)-urllib库的使用

1. urllib简介:

urllib可以说是Python最简单的网络数据请求库。urllib是Python自带的标准库,无需安装,直接可以用。
urllib为用户提供了下面的功能:
网页数据请求
响应结果获取
代理和cookie设置
异常处理
URL解析

2. urllib实例:

使用urllib获取百度首页的网页数据:

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import urllib.request

#urllib request test 
def test_urllib_request(url):
	page = urllib.request.urlopen(url)
	htmlCode = page.read() #获取网页源代码
	#print(htmlCode)
	data = htmlCode.decode("UTF-8")
	#print(data)
	#print(htmlCode.decode('utf-8')) #打印网页源代码
	return data


#main
if __name__ == '__main__':
	print("urllib test:")
	url='http://www.baidu.com'
	res=test_urllib_request(url)
	print(res)

运行结果(截取最前面的一小部分):

urllib test:

<!DOCTYPE html><!--STATUS OK-->

    <html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#2932e1"><meta name="description" content="全球最大的中文搜索引擎、致力于让网民更便捷地获取信息,找到所求。百度超过千亿的中文网页数据库,可以瞬间找到相关的搜索结果。"><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="百度搜索" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu_85beaf5496f291521eb75ba38eacbd87.svg"><link rel="dns-prefetch" href="//dss0.bdstatic.com"/><link rel="dns-prefetch" href="//dss1.bdstatic.com"/><link rel="dns-prefetch" href="//ss1.bdstatic.com"/><link rel="dns-prefetch" href="//sp0.baidu.com"/><link rel="dns-prefetch" href="//sp1.baidu.com"/><link rel="dns-prefetch" href="//sp2.baidu.com"/><title>百度一下,你就知道</title><style index="newi" type="text/css">#form .bdsug{top:39px}.

代码说明:

urllib.request.urlopen返回一个http.client.HTTPResponse对象,使用HTTPResponse,可以读取网页内容,获取响应结果。

响应结果:

(1)状态信息:
print(res.status) #返回状态码200
print(res.msg) #访问成功返回ok
print(res.version) #返回版本信息
print(res.reason) #返回状态信息
print(res.closed) #返回对象是否关闭,返回值为一个bool值
print(res.debuglevel) #返回调试等级

(2)响应数据:
print(res.read().decode('utf-8')) #返回网页内容
print(res.readline().decode('utf-8')) #逐行读取,只返回当前行的内容
print(res.readlines()) #逐行读取之后,返回一个字符串列表,注意列表list没有decode()方法
print(res.info()) #返回网页的头信息
print(res.getheader(name)) #返回响应头中键为name的值
print(res.getheaders()) #以列表元组的形式返回响应头信息
print(res.getcode()) #返回响应的HTTP状态码
print(fileno()) #返回文件描述符
print(geturl()) #返回检索的URL


 

猜你喜欢

转载自blog.csdn.net/liranke/article/details/113875497