1 ## urllib2的使用 ##
（1） urllib2请求返回网页
示例1：测试使用该模块打开百度的首页
# -*- coding: UTF-8 -*-
import urllib2
import os
import time
import platform
def clear():
'''该函数用来清屏幕'''
print(u'内容较多，显示3秒后翻页')
time.sleep(3) # 程序延时3秒
OS = platform.system() # 获得系统的详细信息
if (OS == u'Windouws'):
os.system('cls')
else:
os.system('clear')
def linkBaidu():
url = 'http://www.baidu.com'
try:
response = urllib2.urlopen(url, timeout=3)
except urllib2.URLError:
print(u'网络地址错误')
exit()
with open(u'baidu.txt','w') as fp:
fp.write(response.read())
print (u'获取URL信息，response.geturl() \n: %s' %response.geturl())
print (u'获取返回代码，response.getcode() \n: %s' %response.getcode())
print (u'获取返回信息，response.info() \n: %s' %response.info())
print (u'获取的网页内容已经存入到当前目录的baidu.txt中，请自行查看')
# if __name__ == '__main__':
# linkBaidu()
# 直接创建一个实例运行
link = linkBaidu()获得的结果如下所示：
获取URL信息，response.geturl()
: http://www.baidu.com
获取返回代码，response.getcode()
: 200
获取返回信息，response.info()
: Date: Sat, 16 Sep 2017 13:08:36 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: Close
Vary: Accept-Encoding
Set-Cookie: BAIDUID=D6F2E57DFB483FD5BB510439CC6C29A1:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BIDUPSID=D6F2E57DFB483FD5BB510439CC6C29A1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: PSTM=1505567316; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BDSVRTM=0; path=/
Set-Cookie: BD_HOME=0; path=/
Set-Cookie: H_PS_PSSID=1444_21101_18560_17001_20930; path=/; domain=.baidu.com
P3P: CP=" OTI DSP COR IVA OUR IND COM "
Cache-Control: private
Cxy_all: baidu+64930d73b4dbc83b2181952b94cde62d
Expires: Sat, 16 Sep 2017 13:07:38 GMT
X-Powered-By: HPHP
Server: BWS/1.1
X-UA-Compatible: IE=Edge,chrome=1
BDPAGETYPE: 1
BDQID: 0x8639b84b00024905
BDUSERID: 0
获取的网页内容已经存入到当前目录的baidu.txt中，请自行查看
Process finished with exit code 0（2）urllib2使用代理访问网页
示例2：使用爬虫时，有点 网址会拒绝ip的直接访问，所以需要使用代理，免费的代理可以在在网上搜索，我是从一个免费的ip代理网址获取的代理49.72.154.205:8118。
# -*- coding: UTF-8 -*-
import urllib2
import re
import sys
# 使用代理访问网页
def testArgument():
'''测试输入参数，只要一个参数'''
# sys.argv[]是获取命令行参数,sys.argv[0]表示代码本身文件路径，所以参数从1开始
if len(sys.argv) !=2:
print(u'只需要一个参数')
tipUse()
exit()
else:
TP = TestProxy(sys.argv[1])
def tipUse():
'''显示提示信息'''
print(u'该程序只能输入一个参数，其必须是一个可用的proxy')
print(u'usage: python testUrllib2WithProxy.py http://1.2.3.4:5')
print(u'usage: python testUrllib2WithProxy.py https://1.2.3.4:5')
class TestProxy(object):
'''这个类的作用是测试proxy是否有效'''
def __init__(self,proxy):
self.proxy = proxy
self.checkProxyFormat(self.proxy) #检查格式
self.url = 'http://www.baidu.com'
self.timeout = 5
self.flagWord = '百度' # 在网页返回的数据中查找这个关键词
self.useProxy(self.proxy)
def checkProxyFormat(self,proxy):
try:
proxyMatch = re.compile('http[s]?://[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}:[\d]{1,5}$')
re.search(proxyMatch,proxy).group()
except AttributeError: # 尝试访问未知的对象属性
tipUse()
exit()
flag = 1
proxy = proxy.replace('//','')
try:
protocal = proxy.split(':')[0]
ip = proxy.split(':')[1]
port = proxy.split(':')[2]
except IndexError:
print(u'下标出界')
tipUse()
exit()
flag = flag and len(proxy.split(':')) == 3 and len(ip.split('.')) == 4
flag = ip.split('.')[0] in map(str,xrange(1,256))and flag
flag = ip.split('.')[1] in map(str,xrange(256))and flag
flag = ip.split('.')[2] in map(str,xrange(256))and flag
flag = ip.split('.')[3] in map(str,xrange(1, 255))and flag
flag = protocal in [u'http',u'https'] and flag
flag = port in map(str,range(1,65535)) and flag
'''这里是在检查proxy的格式'''
if flag:
print(u'输入的http代理服务器符合标准')
else:
tipUse()
exit()
def useProxy(self,proxy):
'''利用代理服务器，查找关键词'''
protocal = proxy.split('//')[0].replace(':','')
ip = proxy.split('//')[1]
opener = urllib2.build_opener(urllib2.ProxyHandler({protocal:ip}))
urllib2.install_opener(opener)
try:
response = urllib2.urlopen(self.url,timeout=self.timeout)
except:
print(u'连接出错，退出程序')
exit()
str = response.read()
if re.search(self.flagWord,str): #查找关键词self.flagWord,即百度
print (u'已取得特征词，该代理可用')
else:
print(u'该代理不可用')
if __name__ == '__main__':
testArgument()
结果如下所示
J:\Learn01\python\t01\studyM01\M04\Four>python Test002.py http://49.72.154.205:8118
输入的http代理服务器符合标准
已取得特征词，该代理可用
（3）修改header
网站是通过浏览器发送来的User-Agent的值，来确定浏览器的身份，用urllib2来创建一个请求对象，并给他一个包含头数据的字典，修改User-Agent欺骗网址。
准备工作：userAgent.py,一个存储常见的user-Agent,方便以后使用。
# -*- coding: UTF-8 -*-
import urllib2
import studyM01.M04.Four.Test003.UserAgents
'''userAgents.py是一个自定义的模块'''
class Urllib2ModifyHeader(object):
def __init__(self):
# 使用PC+IE的user-agent,注意，括号内无逗号
PIUA = studyM01.M04.Four.Test003.UserAgents.pcUserAgent.get('IE 9.0')
# 这个是mobile+UC的user-agent
MUUA = studyM01.M04.Four.Test003.UserAgents.mobileUserAgent.get('UC standard')
self.url = 'http://fanyi.youdao.com'
self.useUserAgent(PIUA, 1)
self.useUserAgent(MUUA, 2)
def useUserAgent(self, userAgent, name):
request = urllib2.Request(self.url)
request.add_header(userAgent.split(':')[0], userAgent.split(':')[1])
response = urllib2.urlopen(request)
fileName = str(name) + '.html'
with open(fileName, 'a')as fp:
fp.write('%s\n\n' %userAgent)
fp.write(response.read())
if __name__== '__main__':
um = Urllib2ModifyHeader()获得的结果是两个html，分别运行后，得到不同的有道翻译界面。
