Python爬虫开发-03--使用headers爬取网页的简单模型

# encoding:utf-8
import urllib
import urllib2

# 请求
url = 'https://www.zhihu.com/#signin'
'''
	但是有时候服务器会检查请求头，判断是否来自浏览器的访问，这是反爬虫的常用手段
	这时候需要对程序作出修改——增添请求头信息
'''
	# 加上请求头信息，设置请求头中的User-Agent域和Referer域信息，Referer是为了判断你是从哪个链接找到我这个URL的
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'https://www.zhihu.com/'

postdata = {
	'username':'lin',
	'password':'abc123'
}

# 将user_agent, referer写入头信息中
'''
headers = {
	'User-Agent': user_agent, 'Referer': referer
}
'''

# 转换请求头格式
data = urllib.urlencode(postdata)
# req = urllib2.Request(url, data, headers)

req = urllib2.Request(url)
# 还可以通过add_header添加请求头信息
req.add_header('User-Agent', user_agent)
req.add_header('Referer', referer)
req.add_data(data)

# 响应
response = urllib2.urlopen(req)

# 输出
html = response.read()
print html