Python爬虫开发-01--最简单的一个爬虫模型

目的:实现一个完成的请求与响应模型

    urllib2提供一个基础函数URLopen,通过指定的URL发出请求来获取数据,最简单的形式就是:

import urllib2
# 请求打开某页面
response = urllib2.urlopen("http://www.zhihu.com")
# 读取页面内容并将之赋值给html
html = response.read()
# 打印html页面内容
print html

    当然也可以将上面对页面的请求分成两步,一步是请求,一步是响应,形式如下:

import urllib2
# 请求
request = urllib2.Request('http:///www.zhihu.com')
# 响应
response = urllib2.urlopen(reqeest)
# 读取
html = response.read()
# 打印输出
print html
以上的两种请求都是GET请求
这样一个简单的爬虫模型就完成了。    

猜你喜欢

转载自blog.csdn.net/sarline/article/details/80280210