python爬虫学习——urllib、urllib2库的使用

1.urllib2库的使用示例

>>> import urllib2
>>> response=urllib2.urlopen('http://www.baidu.com')#获取网页信息
>>> print response.read()#打印出网页信息

首先我们调用的是urllib2库里面的urlopen方法，传入一个URL，这个网址是百度首页，协议是HTTP协议，当然你也可以把HTTP换做FTP,FILE,HTTPS 等等，只是代表了一种访问控制协议。

2.分析程序信息

（1）第一句程序是导入urllib2库

（2）第二句我们主要看一下urlopen这个函数

作用：打开一个网页信息

格式：

urlopen（url，data，timeout）

参数：三个参数，一个必传参数URL，两个参数（date，timeout）

第一个参数url即为URL
第二个参数data是访问URL时要传送的数据
第三个timeout是设置超时时间

第二三个参数是可以不传送的，data默认为空None，timeout默为 socket._GLOBAL_DEFAULT_TIMEOUT

第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

（3）第三句是把urlopen获取到的网页信息，打印出来（response对象有一个read方法，可以返回获取到的网页内容。）

response.read()

response对象有一个read方法，可以返回获取到的网页内容

不加read打印出来的结果，直接打印出了该对象的描述，所以记得一定要加read方法

<addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb

3.构造一个request

import urllib2
request=urllib2.Request("http://www.baidu.com")
response=urllib2.urlopen(request)
print response.read()

推荐大家这样写，这个程序反应出爬虫的基本过程。

动态网页抓取信息

上面的程序演示了最基本的网页抓取，不过，现在大多数网站都是动态网页，需要你动态地传递参数给它，它做出对应的响应。所以，在访问时，我们需要传递数据给它。

数据传送分为POST和GET两种方式，最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。

post方法：

1.首先构建一个url
2.传递动态信息给url
3.构建一个request
4.构建一个response
#代码——登陆知乎客户端
import urllib2
value={"username":"1590110xxxx","password":"xx12341234"}
date=urllib2.urlencode(value)
url="https://www.zhihu.com/"
request=urllib2.Request(url,date)
response=urllib2.urlopen(request)
print response.read()

get方法：

import urllib2
values={'username':'159xxxxxxxx','password':'xx12341234'}
date=urllib2.urlencode(values)
url='https://www.zhihu.com/'
geturl=url+'?'+date
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()

本文章参考崔庆才博客。

http://python.jobbole.com/81336/

python爬虫学习——urllib、urllib2库的使用

动态网页抓取信息

猜你喜欢