爬虫基础:lxml与requests库, 使用爬虫获取一个确定的简单信息

lxml库是用于解析XML和HTML的工具,可以用XPath和CSs来定位元素。
Requests是著名的python HTTP库,相比与python自带的urllib库而言,requests更方便简洁,requests库更人性化。
requests.get(url) 和 request.post(url)是两种基本的发送http 请求的方法,get即发送http get请求,例如下

import lxml.html,requests
url=' http-------- '
res=requests.get(url)
ht=lxml.html.fromstring(res.text)

即得到了一个名为res的返回值(response对象)。lxml.html是lxml下的一个模块,主要负责处理HTML,
这里调用了lxml.html.fromstring()方法,对res.text作了处理,处理的是文本内容,(注意res不是一个文本,res.text是必要的)返回的ht是一个lxml中的htmlelement对象。
当然,以上对一个url进行了http get请求,得到了一个response然后做了处理成lxml中的htmlelement对象,很多时候我们不需要全部信息,只需要一部分信息,这时候可以用Xpath处理,如下(接上代码):

Xpath=‘//*[@id='-----------']pre-----’
text=ht.xpath(xpath)
print('we got'+''.join(text))

Xpath用来定位了元素,xpath()方法将htmlelement元素经过xpath加工输出特定部分为一个text,注意text是一个list,要输出str要用’’+join(text)来连成str然后才可以正确print()。
request库对初学者友好,不过python官方的urllib库也很优秀,如用urllib上代码应改为:

res = urllib.request.urlopen(url).read().decode('utf-8')
ht = lxml.html.fromstring(res) #将response对象转化为lxml中的htmlelement对象是必要的,已经可以输出了,如要明确定位可以再用Xpath(不是唯一的方法)

urllib官方文档 地址

发布了5 篇原创文章 · 获赞 0 · 访问量 34

猜你喜欢

转载自blog.csdn.net/qq_45472726/article/details/104045221
今日推荐