#!/user/bin/env python
# -*- coding:utf-8 -*-
# xpath: 跟re, bs4, pyquery一样, 都是页面数据提取方法. 根据元素的路径来查找页面元素.
# pip install lxml
from lxml.html import etree
html = """
<div id='content'>
<ul class='list'>
<li class='one'>One</li>
<li class='two'>Two</li>
<li class='three'>Three</li>
<li class='four four1 four2 four3'>Four</li>
<div id='inner'>
<a href='http://www.baidu.com'>百度一下</a>
<p>第一段</p>
<p>第2段</p>
<p>第3段</p>
<p>
第4段
<span>法大师傅大师傅</span>
</p>
<p>第5段</p>
<p>第6段</p>
我自己写的
</div>
</ul>
</div>
"""
obj = etree.fromstring(html)
# 将一个Html文件解析成为对象
# obj = etree.parse('index.html')
print(type(obj)) # <class 'lxml.etree._Element'>
# //ul: 从obj中查找ul, 不考虑ul所在的位置
# /li: 找到ul下边的直接子元素li, 不包含后代元素
# [@class="one"]: 给标签设置属性,用于过滤和筛选
# xpath()返回的是一个列表
one_li = obj.xpath('//ul/li[@class="one"]')[0]
# 获取one_li的文本内容
print(one_li.xpath('text()')[0])
# 上述写法的和谐方式
print(obj.xpath('//ul/li[@class="one"]/text()')[0])
# 获取所有li的文本内容:
# all_li = obj.xpath('//ul/li/text()')
# print(all_li)
# 获取所有li的文本内容以及class属性的值
all_li = obj.xpath('//ul/li')
for li in all_li:
class_value = li.xpath('@class')[0]
text_value = li.xpath('text()')[0]
print(class_value, text_value)
# 获取div标签内部的所有文本
# //text(): 获取所有后代元素的文本内容
# /text(): 获取直接子元素的文本, 不包含后代元素
print(obj.xpath('//div[@id="inner"]//text()'))
print(obj.xpath('//div[@id="inner"]/text()'))
# 获取ul中的第一个li [1]: 位置
print(obj.xpath('//ul/li[1]/text()'))
# 查找类名中包含four的li的文本内容
print(obj.xpath('//ul/li[contains(@class, "four")]/text()'))
# -*- coding:utf-8 -*-
# xpath: 跟re, bs4, pyquery一样, 都是页面数据提取方法. 根据元素的路径来查找页面元素.
# pip install lxml
from lxml.html import etree
html = """
<div id='content'>
<ul class='list'>
<li class='one'>One</li>
<li class='two'>Two</li>
<li class='three'>Three</li>
<li class='four four1 four2 four3'>Four</li>
<div id='inner'>
<a href='http://www.baidu.com'>百度一下</a>
<p>第一段</p>
<p>第2段</p>
<p>第3段</p>
<p>
第4段
<span>法大师傅大师傅</span>
</p>
<p>第5段</p>
<p>第6段</p>
我自己写的
</div>
</ul>
</div>
"""
obj = etree.fromstring(html)
# 将一个Html文件解析成为对象
# obj = etree.parse('index.html')
print(type(obj)) # <class 'lxml.etree._Element'>
# //ul: 从obj中查找ul, 不考虑ul所在的位置
# /li: 找到ul下边的直接子元素li, 不包含后代元素
# [@class="one"]: 给标签设置属性,用于过滤和筛选
# xpath()返回的是一个列表
one_li = obj.xpath('//ul/li[@class="one"]')[0]
# 获取one_li的文本内容
print(one_li.xpath('text()')[0])
# 上述写法的和谐方式
print(obj.xpath('//ul/li[@class="one"]/text()')[0])
# 获取所有li的文本内容:
# all_li = obj.xpath('//ul/li/text()')
# print(all_li)
# 获取所有li的文本内容以及class属性的值
all_li = obj.xpath('//ul/li')
for li in all_li:
class_value = li.xpath('@class')[0]
text_value = li.xpath('text()')[0]
print(class_value, text_value)
# 获取div标签内部的所有文本
# //text(): 获取所有后代元素的文本内容
# /text(): 获取直接子元素的文本, 不包含后代元素
print(obj.xpath('//div[@id="inner"]//text()'))
print(obj.xpath('//div[@id="inner"]/text()'))
# 获取ul中的第一个li [1]: 位置
print(obj.xpath('//ul/li[1]/text()'))
# 查找类名中包含four的li的文本内容
print(obj.xpath('//ul/li[contains(@class, "four")]/text()'))