XPath
使用xpath
pip install lxml
import lxml
from lxml import etree
XPath Helper插件
chrome插件网:http://www.cnplugins.com/
添加插件
Ctrl + Shift + X打开或关闭插件
XPath 术语
节点(Node)
在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。
选取节点
XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式:
表达式 | 描述 |
---|---|
/ | 获取子节点,默认选取根节点。 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。 |
. | 选取当前节点。 |
. . | 选取当前节点的父节点。 |
@ | 选取属性。 |
在下面的表格中,我们已列出了一些路径表达式以及表达式的结果:
路径表达式 | 结果 |
---|---|
/bookstore | 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径! |
/bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 |
/bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang | 选取名为 lang 的所有属性。 |
谓语(Predicates)
谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。
在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:
路径表达式 | 结果 |
---|---|
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
/bookstore/book[position()<=3] | 选取最前面的三个属于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
//title[@lang=‘eng’] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
/bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。 |
/bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。 |
选取未知节点
XPath 通配符可用来选取未知的 XML 元素。
通配符 | 描述 |
---|---|
* | 匹配任何元素节点。 |
@* | 匹配任何属性节点。 |
node() | 匹配任何类型的节点。 |
在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
路径表达式 | 结果 |
---|---|
/bookstore/* | 选取 bookstore 元素的所有子元素。 |
//* | 选取文档中的所有元素。 |
//title[@*] | 选取所有带有属性的 title 元素。 |
选取若干路径
通过在路径表达式中使用"|"运算符,您可以选取若干个路径。
在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
路径表达式 | 结果 |
---|---|
//book/title | //book/price | 选取 book 元素的所有 title 和 price 元素。 |
//title | //price | 选取文档中的所有 title 和 price 元素。 |
/bookstore/book/title | //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。 |
# 1,导入etree包
from lxml import etree
s = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1" id="w"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1" id='abc' style="width:20px;"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
<span>12345</span>
</div>
'''
# html = etree.parse("filename.html") # 读取html文件
# 把获取到的源码放入 etree.HTML 方法中分析
html = etree.HTML(s)
# 如果是一个html的代码片段,那么etree.HTML会把代码片段补充完整
# 会在代码片段前后加入 html 和 body
# 查看 xpath的 对象的 html 的文档结构,用到的方法是 etree.tostring()
# 当我们查找到的内容是text()或者是标签内容的时候,就不需要用这个查看了,直接打印就好了
# con = etree.tostring(html)
# print(con)
# / 是获取到当前文件的直接子接点
# 通过xpath 返回的结果是一个 列表,列表中找到是 元素对象
# con = html.xpath('/html')
# print(etree.tostring(con[0]))
# 找当前文档的所有的li标签
# con = html.xpath('//li')
# for c in con:
# print(etree.tostring(c))
# ./ 表示查找当前元素的直接子元素
# ul = html.xpath('//ul')
# print(etree.tostring(ul[0]))
# 每个xpath语法返回的对象可以继续使用xpath预防进行分析
# li = ul[0].xpath('./li')
# li = ul[0].xpath('..//li')
# print(li)
# 找 含有 id 属性的 li 标签
# con = html.xpath('//li[@id]')
# for i in con:
# print(etree.tostring(i))
# 查找 所有class 属性 = item-inactive 的li元素
# con = html.xpath('//li[@class="item-inactive"]')
# for i in con:
# print(etree.tostring(i))
# 查询某个标签的某个参数的值,先找到标签,然后加上 /@参数名字
# 查找 class="item-1" 的 li 元素,并且获取 li元素中 id属性的值
# con = html.xpath('//li[@class="item-1"]/@id')
# print(con)
# 查询文本内容,就加上 /text()
# 查找a标签中href为的文本内容
# print(html.xpath('//a[@href="link1.html"]/text()')[0])# first item
# 查找 class="item-1" 并且 id="w" 的 li 元素
# con = html.xpath('//li[@class="item-1" and @id="w"]')
# con = html.xpath('//li[@class="item-1" or @id="w"]')
# for i in con:
# print(etree.tostring(i))
# 查找不含有 id 属性的 li 标签
# con = html.xpath('//li[not(@id)]')
# 查找 a 标签 和 span 标签
# con = html.xpath('//a | //span')
# for i in con:
# print(etree.tostring(i))
# 查找 li 元素 的 class 属性 包含 1
# con = html.xpath('//li[contains(@class,"1")]')
# for i in con:
# print(etree.tostring(i))
# 查找 li 元素 id 以 “a” 开头的 li
# con = html.xpath('//li[starts-with(@id, "w")]')
# 查找 最后一个 li 元素
# con = html.xpath('//ul/li[last()]')
# 查找 ul下面 第一个 li 元素
# con = html.xpath('//ul/li[position()=1]')
# con = html.xpath('//ul/li[1]')
# 查找 第3个 li 标签 后面的 所以元素
# con = html.xpath('//ul/li[position()>3]')
# for i in con:
# print(etree.tostring(i))
# 查找第二个 a 标签 下面的 文本
# con = html.xpath('//a[@href="link2.html"]/text()')
con = html.xpath('//ul/li[2]//text()')
print(con)
常用UA池
ua_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
"Opera/8.0 (Windows NT 5.1; U; en)",
"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
]