Scrapy爬虫:XPath语法

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

路径表达式

表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
选取当前节点的父节点。
@ 选取属性。

路径案例

路径表达式 结果
body 选取 body 元素的所有子节点。
/head 选取根元素下head。假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
div/a 选取属于 div 的子元素的所有 a 元素。
//a 选取所有 a 子元素,而不管它们在文档中的位置。
div//a 选择属于 div 元素的后代的所有 a 元素,而不管它们位于 bookstore 之下的什么位置。
//@class 选取名为 claa 的所有属性。
./a 选取当前元素下的a
…/a 选取父元素下的a
a/@href 选取a标签的href属性
a/text() 选取a标签下的文本

谓语(Predicates)

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

谓语实例

在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:

路径表达式 结果
/body/div[1] 选取属于 body 子元素的第一个 div 元素。
/body/div[last()] 选取属于 body 子元素的最后一个 div 元素。
/body/div[last()-1] 选取属于 body 子元素的倒数第二个 div 元素。
/body/div[position()< 3 ] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//div[@id] 选取所有拥有名为 id 的属性的 div 元素。
//div[@class=‘eng’] 选取所有 div 元素,且这些元素拥有值为 eng 的 class 属性。
/body/span[size>35.00] 选取 body 元素的所有 span 元素,且其中的 size 元素的值须大于 35.00。
/body/span[size>35.00]/title 选取 body 元素中的 span 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符 描述
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 | 结果
/body/* | 选取 body 元素的所有子元素。
//* |选取文档中的所有元素。
//title[@*] |选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符,您可以选取若干个路径。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 结果
//head/title | //head/price 选取 head 元素的所有 title 和 price 元素。
//title | //price 选取文档中的所有 title 和 price 元素。
/body/book/title | //price 选取属于 body 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。

Xpath轴

轴可以定义相对于当前节点的节点集

轴名称 表达式 描述
ancestor ./ancestor::* 选取当前节点的所有先辈节点(父、祖父)
ancestor-or-self ./ancestor-or-self::* 选取当前节点的所有先辈节点以及节点本身
descendant ./descendant::* 返回当前节点的所有后代节点(子节点、孙节点)
child ./child::* 返回当前节点的所有子节点
parent ./parent::* 选取当前节点的父节点
following ./following::* 选取文档中当前节点结束标签后的所有节点
following-sibling ./following-sibling::* 选取当前节点之后的兄弟节点
preceding ./preceding::* 选取文档中当前节点开始标签前的所有节点
preceding-sibling ./preceding-sibling::* 选取当前节点之前的兄弟节点
self ./self::* 选取当前节点
attribute ./attribute::* 选取当前节点的所有属性

功能函数

使用功能函数能够更好的进行模糊搜索

函数 用法 解释
starts-with //div[starts-with(@id,”ma”)] 选取id值以ma开头的div节点
contains //div[contains(@id,”ma”)] 选取所有id值包含ma的div节点
and //div[contains(@id,”ma”) and contains(@id,”in”)] 选取id值包含ma和in的div节点
text() //div[contains(text(),”ma”)] 选取节点文本包含ma的div节点

注意事项:

  1. 按照审查元素的写法不一定正确,要按照网页源码的才行,因为不一样,网页源码才是你看到的
    2.浏览器有自带的复制xpath功能,firefox下载firebug插件
  2. xpath有c的速度,所以按照[@class=""]准确性较高

提取内容

方法 返回
Selector.xpath() 返回SelectorList对象
Selector.css() 返回SelectorList对象
SelectorList.extract() 返回List对象
SelectorList.extract_first(default) 返回String对象,可以有默认值,类似dict.get(key, default)

猜你喜欢

转载自blog.csdn.net/weixin_43430036/article/details/84836516