爬虫数据解析的三种方式

一、正则表达式解析

1、简单介绍

单字符：
    .      匹配除换行符以外的任意字符

    \w     匹配字母或数字或下划线
    \d     匹配数字
    \s     匹配任意的空白符

    \W     匹配非字母或数字或下划线
    \D     匹配非数字
    \S     匹配非空白符

    \n     匹配一个换行符
    \t     匹配一个制表符(Tab)

    \b     匹配一个边界(其前后必须是不同类型的字符，
           可以组成单词的字符为一种类型，
           不可组成单词的字符(包括字符串的开始和结束)为另一种类型)

    a|b    匹配字符a或字符b

    ()     匹配括号内的表达式，一个组表示一个整体

    [...]  匹配字符组中的字符
    [^...] 匹配除了字符组中字符的所有字符

数量修饰：
    * : 任意多次  >=0
    + : 至少1次   >=1
    ? : 可有可无  0次或者1次
    {m} ：固定m次 hello{3,}
    {m,} ：至少m次
    {m,n} ：m到n次

边界：
    $ : 以某某结尾 
    ^ : 以某某开头

贪婪模式： .*
非贪婪（惰性）模式： .*?

re模块：
    1.匹配方法
    re.findall(正则, 字符串)  # 返回一个匹配到所有结果的列表
    re.search(正则, 字符串)  # 返回一个对象，用group()取值，只匹配一个结果
    re.match(正则, 字符串)  # 返回一个对象，用group()取值，只匹配一个结果,且默认正则有  ^  以什么开头
    
    re.finditer(正则, 字符串)  # 返回一个存放匹配结果的迭代器(节省内存)
    例如：
    ret = re.finditer('\d+','qwe123abc456')
    print(ret)  # <callable_iterator object at 0x000001CA560DF860>
    print(ret.__next__().group())   # 123
    print(next(ret).group())        # 456

    # 或者单独使用for
    for i in ret:
        print(i.group())  #   123  456

    compile：将正则表达式编译成为一个正则表达式对象
    com = re.compile('\d+')
    print(com)  # re.compile('\\d+')

    ret = com.search('qwe123abc456')
    print(ret.group())  # 123

    ret = com.findall('qwe123abc456')
    print(ret)     # ['123', '456']

    ret = com.finditer('qwe123abc456')
    for i in ret:
        print(i.group())  #  123  456 


    2.其他内容
    优先显示分组内容()
    
    ?的应用
    ? 表示量词，零次或者一次
    (?:正则表达式) 表示取消优先显示功能
    (?P<组名>正则表达式) 表示给这个组起一个名字
    (?P=组名) 表示引用之前组的名字，引用部分匹配到的内容必须和之前那个组中的内容一模一样

    re.I : 忽略大小写
    re.M ：多行匹配
    re.S ：单行匹配

    re.sub(正则表达式, 替换内容, 字符串)
    re.split(正则表达式, 字符串)

二、Xpath解析

1、什么是Xpath

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

XPath 使用路径表达式在 XML 文档中进行导航
XPath 包含一个标准函数库
XPath 是 XSLT 中的主要元素
XPath 是一个 W3C 标准

2、Xpath的使用

1.下载：pip install lxml
2.导包：from lxml import etree

3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
　　3.1 本地文件：tree = etree.parse(文件名)
                tree.xpath("xpath表达式")

　　3.2 网络数据：tree = etree.HTML(网页内容字符串)
                tree.xpath("xpath表达式")

三、Xpath的语法

摘抄自w3school教程：http://www.w3school.com.cn/xpath/xpath_syntax.asp

1、xpath语法

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

以下面这个xml为例子

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

xml.xpath(“bookstore”) 表示选取 bookstore 元素的所有子节点

xml.xpath(“/bookstore”) 表示选取根元素 bookstore。

xml.xpath(“bookstore/book”) 选取属于 bookstore 的子元素的所有 book 元素。

xml.xpath(“//book”) 选取所有 book 子元素，而不管它们在文档中的位置。

xml.xpath(“bookstore//book”) 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。

xml.xpath(“//@lang”) 选取名为 lang 的所有属性。

2、谓语

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

3、选取未知节点

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

例子：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

4、选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

路径表达式	结果
//book/title \| //book/price	选取 book 元素的所有 title 和 price 元素。
//title \| //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title \| //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

5、轴

轴可定义相对于当前节点的节点集。

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

步的语法：
轴名称::节点测试[谓语]

例1：

例子	结果
child::book	选取所有属于当前节点的子元素的 book 节点。
attribute::lang	选取当前节点的 lang 属性。
child::*	选取当前节点的所有子元素。
attribute::*	选取当前节点的所有属性。
child::text()	选取当前节点的所有文本子节点。
child::node()	选取当前节点的所有子节点。
descendant::book	选取当前节点的所有 book 后代。
ancestor::book	选择当前节点的所有 book 先辈。
ancestor-or-self::book	选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）
child::*/child::price	选取当前节点的所有 price 孙节点。

例2：

原文：https://blog.csdn.net/qq_37059367/article/details/83819828

<div>
    <a id="1" href="www.baidu.com">我是第1个a标签</a>
    <p>我是p标签</p>
    <a id="2" href="www.baidu.com">我是第2个a标签</a>
    <a id="3" href="www.baidu.com">我是第3个a标签</a>
    <a id="4" href="www.baidu.com">我是第4个a标签</a>
    <p>我是p标签</p>
    <a id="5" href="www.baidu.com">我是第5个a标签</a>
</div>

获取第三个a标签的下一个a标签："//a[@id='3']/following-sibling::a[1]"

获取第三个a标签后面的第N个标签："//a[@id='3']/following-sibling::*[N]"

获取第三个a标签的上一个a标签："//a[@id='3']/preceding-sibling::a[1]"

获取第三个a标签的前面的第N个标签："//a[@id='3']/preceding-sibling::*[N]"

获取第三个a标签的父标签："//a[@id=='3']/.."

6、功能函数

使用功能函数能够更好的进行模糊搜索

函数                  用法                                                               解释
starts-with         xpath('//div[starts-with(@id,"ma")]')                        选取id值以ma开头的div节点
contains            xpath('//div[contains(@id,"ma")]')                           选取id值包含ma的div节点
and                 xpath('//div[contains(@id,"ma") and contains(@id,"in")]')    选取id值包含ma和in的div节点
text()              xpath('//div[contains(text(),"ma")]')                        选取节点文本包含ma的div节点

7、Element对象

from lxml.etree import _Element
for obj in ret:
    print(obj)
    print(type(obj))  # from lxml.etree import _Element

# 用xpath语法查询出来的列表，里面的对象都是Element对象


Element对象的内置方法如下：

class xml.etree.ElementTree.Element(tag, attrib={}, **extra)

　　tag：string，元素代表的数据种类。
　　text：string，元素的内容。
　　tail：string，元素的尾形。
　　attrib：dictionary，元素的属性字典。
　　
　　＃针对属性的操作
　　clear()：清空元素的后代、属性、text和tail也设置为None。
　　get(key, default=None)：获取key对应的属性值，如该属性不存在则返回default值。
　　items()：根据属性字典返回一个列表，列表元素为(key, value）。
　　keys()：返回包含所有元素属性键的列表。
　　set(key, value)：设置新的属性键与值。

　　＃针对后代的操作
　　append(subelement)：添加直系子元素。
　　extend(subelements)：增加一串元素对象作为子元素。＃python2.7新特性
　　find(match)：寻找第一个匹配子元素，匹配对象可以为tag或path。
　　findall(match)：寻找所有匹配子元素，匹配对象可以为tag或path。
　　findtext(match)：寻找第一个匹配子元素，返回其text值。匹配对象可以为tag或path。
　　insert(index, element)：在指定位置插入子元素。
　　iter(tag=None)：生成遍历当前元素所有后代或者给定tag的后代的迭代器。＃python2.7新特性
　　iterfind(match)：根据tag或path查找所有的后代。
　　itertext()：遍历所有后代并返回text值。
　　remove(subelement)：删除子元素。