python爬虫--03 Beautiful Soup库

1 库介绍

简介

Beautiful Soup库是解析、遍历、维护“标签树”的功能库

安装

pip install beautifulsoup4

使用

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')
soup2 = BeautifulSoup(open('D://demo.html'), 'html.parser')

2 BeautifulSoup解析器

bs4的HTML解析器:BeautifulSoup(mk,'html.parser')--安装bs4库
lxml的HTML解析器:BeautifulSoup(mk,'lxml')--pip install lxml
lxml的XML解析器:BeautifulSoup(mk,'xml')--pip install lxml
html5lib的解析器:BeautifulSoup(mk,'html5lib')--pip install html5lib

3 BeautifulSoup类基本元素

Tag:标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name:标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name
Attributes:标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString:标签内非属性字符串，<>…</>中字符串，格式：<tag>.string
Comment:标签内字符串的注释部分，一种特殊的Comment类型

import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,'html.parser')
print(soup.a)  ## 标签
print(soup.a.parent.parent.name)  ## 标签的爷爷标签名
print(soup.a.attrs) ## 属性字典
print(soup.a.string)  ## 标签内字符串
print(soup.a.comment)  ## 注释
print(type(soup.a.string))  ## 标签内字符串

 ><a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
 >body
 >{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
 >Basic Python
 >None
 ><class 'bs4.element.NavigableString'>

4 标签树遍历

下行遍历

.contents：子节点的列表，将<tag>所有儿子节点存入列表
.children：子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants：子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

上行遍历

.parent：节点的父亲标签
.parents：节点先辈标签的迭代类型，用于循环遍历先辈节点

平行遍历

.next_sibling：返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling：返回按照HTML文本顺序的上一个平行节点标签
.next_siblings：迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings：迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

遍历代码

print(soup.head.contents)   ##返回列表
print(soup.body.contents[1])
for child in soup.body.descendants:  ## 遍历子孙节点
  print(child)

for parent in soup.a.parents:
    if parent is None:    ##遍历所有先辈节点，包括soup本身(空)，所以要区别判断
        print(parent)
    else:
        print(parent.name)

5 prettify()方法

.prettify()为HTML文本<>及其内容增加更加'\n'
.prettify()可用于标签，方法：<tag>.prettify()

import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
# demo = r.text
soup = BeautifulSoup(r.text,'html.parser')
print(soup.prettify())

6 bs4库的编码

bs4库将任何HTML输入都变成utf‐8编码