第四讲：
今天我们来讲一下上期遗漏的问题，首先是讲述了基于bs4库的HTML内容查找的方法。
主要的一个方法是：
<>.find_all(name,attrs,recursive,string,**kwargs)
返回的是一个列表对象，存储的是查找的结果，
Name参数是对标签名的检索字符串
例如：
1 for link in soup.find_all('a'): 2 3 print(link.get('href'))
就是第三讲中的最后一个例子，soup.find_all(‘a’)
返回一个全HTML文档的所有的<a>标签的一个列表，然后通过for循环一一读取，最后输出所有的url连接，就这么简单。
Attrs参数是对标签属性值的检索字符串
Recursive是否都子孙全部检索，默认为True
String <>…</>中字符串区域的检索字符串
下面用Ipython来演示：
首先是name参数，返回的是所有<a>标签组成的一个列表。
接着是attrs参数，返回有atitle属性值的标签
剩下的就不一一详细介绍了，下面介绍两个等价：
<tag>(…) 等价于 <tag>.find_all(…)
soup(…) 等价于 soup.find_all(…)
还有一个方法是<>.find() 搜索且返回一个结果，同.find_all()参数。
下面我们进行一个实战练习，准备好IDE环境，一起来做吧。
这是票房网的一个数据，现在显示的是《后来的我们》票房最高，啧啧啧，我也想去看啊~~
哎，跑题了，我们的目标是把这个网页的数据给爬下来，然后绘制成我们自己写的一个二位表格。
主要是分为三步走：
① 获取票房排名的网页内容
② 提取网页内容中的信息到适合的数据结构
③ 利用数据结构展示并输出结果
为此我们编写了三个函数。
第一个，当然是我们的通用代码框架了。
1 '''通用代码框架''' 2 3 import requests 4 5 6 7 def getHTML_Text(url): 8 9 try: 10 11 r = requests.get(url,timeout = 20) 12 13 r.raise_for_status() #如果状态不是200，则产生异常 14 15 r.encoding = r.apparent_encoding 16 17 return r.text 18 19 except: 20 21 return '产生异常'
上述函数返回的是网页的内容，然后第二个是提取有用信息到我们的数据结构里面去。
首先我们从浏览器里面用审查元素功能，找到我们所需数据的位置，可以看到我们需要的信息都在<tr >的这个标签和他的子孙节点标签里面。
做一个数据结构，只要把采集到的数据放进里面就ok了。
| 电影名称name |
票房 Total_num |
人次 People |
场次 Play_num |
更新时间 Update_time |
直接看第二个函数：
1 import bs4 2 3 from bs4 import BeautifulSoup 4 5 def fillList(ulist,html): 6 7 soup = BeautifulSoup(html,'html.parser') 8 9 for tr in soup.find('tbody').children: 10 11 if isinstance(tr,bs4.element.Tag): 12 13 tds = tr('td') 14 15 ulist.append([tds[0]('a')[0].string,tds[1].string, 16 17 tds[2].string,tds[3].string,tds[4].string]) 18 19
该函数有两个参数，第一个ulist是一个存储结果的列表对象，
第二个参数是html文本，就是我们第一个函数爬取得到的内容，然后我们用BeautifulSoup对其进行解析提取我们需要的信息。
然后通过一个.children产生的迭代器对象，对找到的<tr>标签的子孙节点进行一个迭代提取信息。看下图：
我们可以简单分析到：<tr>标签下面的都是<td>的子标签，而这些子标签的内容就是我们需要的信息，就可以用.string属性了。只是第一个<td>标签里面还有一个<a>标签，所以我们需要先查找到他的<a>标签，然后再用.string属性来提取信息。（tds[0]('a')[0].string）
最后看第三个函数：
1 def print_all_result(ulist): 2 3 print("{:16}\t{:8}\t{:8}\t{:8}\t{:20}" 4 5 .format('电影名称','票房','人次','场次','更新时间',chr(12288))) 6 7 for i in range(len(ulist)): 8 9 u = ulist[i] 10 11 print("{:16}\t{:8}\t{:8}\t{:8}\t{:20}" 12 13 .format(u[0],u[1],u[2],u[3],u[4],chr(12288)))
首先是设计一个表头，然后对存储了结果的列表对象进行迭代，就能打印出我们爬取到的信息了。
最后写一下main()函数：
1 def main(): 2 3 url = 'http://58921.com/daily' 4 5 html = getHTML_Text(url) 6 7 result = [] 8 9 fillList(result,html) 10 11 print_all_result(result)
大功告成！让我们来看看结果吧！
结果已经成功打印出来了，只是排版还有点小毛病，这个大家回去自己试着排版了，这里就不展示怎么排版了，毕竟这不是主要内容。
我们的重点是怎么分析我们要提取的信息，和怎么设计我们的数据结构，最后是编码，把我们的想法加以实现。
好了，本期到此结束，下期见。
本期全部代码：
1 import requests 2 import bs4 3 from bs4 import BeautifulSoup 4 5 def getHTML_Text(url): 6 try: 7 kv = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12'} 8 r = requests.get(url,timeout = 20,headers = kv) 9 r.raise_for_status() #如果状态不是200，则产生异常 10 r.encoding = r.apparent_encoding 11 return r.text 12 except: 13 return '产生异常' 14 15 def fillList(ulist,html): 16 soup = BeautifulSoup(html,'html.parser') 17 for tr in soup.find('tbody').children: 18 if isinstance(tr,bs4.element.Tag): 19 tds = tr('td') 20 ulist.append([tds[0]('a')[0].string,tds[1].string, 21 tds[2].string,tds[3].string,tds[4].string]) 22 23 def print_all_result(ulist): 24 print("{:16}\t{:8}\t{:8}\t{:8}\t{:20}" 25 .format('电影名称','票房','人次','场次','更新时间',chr(12288))) 26 for i in range(len(ulist)): 27 u = ulist[i] 28 print("{:16}\t{:8}\t{:8}\t{:8}\t{:20}" 29 .format(u[0],u[1],u[2],u[3],u[4],chr(12288))) 30 31 def main(): 32 url = 'http://58921.com/daily' 33 html = getHTML_Text(url) 34 result = [] 35 fillList(result,html) 36 print_all_result(result) 37 38 if __name__ == '__main__': 39 main()
下期预告：re模块的使用