Case1 爬取北京地区租房信息
案例描述
爬取“小猪短租网”，北京地区搜索页面前10页的所有房源信息，将房源名称、地址、价格、图片链接、房东姓名、房东性别都输出出来。代码如下所示。
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import time
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
def jugement_sex(class_name):
if class_name == ['member_girl_ico']:
return '女'
else:
return '男'
def get_links(url):
wb_data = requests.get(url, headers = headers)
soup = BeautifulSoup(wb_data.text, 'html.parser')
links = soup.select('#page_list > ul > li > a')
for link in links:
href = link.get('href')
get_info(href)
def get_info(url):
wb_data = requests.get(url, headers = headers)
soup = BeautifulSoup(wb_data.text, 'html.parser')
titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')
addresses = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')
prices = soup.select('#pricePart > div.day_l > span')
imgs = soup.select('#curBigImage')
names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > span')
for title, address, price, img, name, sex in zip(titles, addresses, prices, imgs, names, sexs):
data = {
'title':title.get_text().strip(),
'address':address.get_text().strip(),
'price':price.get_text(),
'img':img.get('src'),
'name':name.get_text(),
'sex':jugement_sex(sex.get('class'))
}
print(data)
if __name__ == '__main__':
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,10)]
for single_url in urls:
get_links(single_url)
time.sleep(2)代码分析
（1）1-4行，导入程序所需要的库。这里就不详细论述了，可参考我之前的博客；
（2）5-7行，导入User-Agent，是爬虫程序伪装成浏览器；
（3）8-12行，定义jugement_sex()函数，用于判断房东的性别。性别是提取数据之一；
（4）12-20行，定义get_links()函数，用于获取进入详细页面的链接，而链接位于url标签的属性当中。使用BeautifulSoup中的select函数，通过浏览器的“Copy Select”来获取’#page_list > ul > li > a’，进而返回url的值，非常方便；
（5）22-40行，定义get_info()函数，用于获取每个网页的信息并输出信息。想要提取的信息是如题干所述，在代码中即是title/address/price/img/name/sex；select()的用法如上所述；zip()函数的用法，可参考下列网页：
https://www.cnblogs.com/frydsh/archive/2012/07/10/2585370.html；get_text()用于获取html代码串中的文本信息，并去掉标签；strip()用于对对象去掉括号中的参数，默认为去掉空格；最后输出为字典dict，并打印到页面上；
（6）42-46行，是行为程序的主入口，name == ‘main‘表示，只有单独运行此py文件时，才会运行下列函数；format()将字符串格式化输出，构造10个url，不过其实不用写的这么复杂。。。；time.sleep(2)的作用是，每循环一次，让程序暂停2秒，以防爬取过快而导致爬虫失败。
Case2 爬取酷狗TOP500的数据
案例描述
爬取酷狗音乐TOP500榜单所有音乐的排名、歌手及歌曲、时长的信息，并打印出来。代码如下所示。
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import time
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
def get_info(url):
song_res = requests.get(url, headers = header)
song_soup = BeautifulSoup(song_res.text, 'html.parser')
song_ranks = song_soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_num')
song_names = song_soup.select('#rankWrap > div.pc_temp_songlist > ul > li > a')
song_times = song_soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_tips_r > span')
for song_rank, song_name, song_time in zip(song_ranks, song_names, song_times):
song_dict = {
'歌曲排名':song_rank.get_text().strip(),
'歌手&歌曲':song_name.get_text().strip(),
'时长':song_time.get_text().strip()
}
time.sleep(0.5)
print(song_dict)
if __name__ == '__main__':
for i in range(1,24):
url = 'http://www.kugou.com/yy/rank/home/' + str(i) + '-8888.html?from=rank'
get_info(url)
time.sleep(1)代码分析
（1）1-5行，导入程序所需要的库；
（2）7行，给定请求头，模仿浏览器行为；
（3）9-22行，定义get_info()函数，函数功能为：请求网页、获取音乐排名、歌曲&歌手、时长的信息，并将这些信息赋给字典song_dict。信息获取方法为select函数，配合浏览器F12的Copy Select；
（4）24-28行，定义本py函数的主入口（其实在本例中，__main.py是多此一举，为了规范性才加上去）；分析酷狗音乐榜会发现，每一个页面只显示22首歌曲，利用循环访问23个页面，从而获取500首歌曲的信息。最后的time.sleep函数，表示执行一次函数，暂停1s，避免被反爬机制识别出来。