前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
开发工具
python 3.6.5
pycharm
requests
相关模块可pip安装
刚打完的S10全球总决赛八进四决赛中,TES完成了让二追三。恭喜滔博的同时让我们来看看B站网友的反应。
对此小编的想法就是：
观众想要的是胜利，选手想要的是创造历史
目标网站
注意点：
未登录B站账号是看不到弹幕数据，登陆之后可以点击查看历史弹幕选择日期，XHR 有相关的数据接口
请求网页
headers 需要携带cookie参数
返回的源代码，字体会出现乱码，需要转码
import requests
url = 'https://api.bilibili.com/x/v2/dm/history?type=1&oid=246648707&date=2020-10-17'
headers = {
'cookie': '',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
print(response.text)
获得返回数据，可以利用正则匹配弹幕信息
获取了弹幕信息保存到本地即可
爬虫完整代码
import requests
import re
url = 'https://api.bilibili.com/x/v2/dm/history?type=1&oid=246648707&date=2020-10-17'
headers = {
'cookie': '',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
lis = re.findall('<d p=".*?">(.*?)</d>', response.text, re.S)
for i in lis:
with open('八强赛弹幕.txt', mode='a', encoding='utf-8') as f:
f.write(i)
f.write('\n')
发现一共才 14行代码就搞定了~
这只是爬取10月17日当天的弹幕数据，根据日期的变化可以改变日期参数，就可以达到爬取多页的数据了
既然爬取了弹幕，就这样，还是有没有什么感觉，咱们可以对弹幕进行词云分析~
词云图
import jieba
import wordcloud
import imageio
# 导入imageio库中的imread函数，并用这个函数读取本地图片，作为词云形状图片
py = imageio.imread(r"D:\python\demo\tesVSfnc\timg.png")
# 读取文件内容
f = open(r'D:\python\demo\tesVSfnc\八强赛弹幕.txt', encoding='utf-8')
txt = f.read()
# print(txt)
# jiabe 分词 分割词汇
txt_list = jieba.lcut(txt)
string = ' '.join(txt_list)
# 词云图设置
wc = wordcloud.WordCloud(
width=1000, # 图片的宽
height=700, # 图片的高
background_color='white', # 图片背景颜色
font_path='msyh.ttc', # 词云字体
mask=py, # 所使用的词云图片
scale=15,
stopwords={'真的', '这个'},
# contour_width=5,
# contour_color='red' # 轮廓颜色
)
# 给词云输入文字
wc.generate(string)
# 词云图保存图片地址
wc.to_file(r'D:\python\demo\tesVSfnc\out.png')
