听歌慌？80 行代码帮你搞定！

本文首发于公众号「brucepk」，欢迎关注。

“ 阅读文本大概需要 5 分钟

此文首发于「brucepk」公众号，欢迎大家去关注。

周末，打开手机听听音乐放松下，发现手机里的音乐好久没换了，想听点其他歌却不知道换什么歌，你们有没有遇到这样的听歌慌，今天就用 python 爬虫来爬取网易云音乐里不同类型歌手的 top 50 热门歌曲。

项目环境

语言环境：python 3.6
编辑工具：PyCharm
模块导入：BeautifulSoup、re、selenium、csv

爬取结果

爬取的数据只用了两列，第一列显示歌手姓名，第二列显示该歌手在网易云音乐里的 top 50 热门歌曲。

程序结构

程序主要是由 6 个函数组成：

get_singer()：提取源码中歌手的名字。
song_url()：拼接各个歌手的 top 50 歌曲的url。
song_name()：根据上面函数提供的歌曲 url 提取 50 首热门歌曲的歌名。
get_data()：处理需要保存的数据。
download2csv：将歌曲保存为 csv 文件。

源码提取

分析源码发现需要提取的歌手信息只在 Elements 里面出现，源代码中找不到这些信息，说明这些信息没有放在源代码中，对于这种情况，我们就不能用之前的 requests 方法来提取源码信息了，我们这次用 selenium 自动化测试库来模拟人工打开页面，这种方法提取的就是 Elements 出现的信息，也就是我们需要的信息。关于这两种方法的区别，下篇文章会详细分析。

browser = webdriver.Chrome()
wait = WebDriverWait(browser,5)    #设置等待时间
复制代码

我用的是 chrome 浏览器，此处需要把 chromedriver 驱动下载好放在 python 3 的安装目录下方可操作浏览器。

    browser.get(url)
    browser.switch_to.frame('g_iframe')
    html = browser.page_source
    soup=BeautifulSoup(html,'lxml')
复制代码

用 selenium 操作浏览器需要注意切换框架，因为有可能我们需要的元素的不在主框架里，需要用 switch_to.frame 方法切换到包含元素的子框架。

info=soup.select('.nm.nm-icn.f-thide.s-fc0')
sname=[]
songids=[]
    for snames in info:
        name=snames.get_text()
        songid=str(re.findall('href="(.*?)"',str(snames))).split('=')[1].split('\'')[0]
        sname.append(name)
        songids.append(songid)
    return sname,songids
复制代码

用 BeautifulSoup 和 re 库从源码中提取出歌手名字和 top 50 歌曲的链接 id。

获取 top 50 歌曲名

先通过上面 get_singer() 函数返回的 songids 来拼接 top 50 歌曲 url，每个歌手对应的 top 50 歌曲是唯一的。

def song_url():
    sname, songids = get_singer(url)
    top50urls=[]
    for id in songids:
        top50url = 'http://music.163.com/#/artist?id={}'.format(id)
        top50urls.append(top50url)
    return top50urls
复制代码

歌曲 url 有了，我们就可以用 selenium 库方法提取歌曲名字。

def song_name():
    songnames=[]
    for top50url in song_url():
        browser.get(top50url)
        browser.switch_to.frame('g_iframe')
        html = browser.page_source
        soup = BeautifulSoup(html, 'lxml')
        songinfo = soup.select('div div div span a b')
        songname=re.findall('title="(.*?)"',str(songinfo))
        songnames.append(songname)
    return songnames
复制代码

提取了歌曲名信息后，我们再把信息整合下。

def get_data():
    sname, songids=get_singer(url)
    songnames=song_name()
    data=[]
    for snames,songs in zip(sname,songnames):
        info = {}
        info['歌手名字']=snames
        info['top50歌曲'] =songs
        for i in info:
            for j in info[i]:
                info2={i:j}
                data.append(info2)
    return data
复制代码

再把信息保存为 csv 文件。

def download2csv():
    print('保存歌手信息中...请稍后查看')
    with open('E:\\歌手top50.csv','w',newline='',encoding='utf-8') as f:
        fieldnames = ['歌手名字', 'top50歌曲']
        writer=csv.DictWriter(f,fieldnames=fieldnames)
        writer.writeheader()
        data=get_data()
        writer.writerows(data)
        print('保存成功')
复制代码

最后，调用函数就可以去保存想听的类型歌手的信息了。

idlist=[1001,1002,1003,2001,2002,2003,4001,4002,4003,6001,6002,6003,7001,7002,7003]
#1开头：华语；2开头：欧美，4：其他；6：日本；7：韩国
id=1001
url='http://music.163.com/#/discover/artist/cat?id={}&initial=-1'.format(str(id))
download2csv()
复制代码

id 表示歌手的类型，1001 1002 1003 分别表示华语男歌手、女歌手、组合/乐队，2001 2002 2003 分别表示欧美男歌手、女歌手、组合/乐队，6001 6002 6003 分别表示日本男歌手、女歌手、组合/乐队，7001 7002 7003 分别表示韩国男歌手、女歌手、组合/乐队，4001 4002 4003 分别表示其他男歌手、女歌手、组合/乐队。需要保存哪种类型歌手的信息，修改 id 的值即可。

保存后就可以用 Excel 文件形式打开保存的 csv 歌曲信息了，看看自己哪些歌没听过，听听你那些年错过的好歌，解决掉你的听歌慌。

完整代码可以在后台回复「网易云音乐」获取。

本公众号专注：

1.python 技术分享

2.python 爬虫分享

3.资料、工具共享

欢迎关注我们，一起成长！

我建一个技术交流群，群里有大佬，可以进群一起讨论学习，共同进步。进群方式见公众号联系方式处。
群里我用 python 写了个微信机器人，欢迎体验！

听歌慌？80 行代码帮你搞定！

猜你喜欢