教你用python爬取喜马拉雅FM音频，干货分享~

前前言

喜马拉雅已经更换标签，我重新更新了下代码，文章暂时未改，因为思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...

前言

之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。

爬取图片文章的链接： python爬取图片并以二进制方式保存到本地

目标

本次我们爬取的目标是--喜马拉雅FM

这里写图片描述

喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频

扫描二维码关注公众号，回复： 4478424 查看本文章

接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/

这里写图片描述

我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的

这里写图片描述

这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目

这里写图片描述

继续跟进，可以看到，我们需要爬取的音频列表了！

好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频

开始动刀

第一步

代码如下：

category_Url = 'https://www.ximalaya.com/category/' base_url = 'https://www.ximalaya.com' base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds=' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36' } client = pymongo.MongoClient(host='localhost', port=27017) db = client['ximalaya'] def getUrl(): r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = [] for i in result: # 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类 second_url = base_url + i[0] url_list.append(second_url) # 获取该分类中全部的页数 getMorePage(second_url) print second_url break 

分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL

还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例

第二步

def getMorePage(url): r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0]) # 循环获取每一页，这里暂时获取第一页 for i in range(1, pageNum + 1): if i == 1: page_url = url # 获取页中的30个FM getMusicList(page_url, i) else: page_url = url + 'p{}/'.format(i) getMusicList(page_url, i) #爬取一页 break 

进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环

这里我们注意一下其页面的url ：

https://www.ximalaya.com/youshengshu/wenxue/p2/

后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例

第三步

def getMusicList(url, page): r = requests.get(url, headers=header) m_list_html = r.text result = re.findall( r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = [] # 获取该page中每一个FM的数据信息，可以存入MongoDB for i in result: FM_info = {} #每个节目的url FM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info) # 获取该FM中的音频信息 # os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name'])) get_FM_music(FM_url) # 先获取一个FM # for j in info: # print j test = db['page' + str(page)] test.insert(info) 

以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频

第四步

def get_FM_music(fm_url): print fm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = [] # 爬取一个FM下的每个音频 j = 1 for i in track_list: detail = {} # 获取爬取音频所需的trackIds id = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail) # api中的数据信息 get_detailFM_api(id) print u'已获取第' + str(j) + u'个音频' j += 1 print detail['title']+u',该音频爬取完毕' time.sleep(2+random.randint(1,10)) 

获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候

这里写图片描述

进入到以下界面

这里写图片描述

我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试

结果我们发现，点击播放按钮，发送了一个请求：

这里写图片描述

https://www.ximalaya.com/revision/play/tracks?trackIds=93433726

注意trackIds就是当前音频url的最后一部分：

https://www.ximalaya.com/youshengshu/11377428/93433726

同时我们可以看到我们所需的音频源就在这里：

这里写图片描述

这里写图片描述

所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url

第五步

def get_detailFM_api(id): api = base_api + id print api r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0] if src['src']: print u'试听' r = requests.get(src['src'], headers=header) try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb') except: print u'已存在' pass f.write(r.content) f.close print u'保存完毕...' else: print u'需要收费' pass 

通过访问音频源，以 r.content 将音频保存到本地

这里写图片描述

这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中

最后，程序从这里开始运行

if __name__ == '__main__': getUrl() 

有疑问或更好的方法的话，欢迎交流！

下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师...（考试时看我们做的试卷，唉，急的直接说答案了！！...）

完整代码可以在我的GitHub上下载~

https://github.com/joelYing/XimalayaFM

前前言

喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...

前言

之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。

爬取图片文章的链接： python爬取图片并以二进制方式保存到本地

目标

本次我们爬取的目标是--喜马拉雅FM

这里写图片描述

喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频

接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/

这里写图片描述

我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的

这里写图片描述

这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目

这里写图片描述

继续跟进，可以看到，我们需要爬取的音频列表了！

好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频

开始动刀

第一步

代码如下：

category_Url = 'https://www.ximalaya.com/category/' base_url = 'https://www.ximalaya.com' base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds=' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36' } client = pymongo.MongoClient(host='localhost', port=27017) db = client['ximalaya'] def getUrl(): r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = [] for i in result: # 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类 second_url = base_url + i[0] url_list.append(second_url) # 获取该分类中全部的页数 getMorePage(second_url) print second_url break 

分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL

还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例

第二步

def getMorePage(url): r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0]) # 循环获取每一页，这里暂时获取第一页 for i in range(1, pageNum + 1): if i == 1: page_url = url # 获取页中的30个FM getMusicList(page_url, i) else: page_url = url + 'p{}/'.format(i) getMusicList(page_url, i) #爬取一页 break 

进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环

这里我们注意一下其页面的url ：

https://www.ximalaya.com/youshengshu/wenxue/p2/

后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例

第三步

def getMusicList(url, page): r = requests.get(url, headers=header) m_list_html = r.text result = re.findall( r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = [] # 获取该page中每一个FM的数据信息，可以存入MongoDB for i in result: FM_info = {} #每个节目的url FM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info) # 获取该FM中的音频信息 # os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name'])) get_FM_music(FM_url) # 先获取一个FM # for j in info: # print j test = db['page' + str(page)] test.insert(info) 

以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频

第四步

def get_FM_music(fm_url): print fm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = [] # 爬取一个FM下的每个音频 j = 1 for i in track_list: detail = {} # 获取爬取音频所需的trackIds id = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail) # api中的数据信息 get_detailFM_api(id) print u'已获取第' + str(j) + u'个音频' j += 1 print detail['title']+u',该音频爬取完毕' time.sleep(2+random.randint(1,10)) 

获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候

这里写图片描述

进入到以下界面

这里写图片描述

我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试

结果我们发现，点击播放按钮，发送了一个请求：

这里写图片描述

https://www.ximalaya.com/revision/play/tracks?trackIds=93433726

注意trackIds就是当前音频url的最后一部分：

https://www.ximalaya.com/youshengshu/11377428/93433726

同时我们可以看到我们所需的音频源就在这里：

这里写图片描述

这里写图片描述

所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url

第五步

def get_detailFM_api(id): api = base_api + id print api r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0] if src['src']: print u'试听' r = requests.get(src['src'], headers=header) try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb') except: print u'已存在' pass f.write(r.content) f.close print u'保存完毕...' else: print u'需要收费' pass 

通过访问音频源，以 r.content 将音频保存到本地

这里写图片描述

这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中

最后，程序从这里开始运行

if __name__ == '__main__': getUrl() 

有疑问或更好的方法的话，欢迎交流！

下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师...（考试时看我们做的试卷，唉，急的直接说答案了！！...）

完整代码可以在我的GitHub上下载~

https://github.com/joelYing/XimalayaFM

前前言

喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...

前言

之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。

爬取图片文章的链接： python爬取图片并以二进制方式保存到本地

目标

本次我们爬取的目标是--喜马拉雅FM

这里写图片描述

喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频

接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/

这里写图片描述

我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的

这里写图片描述

这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目

这里写图片描述

继续跟进，可以看到，我们需要爬取的音频列表了！

好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频

开始动刀

第一步

代码如下：

category_Url = 'https://www.ximalaya.com/category/' base_url = 'https://www.ximalaya.com' base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds=' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36' } client = pymongo.MongoClient(host='localhost', port=27017) db = client['ximalaya'] def getUrl(): r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = [] for i in result: # 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类 second_url = base_url + i[0] url_list.append(second_url) # 获取该分类中全部的页数 getMorePage(second_url) print second_url break 

分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL

还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例

第二步

def getMorePage(url): r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0]) # 循环获取每一页，这里暂时获取第一页 for i in range(1, pageNum + 1): if i == 1: page_url = url # 获取页中的30个FM getMusicList(page_url, i) else: page_url = url + 'p{}/'.format(i) getMusicList(page_url, i) #爬取一页 break 

进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环

这里我们注意一下其页面的url ：

https://www.ximalaya.com/youshengshu/wenxue/p2/

后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例

第三步

def getMusicList(url, page): r = requests.get(url, headers=header) m_list_html = r.text result = re.findall( r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = [] # 获取该page中每一个FM的数据信息，可以存入MongoDB for i in result: FM_info = {} #每个节目的url FM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info) # 获取该FM中的音频信息 # os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name'])) get_FM_music(FM_url) # 先获取一个FM # for j in info: # print j test = db['page' + str(page)] test.insert(info) 

以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频

第四步

def get_FM_music(fm_url): print fm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = [] # 爬取一个FM下的每个音频 j = 1 for i in track_list: detail = {} # 获取爬取音频所需的trackIds id = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail) # api中的数据信息 get_detailFM_api(id) print u'已获取第' + str(j) + u'个音频' j += 1 print detail['title']+u',该音频爬取完毕' time.sleep(2+random.randint(1,10)) 

获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候

这里写图片描述

进入到以下界面

这里写图片描述

我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试

结果我们发现，点击播放按钮，发送了一个请求：

这里写图片描述

https://www.ximalaya.com/revision/play/tracks?trackIds=93433726

注意trackIds就是当前音频url的最后一部分：

https://www.ximalaya.com/youshengshu/11377428/93433726

同时我们可以看到我们所需的音频源就在这里：

这里写图片描述

这里写图片描述

所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url

第五步

def get_detailFM_api(id): api = base_api + id print api r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0] if src['src']: print u'试听' r = requests.get(src['src'], headers=header) try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb') except: print u'已存在' pass f.write(r.content) f.close print u'保存完毕...' else: print u'需要收费' pass 

通过访问音频源，以 r.content 将音频保存到本地

这里写图片描述

这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中

最后，程序从这里开始运行

if __name__ == '__main__': getUrl() 

有疑问或更好的方法的话，欢迎交流！