版权声明：禁止转载至其它平台，转载至博客需带上此文链接。 https://blog.csdn.net/qq_41841569/article/details/84968418
前言
前方高能预警！抖音小姐姐视频集来了！
如果你感觉学不会？莫慌，小编推荐大家加入群，
前面960中间410后面445，群里有志同道合的小伙伴，
互帮互助，还可以拿到许多视频教程！
总感觉抖音小姐姐连一个手势都能擦出不一样的火花，她们有一千种模样，我就有一万种喜欢，没有看够怎么办？！
双十二福利来了！这次Python爬虫实战篇，爬的就是当下大火的抖音小姐姐视频。问我pick哪位小姐姐，当然是唱歌老跑调，跳舞数拍子的杨超越了。
本文主要讲解：
- 抖音视频爬虫
- 视频下载
抖音视频爬虫
抖音使用的智能推荐机制。我们这里依旧是通过fiddler抓包（Fiddler是一款常见的抓包分析工具，对数据进行截获、重发、编辑、转存的过程叫做抓包）。现在的抖音有加密算法，之前网上的大部分代码都不能用了，我们先看看有哪些加密字段。
https: //aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870
这里主要是mas和as参数不知道咋构造，这里因为只是爬一个用户的数据，所以把整个url都copy到txt中，然后请求获取数据。
视频下载
在网上看说，这个链接只有10多分钟的有效期（没有验证），所以爬虫先把视频链接先保存下来，然后再统一下载。
哈哈哈，当爬虫撞见小姐姐，你的样子我都有啦！
爬虫基础知识
那么一般学习爬虫要学习到哪种程度呢？
（必要部分）
- 语言选择：一般是了解Python、Java、Golang之一
- 熟悉多线程编程、网络编程、HTTP协议相关
- 开发过完整爬虫项目（最好有全站爬虫经验，这个下面会说到）
- 反爬相关，cookie、ip池、验证码等等
- 熟练使用分布式
（非必要，建议）
- 了解消息队列，如RabbitMQ、Kafka、Redis等
- 具有数据挖掘、自然语言处理、信息检索、机器学习经验
- 熟悉APP数据采集、中间人代理
- 大数据处理（Hive/MR/Spark/Storm）
- 数据库Mysql，redis，mongdb
- 熟悉Git操作、linux环境开发
- 读懂js代码，这个真的很重要