如何爬取网络视频、网页? 教你方法哦。

疫情期间,在家帮一个网友爬取视频。

写下分享

分享一个视频爬取的办法。

大家都会有这种经历,在网上看到一个视频就行给他爬取下载下来,但是视频网站又不支持怎么办?

按 F12 查询视频页面元素,选择network

选择下面的XHR 保留网络请求。

一般有的网络请求里会带有返回的视频连接地址的。

有的视频网站一般会在返回的信息里,带有视频的原地址。

可供直接下载。

这里就不在一一列举了。

但是如果这么简单的话,我想大家估计会鄙视了。

写这个文章的目的不是让你会下载一个视频。而是让你学习到更多对于视频或者网页爬取的更多技巧。

技巧大列举:

  1. 就是我上边说的F12直接查看能有不能找到下载链接。

  2. 想法子打开视频多渠道,这里的多渠道指的是比如找找视频有没有分享链接?或者是第三方能不能找到?

  3. 网络抓包获取到视频真正的播放地址。

  5.运用网上的一些嗅探视频工具 ,网上有很多的视频嗅探工具的。你把链接输入进去他会自动查找看看是否有能下载的视频(实现原理可能也是直接页面抓包了吧)

  6. 以前用过一个开发组件叫做Cefsharp的一个浏览器。他可以抓包网络上打开的可以说是任何东西。(有编程经验的小伙伴可以试试)

猜你喜欢

转载自blog.csdn.net/u010919083/article/details/106082223