python爬虫前（原理+抓包）

基本原理

爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序，其主要有如下三个步骤：

获取网页：爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求，返回的响应体便是网页源代码。Python中提供了许多库（如urllib、requests）来帮助我们实现这个操作，我们可以用这些库来帮助我们实现HTTP请求操作，请求和响应都可以用类库提供的数据结构来表示，得到响应之后只需要解析数据结构中的Body部分即可，即得到网页的源代码，这样我们可以用程序来实现获取网页的过程了。
提取信息：获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用正则表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错。另外，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
保存数据：提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作等。

能抓什么数据？
在网页中我们能看到各种各样的信息，最常见的便是常规网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这种格式的数据方便传输和解析，它们同样可以抓取，而且数据提取更加方便。此外，我们还可以看到各种二进制数据，如图片、视频和音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。另外，还可以看到各种扩展名的文件，如CSS、JavaScript和配置文件等，这些其实也是最普通的文件，只要在浏览器里面可以访问到，就可以将其抓取下来。

JavaScript渲染页面
有时候，我们在用urllib或requests抓取网页时，得到的源代码实际和浏览器中看到的不一样。这是一个非常常见的问题。现在网页越来越多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳，例如：

<IDOCTYPE html）
chtmly hona、
<meta charset="UTF-8"，
<title>This is a Demo</title>
SCILLe
</head>
<div id="container"）
SNLY
</body>
<script src="app.js"）</script>

其body节点里面只有一个id为container的节点，但是需要注意在body节点后引入了appjs，它便负责整个网站的渲染。在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个appjs文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后得到完整的页面。
但是在用urlib或requests等库请求当前页面时，我们得到的只是这个HTML代码，它不会帮助我们去继续加载这个JavaScript文件，这样也就看不到浏览器中的内容了。
这也解释了为什么有时我们得到的源代码和浏览器中看到的不一样。
因此，使用基本HTTP请求库得到的源代码可能跟浏览器中的页面源代码不太一样。对于这样的情况，我们可以分析其后台Ajax接口，也可使用Selenium、Splash这样的库来实现模拟JavaScript渲染。

00.什么是爬虫，怎么玩爬虫？

在你的浏览器里输入百度网址https://www.baidu.com一回车看到一个网页：

但是查看页面源代码是这样的：

这些许许多多的网站背后都是一些数据，如果我们可以用一个自动化的程序轻轻松松就能把它们给爬取下是不是很爽？比如，一些小电影的网站我们只要用 Python 写几行代码然后一运行这个程序就帮我们爬取所有的小电影到我们本地完全不需要我们费一点力气；再比如，你想了解一个行业的趋势，是不是可以把它们往年的数据都爬取下来然后，对这些数据做一些分析呢？

01.在Chrome浏览器抓包

02.通过Fidder进行手机抓包

本文参考自：

https://github.com/wistbean/learn_python3_spider

https://blog.csdn.net/hy592070616/article/details/89420699