python 爬虫初学的几个概念

GET和POST

  • GET : 查询参数都会在URL上显示出来
  • POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来

URL组成部分

  • URL: 统⼀资源定位符
  • https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
  • https: 协议-
  • new.qq.com: 主机名
  • port 端⼝号: 80 /new.qq.com 在他的后⾯有个 :80 可以省略
  • TWF20200/TWF2020032502924000.html 访问资源的路径
  • #anchor: 锚点用在前端做页面定位的
  • 注意 : 在浏览器请求⼀个url,浏览器会对这个url进行⼀个编码。(除英文字母、数字和部分标识其他的全部使用% 加 十六进制码进行编码)
    • 例如:https://tieba.baidu.com/ffr=wwwt&kw=%E6%9F%AF%E5%8D%97
    • %E6%9F%AF%E5%8D%97等于柯南

User-Agent 用户代理

  • 作用:记录用户的浏览器、操作系统等,为了让用户更好的获取HTML页面效果
  • User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36
  • Mozilla Firefox:(Gecko内核)

Refer

表明当前这个请求是从哪个URL过来的。一般情况下添加这个参数可以避免反爬机制

状态码

  • 200 : 请求成功
  • 301 : 永久重定向
  • 302 : 临时重定向
  • 403 : 服务器拒绝请求
  • 404 : 请求失败(服务器无法根据客户端的请求找到资源(网页))
  • 500 : 服务器内部请求

抓包工具

在这里插入图片描述

  • Elements : 元素,里面有网页源代码,提取数据和分析数据(有些数据是经过特殊处 理的所以并不是都是准确的)
  • Console : 控制台 (打印信息)
  • Sources : 信息来源 (整个网站加载的文件)
  • Network : 网络工作(信息抓包) 能够看到很多的网页请求

猜你喜欢

转载自blog.csdn.net/weixin_44604586/article/details/107269265