爬虫遇到的问题i

1、ValueError:Missing scheme in request url: h

相关URL必须是一个List,改为LIst即可

2、Connection was closed

加UA头或者进行代理

UA头中HOST:

  1. host字段可以是域名,也可以是ip地址。host字段域名/ip后可以跟端口号,如Host: www.6san.com:8080
  2. host可以由程序自定义,某些程序为了防止运营商或防火墙拦截会定义虚假host
  3. http1.1中host字段可以是空值,http1.0中可以缺失host字段
  4. http响应头中不包含host字段,所以wireshark中http.host过滤到的都是请求包
  5. 因为http头中的host字段可以由程序自定义,所以host字段的值就会有很多特殊情况,如包含多个’/'字符的HOST头信息,结尾含有”.”等

在http 1.1中不能缺失host字段,如果缺失,,服务器返回400 bad request,http1.1中不能缺失host字段,但host字段可以是空值。

3、

猜你喜欢

转载自www.cnblogs.com/wangeraaa/p/10239379.html