Python爬取hupu这妹子真漂亮图片遇到的坑

1，urllib.error.HTTPError: HTTP Error 404: Not Found
解决方案：反爬虫机制会检测是不是真实浏览器的访问请求，一般的情况下加入user agent可以。但是虎扑比较另类，需要加入上一次成功访问时返回的cookie才可以

知识补充：
Python [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed 解决方法

问题的原因是“SSL: CERTIFICATE_VERIFY_FAILED”。
Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。
而当目标网站使用的是自签名的证书时就会抛出一个 urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)> 的错误消息，

解决方案包括下列两种方式：

1. 使用ssl创建未经验证的上下文，在urlopen中传入上下文参数

import ssl
import urllib2

context = ssl._create_unverified_context()
print urllib2.urlopen(“https://www.12306.cn/mormhweb/”, context=context).read()
2. 全局取消证书验证

import ssl
import urllib2

ssl._create_default_https_context = ssl._create_unverified_context

print urllib2.urlopen(“https://www.12306.cn/mormhweb/”).read()
注意：在全全局请求文件导入import ssl

import ssl
ssl._create_default_https_context = ssl._create_unverified_context
至此，问题圆满解决！

2，python3 UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x8b in position 1: invalid start byte
解决方案：浏览器请求的时候加入了accept encoding字段，造成服务器返回的内容是经过加密的，所以直接read().encode(‘utf-8’)会出现上述错误

扫描二维码关注公众号，回复： 4577648 查看本文章