由于一些网站会识别并阻止爬虫程序爬取网页的信息,所以需要修改请求报文的头部信息,模拟浏览器访问
实例:爬取亚马逊中国的商品页面信息:
https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1
import requestsurl = 'https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1' try: kv = {'user-agent':'Mozilla/5.0'} #关键:模拟浏览器,解决网站审查禁止爬虫的问题(503,403。。) r=requests.get(url, headers = kv) #关键:加入头部信息 r.raise_for_status() #检查状态 r.encoding = r.apparent_encoding #设置编码 print(r.text) #打印网页源码信息 except: print("爬取失败")