Crawler - fake-useragent随机ua

目录

 

1.安装fake-useragent

2.获取各浏览器的fake-useragent

3.fake-useragent案例

---

1.安装fake-useragent

pip install fake-useragent

2.获取各浏览器的fake-useragent

from fake_useragent import UserAgent

ua = UserAgent()

#ie浏览器的user agent

print(ua.ie)

#opera浏览器

print(ua.opera)

#chrome浏览器

print(ua.chrome)

#firefox浏览器

print(ua.firefox)

#safri浏览器

print(ua.safari)

#最常用的方式

#写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头

print(ua.random)

print(ua.random)

print(ua.random)

3.fake-useragent案例

from fake_useragent import UserAgent

import requests

ua=UserAgent()

#请求的网址

url="http://www.baidu.com"

#请求头

headers={"User-Agent":ua.random}

#请求网址

response=requests.get(url=url,headers=headers)

#响应体内容

print(response.text)

#响应状态信息

print(response.status_code)

#响应头信息

print(response.headers)

4.FakeUserAgentError

Maximum amount of retries reached

参数案例:https://blog.csdn.net/weixin_33893473/article/details/86031932

禁用服务器缓存：

ua = UserAgent(use_cache_server=False)

不缓存数据：

ua = UserAgent(cache=False)

忽略ssl验证：

ua = UserAgent(verify_ssl=False)