selenium被识别的解决方法
遇到问题:
selenium做爬虫能解决很多反爬问题,但是selenium也有很多特征可以被识别,比如用selenium驱动浏览器后window.navigator.webdriver值是true,而正常运行浏览器该值是未定义的(undefined)
3步解决方案,实测有效
第一步,使用chrome开发者模式
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
第二步,禁用启用Blink运行时的功能
options.add_argument("--disable-blink-features=AutomationControlled")
第三步,Selenium执行cdp命令
再次覆盖window.navigator.webdriver的值
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
全部代码
大家可以去淘宝登录页面测试登录,没有出现验证框就能登录说明已经成功屏蔽selenium识别。
import time
from selenium import webdriver
def get_browser():
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
return driver
if __name__ == '__main__':
url = 'https://login.taobao.com/member/login.jhtml'
browser = get_browser()
browser.get(url)
time.sleep(60 * 60)