在当前全民爬虫的形势下,Selenium已经成为爬虫必备技能,自然Selenium也成为反爬必备的检测项目,常见识别Selenium的方法主要通过检测浏览器的window.navigator.webdriver
属性。
下面我们看下不同浏览器的window.navigator.webdriver
属性值。
正常Firefox
浏览器
Selenium
+geckodriver
代码:
from selenium import webdriver
options = webdriver.FirefoxOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()
结果为:
True
去除Selenium
+geckodriver
的window.navigator.webdriver
属性
代码:
from selenium import webdriver
options = webdriver.FirefoxOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)# 去除window.navigator.webdriver属性的核心语句
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()
结果为:
None
总结
去除window.navigator.webdriver
属性的核心语句:
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
driver = webdriver.Firefox(options=options,firefox_profile=profile)
显示JavaScript
变量的核心语句:
js="return window.navigator.webdriver"
result=driver.execute_script(js)
在JavaScript
变量前加上return
,然后通过driver.execute_script()
方法执行JavaScript
语句,driver.execute_script()
方法的返回值即等于JavaScript
变量的值,即result
等于window.navigator.webdriver
。