网络爬虫笔记（Day7）——Selenium

首先下载chromedriver 将其放入Python运行环境下，然后再去pip安装selenium。

最简单的结构 代码如下：

from selenium import webdriver

# ----------------------不打开浏览器窗口-------------------------
option_chrome = webdriver.ChromeOptions()
option_chrome.add_argument('--headless')
# -----------------------------------------------
driver = webdriver.Chrome(chrome_options=option_chrome)   # chrome_options=option_chrome不打开浏览器窗口
# driver = webdriver.Chrome()   # 在打开浏览器窗口执行过程
url = 'http://www.baidu.com'
driver.get(url)

# 获取网页内容
html_str = driver.page_source
print(type(html_str))
# -------------------传参-------------------------
# find_element_by_id 通过id选择器 传入提交的值
driver.find_element_by_id('kw').send_keys("建设性问题")
driver.find_element_by_id('su').click()

html_bytes = html_str.encode('utf-8')
with open('baidu.html', 'wb') as f:
    f.write(html_bytes)