Python爬虫之selenium模拟登陆

在我们日常的爬虫运作中会遇到各种各样的网页,比如最常见的就是静态网页,这是最容易爬取的一种网页,通过上次说到的requests就可以轻易地爬取到信息,但是,我们也会遇到一些动态网页即用ajax来完成的网页,如果还是只是单纯的使用requests就不能完成了,就需要使用selenium来模拟浏览器,等待网页加载完成之后再下载网页。但是selenium需要一个软件来使用,geckodriver,下面是GitHub 上的下载链接:https://github.com/nidexiaogege/application.git
首先进行安装,
使用的第一步:先导入相关的包

from selenium import webdriver
from selenium.webdriver.firefox.options import Options as FOptions
from selenium.webdriver.chrome.options import Options

第二步:创建对象

options = FOptions()

第三步:模拟浏览器,进行配置,其中executable_path的路径就是上面那个程序的安装路径(写自己的路径)

browser = webdriver.Firefox(executable_path='D:\pachong\geckodriver-v0.21.0-win64\geckodriver',
                            firefox_options=options)

第四步:通过get请求模拟浏览器

browser.get('http://www.baidu.com')

第五步:关闭模拟的浏览器

browser.close()

猜你喜欢

转载自blog.csdn.net/oyjl19961216/article/details/82777897