爬虫07-selenium和PhantomJS

1、selenium

selenium的安装 ，pip install selenium；Selenium 是一个 Web 的自动化测试工具，类型像我们玩游戏用的按键精灵，它支持所 有主流的浏览器。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。

2、PhantomJS

PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器非 Python 库，它会把网 站加载到内存并执行页面上的 JavaScript，不会展示图形界面。把 Selenium 和 PhantomJS 结合在一起，通过Selenium调用PhantomJS来直接使用， 就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers， 以及任何我们真实用户需要做的事情

PhantomJS的安装：

官网下载安装：http://phantomjs.org/download.html

解压放到：C:\phantomjs-2.1.1-windows

设置环境变量，Path 添加 C:\phantomjs-2.1.1-windows\bin

win+R，输入 cmd 打开控制台，输入 phantomjs -v,若输出了版本号，则证明安装成功

3、Chrome driver的安装

将Chrome driver放到python的安装目录下，C:\Users\Administrator\AppData\Local\Programs\Python\Python36

然后将路径添加到环境变量path中