Selenium与PhantomJS踩过的坑

Selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

Selenium可以根据我们的指令，让浏览器自动加载页面，获取需要的页面，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所有我们需要用一个叫PhantomJS的工具代替真实的浏览器。

Selenium的安装

直接通过pip安装即可，这里没什么坑

pip install selenium

PhantomJS

PhantomJS是一个基于Webkit的"无界面"(headless)浏览器，它会把网站加载到内存并执行页面上的JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。

如果我们把Selenium和PhantomJS结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理JavaScript、Cookie、headers，以及任何我们真实用户需要做的事情。

注意：

PhantomJS只能从它的网站(http://phantomjs.org/download.html)下载。
因为PhantomJS是一个功能完善(虽然无界面)的浏览器而非一个Python库，所以它不需要像Python的其它库一样安装，但我们可以通过Selenium调用PhantomJS来直接使用
PhantomsJS官方才考文档：http://phantomjs.org/documention
这里不能通过pip、apt-get，yum等方式安装，一开始在自己虚拟机通过apt-get安装，但是一直报错。后来又全卸载，重新通过官网下载手动安装才行。
在自己的远程服务器中运行代码，报错：

TypeError: urlopen() got multiple values for keyword argument 'body'

原因是服务器的urllib3版本太低，卸载以后重装就好了

sudo apt-get remove python-urllib3
sudo pip install -U urllib3

下面是代码：

#-*-  coding:utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.PhantomJS()
driver.get("www.wangzhi.com")  #穿入你的网址
driver.find_element_by_name("email").send_keys("[email protected]") #按F12，查看网页源代码中登录界面的name传参是什么
# 我的网页：<input id="loginEmail" class='login_input' type="text" name="email" placeholder="请输入您的邮箱">
# 所以 find_element_by_name("email")里面穿的是email，pwd一样，find_element_by_id也一样
time.sleep(2)
driver.find_element_by_name("pwd").send_keys('111111')
time.sleep(2)
driver.find_element_by_id("loginButton").click()
time.sleep(5)
driver.save_screenshot('broad.png')

服务器没有中文字体

所有都准备好了，原本以为万事大吉，但是发现截图的内容，不能显示中文。
在网上查了原因是系统没有装中文字体。
安装字体可以参考https://www.jianshu.com/p/e7f12b8c8602

中文字体解决以后，又出现了截图页面不完整

最后在网上查了原因，是因为分辨率的原因
在代码上添加

driver.set_window_size(1366, 768)

完整代码：

#-*-  coding:utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.PhantomJS(service_args=['--ignore-ssl-errors=true', '--ssl-protocol=any'])
driver.get("yourwebsite")
driver.set_window_size(1366, 768) #这里必须加在get网页的后面，加在它之前没用
driver.find_element_by_name("email").send_keys("你的用户名")
time.sleep(1)
driver.find_element_by_name("pwd").send_keys('你的密码')
time.sleep(1)
driver.find_element_by_id("loginButton").click()
time.sleep(5)
driver.save_screenshot('/data/jenkins/broadcastPicture/broad.png')

因为截图涉及公司数据，就不粘贴到这里了。

实践过程中，通过参考 Python爬虫(二十一)_Selenium与PhantomJS实现了自动截图，
参考Python爬虫(二十二)_selenium案例：模拟登陆豆瓣实现了自动登录