一、安装 python3
安装依赖文件
yum -y groupinstall “Development tools”
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
1
2
建立一个文件夹存放
mkdir /usr/local/python3
1
进入该目录
cd /usr/local/python3
1
根据自己的需要下载不同版本的 python3
wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tar.xz
1
然后解压压缩包，安装Python3
tar -xvJf Python-3.7.3.tar.xz
cd Python-3.7.3
./configure --prefix=/usr/local/python3
make && make install
1
2
3
4
最后创建软链接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
1
2
在命令行输入 python3 进行测试
python3
exit()
1
2
二、安装 python3-pip
安装
yum -y install python3-pip
1
三、安装 Chrome
安装最新版
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
1
四、安装 chromedriver
安装与 chrome 版本对应的 chromedriver
查看 chrome 版本
google-chrome --version
1
创建一个目录存放
mkdir /usr/local/chromedriver
1
切换到该目录
cd /usr/local/chromedriver
1
下载
wget http://npm.taobao.org/mirrors/chromedriver/88.0.4324.96/chromedriver_linux64.zip
1
解压缩包
unzip chromedriver_linux64.zip
1
如果找不到 unzip 命令，就下载一下，下完再执行前一步
yum -y install zip unzip
1
将解压出来的 chromedriver 复制到 /usr/bin/ 目录下
cp chromedriver /usr/bin/
1
五、安装 selenium 库
pip3 install selenium
1
六、安装 requests 库
pip3 install requests
1
七、调试脚本
添加下面这几个 options
#! /usr/bin/python3
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument(’–headless’) #无头启动，无窗口加载
options.add_argument(’–no-sandbox’)
options.add_argument(’–disable-dev-shm-usage’)
options.add_argument(’–disable-gpu’) #不开启gpu加速
options.add_argument(’–hide-scrollbars’) #隐藏滚动条, 应对一些特殊页面
options.add_argument(‘blink-settings=imagesEnabled=false’) #不加载图片, 提升速度
driver = webdriver.Chrome(executable_path = “/usr/bin/chromedriver”, chrome_options = options)
driver.get(“http://www.baidu.com”)
print(driver.page_source)
1
2
3
4
5
6
7
8
9
10
11
12
八、运行测试
chmod +x ./test.py
./test.py
1
2
脚本若是在 Win 平台拷贝过来的话，可能运行会出错，大概率是 Win 和 Linux 的回车机制不同导致的
解决方法：
Vim 编辑器打开脚本
vim ./test.py
1
然后输入并回车
:set ff=unix
1
保存并退出，输入后回车即可
:wq
1
再次运行脚本
./test.py