开发环境配置和安装介绍
1.安装python3
2.pip 的使用
3.请求库安装(都可以使用豆瓣源)
豆瓣源地址:https://pypi.douban.com/simple/
pip3 install requests
Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用
requests:是属于第三方模块,Python不会自带这个库,我们使用它来进行网络请求
中文文档:http://docs.python-requests.org/zh_CN/latest/
自带的模块:http://docs.python.org/3/library/urllib.html
pip3 install selenium
selenium:是一个自动化的测试工具,利用它我们可以驱动浏览器执行特定的动作,可脚本编程的webkit浏览器,如点击、下拉等操作
中文文档:http://selenium-python-zh.readthedocs.io
charmDriver的安装(google)
地址:https://chromedriver.storage.googleapis.com/index.html
2.38 最新
GeckoDriver的安装 (火狐)
下载地址:https://github.com/mozilla/geckodriver/releases
最新版本为2.20.1
PhantomJS无界面浏览器引擎,无界面可脚本编程的webkit浏览器引擎(目前chrom也可以支持无界面请求了)
下载地址:http://phantomjs.org/download.html
API使用说明:http://phantomjs.org/api/command-line.html
2.1.1
解析库安装(lxml、BS、pyQuery)
lxml:是python的一个解析库,支持HTML和XML的解析
pip3 install lxml
BeautifulSoup:同样是一个解析库,支持HTML和XML,有强大的API和多样的解析方式
pip3 install beautifulsoup4
中文文档:https://www.crummy.com/foftware/Beautiful/bs4/doc.zh
pyquery:
同样也是一个强大的网页解析工具,提供了jQuery类似的语法来解析HTML文档,支持Css选择器
pip3 install pyquery
官方文档:http://pyquery.readthedocs.io
数据库安装 mysql、navicat、
安装mysql:
是一个轻量级的关系型数据库,
下载地址:http://mysql.com/cn/downloads
中文教程:http://www.runoob.com/mysql/mysql-tutorial.html
安装可视化工具navicat