python爬虫常用库安装

1. urllib库

2. requests库 安装 pip install requests

3. selenium库 安装 pip install selenium 主要用于获取js渲染之后的内容

4. 安装 chromedriver

1.搜索chromedriver 下载安装包

2.下载

3.下载好的压缩包解压到配置了环境变量的python同级目录下

5.命令行测试,是否安装成功

实例化driver对象后,会出现浏览器弹窗,然后get()方法，可以打开网站。

5. 安装 phantomjs （无界面浏览器，相对于chromedriver ，是不会出现浏览器窗口）

下载phantomjs并解压，将bin目录下的phantomjs.exe文件放在python同级目录下，运行。

在使用时，selenium已经放弃phantomJs的支持，可以进行版本的降级，或者使用headless

5. 安装 lxml （pip install lxml）

6. 安装beautifulsoup库 （pip install beautifulsoup4）选择beautifulsoup4版本

7.安装pyquery（pip install pyquery 也是网页解析库，语法跟jquery类似）

8. 存储库 pymysql （pip install pymysql 用于操作mysql的库）

9. 存储库 pymongo （pip install pymongo 用于操作mongodb的库）

10. 存储库 redis （pip install redis 用于操作redis的库）

10. flask库安装（pip install flask ）