python爬虫模块的安装

1.Requests模块的安装

1 pip3 install requests

1 #调用：
2 import requests
3 
4 response = requests.get('https://www.baidu.com')
5 
6 print (response.url)
7 print (response.text)

View Code

2.selenium + webdriver 模块

安装selenium

1 pip3 install selenium

View Code

安装webdriver （chromedriver为例）

　1.点击进行下载相对应的版本 当然本地电脑要安装谷歌浏览器

　2.解压 然后把.exe 文件copy到python3目录下的script目录下

　3.安装完毕

1 #调用
2 from selenium import webdriver
3 browser = webdriver.Chrome()
4 browser.get('https://www.baidu.com')

View Code