Requests_html库入门学习
安装
pip install requests_html
如果还不会pip安装的请看这篇文章——>pip 安装，更新，卸载，查看模块方法
Note: requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同学需要更新一下Python版本了。
基本用法
获取网页
from requests_html import HTMLSession
session = HTMLSession()
url = "https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html"
h = session.get(url=url)
#查看网页内容
print(h.html.html)
requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。
而requests-html自带了这个功能，所以在爬取网页等方面非常方便
获取连接
#相对路径
print(h.html.links)
#绝对路径
print(h.html.absolute_links)
links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）。
获取元素
request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：
- selector，要用的CSS选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是-sanitize，大概这么理解）;
- containing，如果设置该属性，会返回包含该属性文本的标签；
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
示例：
#获取职业名称
position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
print(position)
输出结果为：
Python开发工程师
2、XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：
- selector，要用的XPATH选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
示例：
#获取职业名称
position = h.html.xpath('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
print(position)
输出结果：
Python开发工程师
元素内容
要获取元素的attribute，用attr属性
print(h.attrs)
获取元素的html代码
print(h.html)
要搜索元素的文本内容，用search函数
print(e.search('51j{}bs')[0])
#输出：o
两个链接属性
print(e.links) # 相对路径
print(e.absolute_links) # 绝对路径
实例 爬取51jobs网站有关Python工作的信息
from requests_html import HTMLSession
import csv
session = HTMLSession()
file = open('51jobsinfo.csv', 'w', newline='')
csvwriter = csv.writer(file)
csvwriter.writerow(['序号', '职位名称', '公司名', '地点', '薪资'])
num = 1 #初始化抓取每条信息的序号
cont = 0 #初始化抓取页数
def get_jobsinfo(url):
try:
h = session.get(url=url)
except:
print('第{}页抓取失败共10页'.format(cont))
else:
global num
for i in range(4,54):
#i = int(i)
position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
company = h.html.find('#resultList > div:nth-child({num}) > span.t2 > a'.format(num=i), first=True).text
place = h.html.find('#resultList > div:nth-child({num}) > span.t3'.format(num=i), first=True).text
salary = h.html.find('#resultList > div:nth-child({num}) > span.t4'.format(num=i), first=True).text
csvwriter.writerow([num, position, company, place, salary])
num += 1
print('第{}页抓取完毕共10页'.format(cont))
def main():
#设置抓取页数
for i in range(1,11):
global cont
cont = i
url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,' + str(i) + '.html'
get_jobsinfo(url)
if __name__=='__main__':
print('开始抓取...')
main()
print('抓取完毕！共{}条信息。'.format(num-1))
file.close()
输出结果（由于信息的太多只展示部分）：
序号,职位名称,公司名,地点,薪资
1,Python开发工程师,北京泽塔云科技股份有限公司,北京-朝阳区,1-2万/月
2,EB/JAVA/Python软件研发工程师,中国科学院软件研究所,北京-海淀区,10-15万/年
3,Python中级开发工程师,深圳市赢时胜信息技术股份有限公司...,北京-西城区,1-1.2万/月
4,Python/PHP开发工程师,北京华脉世纪石油科技有限公司,北京,0.8-1万/月
5,Python高级开发工程师,北京文泽智远信息技术有限公司,北京-海淀区,1.5-2万/月
6,爬虫工程师（Java或Python）,北京三六九数动科技有限公司,北京,2.5-3万/月
7,Python 工程师,北京友聚四海网络科技有限公司,北京-朝阳区,1-1.5万/月
8,Python开发工程师-财务报表平台,字节跳动,北京,2-4万/月
9,python开发,深圳市捷兴电子商务有限公司,北京-朝阳区,2-3万/月
Note: 如果频繁访问爬取的网页有可能会面临着ip被封，可以适当的使用代理ip来防止自己的ip被封，详细使用请参考这篇文章——> 都什么时代了还在裸爬吗，快用IP代理池吧！
requests_html官方链接
(https://requests-html.kennethreitz.org/)
