爬取拉勾网（一）
一：前言
拉勾网上面有大量的招聘信息，无论是对于找工作的人还是在学习的人都有着重要的影响。对于找工作或者跳槽的人来说，可以找到一个工作；学习者来说，可以找到自己努力的方向。
说实话拉勾是我见过第二个反爬措施厉害的网站，第一个是马爸爸的淘宝，我连get进去也就不去。实在是难死宝宝了。起码拉勾网能让我爬取一点数据。拉勾网用的是AJAX动态加载，并应用表单的交互技术。简单点说救是，你要请求下一页，它网址不变，内容改变。我一开始想用js逆向解决cookies，从源头解决cookies，我生生搞了几个小时，可是功夫不到家，我投降了，我还是改变战略，迂回突击。没想到真解决了，嘿嘿嘿。
二:分析
让我们用我们的老伙计F12小可爱带我们观察一番，经过的我的探索，发现他在XHR中，他的信息在json（本质上是字典）。我们先点一下size，让它从小到大排列。
图一：
我们点一下下一页，看一下，会发现，网址不变，会出现图一蓝色，如图二的b，同时我们看一下图二a（网址）与图一是一样的。
图二：
我们点一样图二b中的两个，看一下Data
图3：
图四：
首先第一页的first为true,第二页往后都为false,pn代表页数，sid其实是showId（如图五），我们可以从第一页的的json数据得到，以及会得到公司招聘数据。同时他这个的请求为post（如图六）
图五：
图六：
招聘数据就在图六红色圈中，点开就会有了。
我们来捞一下cookies，它的cookies其实是在变化，里面有时间戳，还与我们访问过他的网址有关，反正对于我这个小白来说很不nice。以我目前功力来说，还要回山修炼一下。
三：代码
1：引入库：
import requests
from time import sleep
import random
2:获取cookies:
url='https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput='
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
' (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'referer': 'https://www.lagou.com/',
}
response=requests.get(url=url,headers=headers)
cookies=response.cookies
print(cookies)
3爬取：
这里我用try,except是因为被服务器检查到，就执行expect，同时睡一会觉觉，再请求。同时headers中的referer很重要，这个是被检测是否为浏览器的重要之一，另一个就是cookies。还有那个user-agent等一定要复制好，与浏览器一样，服务器让我体会到咬文嚼字的感觉。
同时我发现没4页，cookies要重新请求一下，所以有了elif。
url='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers={
'accept': 'application/json, text/javascript, */*; q=0.01',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'content-length': '75',
'origin': 'https://www.lagou.com',
'referer': 'https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same - origin',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'x-anit-forge-code': '0',
'x-anit-forge-token': 'None',
'x-requested-with': 'XMLHttpRequest',
}
cookies=get_cookies()
sid='a3fd2ca16fe44f1ab29614e6de60b6f3'
for pn in range(1,10):
data={
'first': 'false',
'pn': str(pn),
'kd': '爬虫',
}
if pn==1:
data['first']='true'
response = requests.post(url=url,headers=headers,data=data,cookies=cookies)
json=response.json()
data['sid'] = json['content']['showId']
# print(data)
# print(json)
get_info(json)
sleep(random.randint(3,6))
elif pn%4==0:
try:
response=requests.post(url=url,headers=headers,data=data,cookies=cookies)
json=response.json()#我们要得到的数据
print(json)
get_info(json)
sleep(random.randint(3, 6))
except:
sleep(5)
cookies = get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
else:
try:
cookies=get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
except:
sleep(5)
cookies = get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
4完整代码：
import requests
from time import sleep
import random
import matplotlib as mp
def get_cookies():
url='https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput='
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
' (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'referer': 'https://www.lagou.com/',
}
response=requests.get(url=url,headers=headers)
cookies=response.cookies
print(cookies)
return cookies
def spiders():
def get_info(dic):
result = dic['content']['positionResult']['result']
for i in result:
positionName = i['positionName'] # 职位
companyLabelList = i['companyLabelList'] # 福利
address = i['city'] + i['district'] # 地址
companyFullName = i['companyFullName'] # 公司名字
companySize = i['companySize'] # 公司规模
education = i['education'] # 要求学历
salary = i['salary'] # 工资
workYear = i['workYear'] # 工作经验
print('职位：{},福利：{},地址：{},公司名字：{},公司规模：{},学历：{},工资：{},工作经验：{}'
.format(positionName, companyLabelList, address, companyFullName, companySize, education, salary,
workYear))
url='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers={
'accept': 'application/json, text/javascript, */*; q=0.01',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'content-length': '75',
'origin': 'https://www.lagou.com',
'referer': 'https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same - origin',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'x-anit-forge-code': '0',
'x-anit-forge-token': 'None',
'x-requested-with': 'XMLHttpRequest',
}
cookies=get_cookies()
sid='a3fd2ca16fe44f1ab29614e6de60b6f3'
for pn in range(1,10):
data={
'first': 'false',
'pn': str(pn),
'kd': '爬虫',
}
if pn==1:
data['first']='true'
response = requests.post(url=url,headers=headers,data=data,cookies=cookies)
json=response.json()
data['sid'] = json['content']['showId']
# print(data)
# print(json)
get_info(json)
sleep(random.randint(3,6))
elif pn%4==0:
try:
response=requests.post(url=url,headers=headers,data=data,cookies=cookies)
json=response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
except:
sleep(5)
cookies = get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
else:
try:
cookies=get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
except:
sleep(5)
cookies = get_cookies()
response = requests.post(url=url, headers=headers, data=data, cookies=cookies)
json = response.json()
print(json)
get_info(json)
sleep(random.randint(3, 6))
def main():
spiders()
if __name__ == '__main__':
main()
5结果展示：
#下面这一行是我得到的cookies
<RequestsCookieJar[<Cookie X_HTTP_TOKEN=42daf4b72327b2813147394061bf5e71415983ed09 for .lagou.com/>, <Cookie user_trace_token=20201109235653-f94851f7-c7b2-4a83-a815-c3511657b7e5 for .lagou.com/>, <Cookie JSESSIONID=ABAAAECAAEBABII8FDC8670E5CAB0063FBE2769534FD174 for www.lagou.com/>, <Cookie SEARCH_ID=da84e3b95e384bfa8b3dffb086339d4e for www.lagou.com/>]>
职位：爬虫工程师,福利：['节日礼物', '技能培训', '股票期权', '精英团队'],地址：北京海淀区,公司名字：北京百家互联科技有限公司,公司规模：2000人以上,学历：本科,工资：20k-40k,工作经验：3-5年
职位：爬虫工程师,福利：['年底双薪', '节日礼物', '技能培训', '绩效奖金'],地址：上海静安区,公司名字：上海宝尊电子商务有限公司,公司规模：2000人以上,学历：本科,工资：15k-25k,工作经验：3-5年
职位：爬虫工程师,福利：['持续盈利', '国际龙头企业', 'SaaS平台', '极客氛围'],地址：深圳南山区,公司名字：爱客科技（深圳）有限公司,公司规模：150-500人,学历：本科,工资：12k-23k,工作经验：1-3年
职位：高级爬虫工程师,福利：['持续盈利', '国际龙头企业', 'SaaS平台', '极客氛围'],地址：深圳南山区,公司名字：爱客科技（深圳）有限公司,公司规模：150-500人,学历：本科,工资：25k-35k,工作经验：5-10年
职位：爬虫工程师,福利：['技能培训', '带薪年假', '绩效奖金', '股票期权'],地址：北京东城区,公司名字：北京云动九天科技有限公司,公司规模：150-500人,学历：本科,工资：20k-40k,工作经验：3-5年
职位：爬虫工程师,福利：[],地址：北京朝阳区,公司名字：北京美住美宿科技有限公司,公司规模：500-2000人,学历：本科,工资：20k-35k,工作经验：3-5年
职位：高级爬虫工程师,福利：[],地址：北京朝阳区,公司名字：北京美住美宿科技有限公司,公司规模：500-2000人,学历：本科,工资：15k-25k,工作经验：3-5年
职位：高级爬虫工程师,福利：[],地址：北京海淀区,公司名字：北京图鲸科技有限公司,公司规模：15-50人,学历：本科,工资：15k-30k,工作经验：3-5年
职位：爬虫工程师,福利：['六险一金', '工作居住证', '年度旅游', '定期体检'],地址：北京朝阳区,公司名字：北京热云科技有限公司,公司规模：150-500人,学历：本科,工资：15k-30k,工作经验：3-5年
职位：爬虫,福利：['大牛团队', '扁平管理', '年底双薪', '股票期权'],地址：杭州萧山区,公司名字：杭州知衣科技有限公司,公司规模：50-150人,学历：不限,工资：15k-30k,工作经验：1-3年
职位：爬虫,福利：['大牛团队', '扁平管理', '年底双薪', '股票期权'],地址：上海徐汇区,公司名字：杭州知衣科技有限公司,公司规模：50-150人,学历：大专,工资：25k-50k,工作经验：3-5年
职位：爬虫工程师,福利：['带薪年假', '住房补贴', '绩效奖金', '节日礼物'],地址：广州白云区,公司名字：广州市蜂擎信息科技有限公司,公司规模：50-150人,学历：大专,工资：10k-18k,工作经验：1-3年
职位：高级爬虫工程师,福利：['岗位晋升', '顶尖团队', '福利优厚', '股票期权'],地址：上海杨浦区,公司名字：上海安硕信息技术股份有限公司,公司规模：2000人以上,学历：本科,工资：15k-30k,工作经验：3-5年
职位：爬虫工程师,福利：['绩效奖金', '年底双薪', '五险一金', '带薪年假'],地址：上海宝山区,公司名字：上海微盟企业发展有限公司,公司规模：2000人以上,学历：本科,工资：9k-14k,工作经验：1-3年
职位：高级爬虫工程师,福利：[],地址：上海黄浦区,公司名字：上海汉跃文化传媒有限公司,公司规模：50-150人,学历：大专,工资：18k-25k,工作经验：3-5年
<RequestsCookieJar[<Cookie X_HTTP_TOKEN=42daf4b72327b2811247394061bf5e71415983ed09 for .lagou.com/>, <Cookie user_trace_token=20201109235701-bcdd47c3-b454-4973-924b-110c8e9a7bb5 for .lagou.com/>, <Cookie JSESSIONID=ABAAAECAAEBABII08B81599A6387CF1DDC2D47F43D4B289 for www.lagou.com/>, <Cookie SEARCH_ID=9f42a5b3521f450896b15e594aa0605b for www.lagou.com/>]>
{
'success': True, 'msg': None, 'code': 0, 'content': {
'showId': '058fff79a3e944afaa22314941bada82', 'hrInfoMap': {
'7377328': {
'userId': 2849179, 'portrait': 'i/image/M00/2B/C1/Ciqc1F7-9bGAaDc5AABMrsNm00w550.jpg', 'realName': 'zhouliyun', 'positionName': '', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '5899226': {
'userId': 1707653, 'portrait': 'i/image2/M01/AC/58/CgoB5l3alJCADji7AAB8tpoFtiw724.png', 'realName': 'HR', 'positionName': 'HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7116172': {
'userId': 11137249, 'portrait': 'i/image/M00/48/8A/Ciqc1F9MvZ2AdWGTAACayf0X9Dc284.jpg', 'realName': '李女士', 'positionName': '人事', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7731351': {
'userId': 550924, 'portrait': 'i/image2/M01/87/85/CgoB5l1zLDOAfjB3AAArg2keeBs251.jpg', 'realName': 'HR Kiki', 'positionName': 'HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '6436041': {
'userId': 1546869, 'portrait': 'i/image/M00/41/16/Ciqc1F80npGACvckAACHLlBo7dY547.png', 'realName': 'HR', 'positionName': '', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7366171': {
'userId': 5480649, 'portrait': None, 'realName': 'zengxiaohui', 'positionName': None, 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7854937': {
'userId': 5329962, 'portrait': 'i/image/M00/66/A3/CgqCHl-fn-WAJ9qCAABTVnZNV7c807.png', 'realName': 'Miss张', 'positionName': '人事行政主管', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '6838566': {
'userId': 14952999, 'portrait': 'i/image2/M01/82/3D/CgotOV1shUWAA5McAAV5lOQR5zI257.jpg', 'realName': 'Kira', 'positionName': 'HRBP', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7750213': {
'userId': 3762032, 'portrait': 'i/image/M00/49/64/CgqCHl9PHHiAdJpiAABgXEd8HXE998.png', 'realName': 'hr', 'positionName': '部门经理', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7678754': {
'userId': 4848074, 'portrait': 'i/image2/M01/A8/2A/CgotOVvk-LSAGPXxAAHSp9rENVo169.jpg', 'realName': '麦琪琳00', 'positionName': 'HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7931534': {
'userId': 765920, 'portrait': 'i/image/M00/0E/E0/CgqCHl7GUh-APkf3AAFLppcNWYs752.png', 'realName': 'Alvin', 'positionName': '人事', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '5644108': {
'userId': 1308500, 'portrait': 'i/image3/M00/4E/1E/Cgq2xlrqrYCAF2t5AACkbyUB5qc387.png', 'realName': 'HR', 'positionName': 'HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7233972': {
'userId': 1308500, 'portrait': 'i/image3/M00/4E/1E/Cgq2xlrqrYCAF2t5AACkbyUB5qc387.png', 'realName': 'HR', 'positionName': 'HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '6949812': {
'userId': 1550938, 'portrait': 'i/image2/M01/36/ED/CgotOVzk_DqADI2_AAAJxDFxQdw192.png', 'realName': 'hr', 'positionName': 'hr', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}, '7701418': {
'userId': 10314308, 'portrait': 'i/image2/M01/B5/FA/CgoB5lwLi8aAPfq1AAZ3arz006A452.png', 'realName': '张', 'positionName': '招聘HR', 'phone': None, 'receiveEmail': None, 'userLevel': 'G1', 'canTalk': True}}, 'pageNo': 2, 'positionResult': {
'resultSize': 15, 'result': [{
'positionId': 7750213, 'positionName': '爬虫工程师', 'companyId': 118322, 'companyFullName': '深圳飞笛科技有限公司', 'companyShortName': '飞笛科技', 'companyLogo': 'i/image3/M00/20/B9/CgpOIFqTb7GAHd-JAAAMtaK7JCg579.png', 'companySize': '50-150人', 'industryField': '社交,金融', 'financeStage': 'B轮', 'companyLabelList': ['财经信息', '互联网金融', '智能投顾'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python'], 'positionLables': ['Python'], 'industryLables': [], 'createTime': '2020-11-09 18:04:57', 'formatCreateTime': '18:04发布', 'city': '深圳', 'district': '南山区', 'businessZones': ['科技园'], 'salary': '11k-16k', 'salaryMonth': '0', 'workYear': '1-3年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '团队年轻,工作氛围好,工作有挑战', 'imState': 'today', 'lastLogin': '2020-11-09 18:02:22', 'publisherId': 3762032, 'approve': 1, 'subwayline': '1号线/罗宝线', 'stationname': '桃园', 'linestaion': '1号线/罗宝线_深大;1号线/罗宝线_桃园', 'latitude': '22.541408', 'longitude': '113.932925', 'distance': None, 'hitags': None, 'resumeProcessRate': 100, 'resumeProcessDay': 1, 'score': 25, 'newScore': 0.0, 'matchScore': 5.36, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 6949812, 'positionName': '高级爬虫工程师', 'companyId': 84043, 'companyFullName': '深圳格隆汇信息科技有限公司', 'companyShortName': '格隆汇', 'companyLogo': 'image1/M00/3A/91/CgYXBlWt5FSAZrNtAAAelmNkr2c129.png?cc=0.2452193540520966', 'companySize': '50-150人', 'industryField': '社交,金融', 'financeStage': 'A轮', 'companyLabelList': ['技能培训', '年底双薪', '股票期权', '专项奖金'], 'firstType': '产品|需求|项目类', 'secondType': '数据分析', 'thirdType': '大数据', 'skillLables': [], 'positionLables': ['互联网金融'], 'industryLables': ['互联网金融'], 'createTime': '2020-11-09 17:11:11', 'formatCreateTime': '17:11发布', 'city': '深圳', 'district': '南山区', 'businessZones': None, 'salary': '8k-15k', 'salaryMonth': '0', 'workYear': '1-3年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '绩效奖金,年底双薪,员工股权,和谐氛围', 'imState': 'today', 'lastLogin': '2020-11-09 18:27:47', 'publisherId': 1550938, 'approve': 1, 'subwayline': '1号线/罗宝线', 'stationname': '高新园', 'linestaion': '1号线/罗宝线_白石洲;1号线/罗宝线_高新园;1号线/罗宝线_深大', 'latitude': '22.541203', 'longitude': '113.952859', 'distance': None, 'hitags': None, 'resumeProcessRate': 68, 'resumeProcessDay': 1, 'score': 23, 'newScore': 0.0, 'matchScore': 5.2133336, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7377328, 'positionName': '爬虫工程师', 'companyId': 101135, 'companyFullName': '北京华彬立成科技有限公司', 'companyShortName': '医药魔方', 'companyLogo': 'i/image/M00/34/11/Ciqc1F8RUAqAVLuBAABKdHN6m-U382.jpg', 'companySize': '15-50人', 'industryField': '移动互联网,医疗丨健康', 'financeStage': '天使轮', 'companyLabelList': ['股票期权', '带薪年假', '领导好', '帅哥多'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['爬虫', '抓取'], 'positionLables': ['大数据', '爬虫', '抓取'], 'industryLables': ['大数据', '爬虫', '抓取'], 'createTime': '2020-11-09 16:37:26', 'formatCreateTime': '16:37发布', 'city': '北京', 'district': '朝阳区', 'businessZones': None, 'salary': '15k-25k', 'salaryMonth': '0', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '带薪年假 定期体检 扁平管理 发展空间大', 'imState': 'today', 'lastLogin': '2020-11-09 21:38:02', 'publisherId': 2849179, 'approve': 1, 'subwayline': '15号线', 'stationname': '望京南', 'linestaion': '14号线东段_望京;14号线东段_阜通;14号线东段_望京南;15号线_望京', 'latitude': '39.988081', 'longitude': '116.478726', 'distance': None, 'hitags': None, 'resumeProcessRate': 0, 'resumeProcessDay': 0, 'score': 23, 'newScore': 0.0, 'matchScore': 5.1000004, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 5644108, 'positionName': '高级爬虫工程师', 'companyId': 50700, 'companyFullName': '广州数说故事信息科技有限公司', 'companyShortName': 'DataStory', 'companyLogo': 'i/image3/M00/16/E9/Cgq2xlp0CmyAeVLyAABR-qEHZTA143.jpg', 'companySize': '150-500人', 'industryField': '数据服务', 'financeStage': 'B轮', 'companyLabelList': ['颜值高', '双休日', '高大上团建', '带薪假'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Java'], 'positionLables': ['大数据', 'Java'], 'industryLables': ['大数据', 'Java'], 'createTime': '2020-11-09 16:35:32', 'formatCreateTime': '16:35发布', 'city': '广州', 'district': '天河区', 'businessZones': ['猎德', '珠江新城', '石牌'], 'salary': '18k-22k', 'salaryMonth': '0', 'workYear': '5-10年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '高速发展,领导好,氛围好,业务导向', 'imState': 'today', 'lastLogin': '2020-11-09 21:31:34', 'publisherId': 1308500, 'approve': 1, 'subwayline': '3号线', 'stationname': '天河南', 'linestaion': '1号线_体育西路;1号线_体育中心;3号线_体育西路;3号线_石牌桥;3号线_岗顶;3号线(北延段)_体育西路;5号线_猎德;5号线_潭村;APM线_花城大道;APM线_妇儿中心;APM线_黄埔大道;APM线_天河南;APM线_体育中心南', 'latitude': '23.125871', 'longitude': '113.334874', 'distance': None, 'hitags': None, 'resumeProcessRate': 71, 'resumeProcessDay': 1, 'score': 23, 'newScore': 0.0, 'matchScore': 5.1066666, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7233972, 'positionName': '爬虫工程师', 'companyId': 50700, 'companyFullName': '广州数说故事信息科技有限公司', 'companyShortName': 'DataStory', 'companyLogo': 'i/image3/M00/16/E9/Cgq2xlp0CmyAeVLyAABR-qEHZTA143.jpg', 'companySize': '150-500人', 'industryField': '数据服务', 'financeStage': 'B轮', 'companyLabelList': ['颜值高', '双休日', '高大上团建', '带薪假'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': [], 'positionLables': ['大数据'], 'industryLables': ['大数据'], 'createTime': '2020-11-09 16:35:32', 'formatCreateTime': '16:35发布', 'city': '广州', 'district': '天河区', 'businessZones': ['猎德', '珠江新城', '石牌'], 'salary': '9k-15k', 'salaryMonth': '0', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '周末双休,五险一金', 'imState': 'today', 'lastLogin': '2020-11-09 21:31:34', 'publisherId': 1308500, 'approve': 1, 'subwayline': '3号线', 'stationname': '天河南', 'linestaion': '1号线_体育西路;1号线_体育中心;3号线_体育西路;3号线_石牌桥;3号线_岗顶;3号线(北延段)_体育西路;5号线_猎德;5号线_潭村;APM线_花城大道;APM线_妇儿中心;APM线_黄埔大道;APM线_天河南;APM线_体育中心南', 'latitude': '23.125871', 'longitude': '113.334874', 'distance': None, 'hitags': None, 'resumeProcessRate': 71, 'resumeProcessDay': 1, 'score': 23, 'newScore': 0.0, 'matchScore': 5.1000004, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 6436041, 'positionName': '爬虫工程师', 'companyId': 61692, 'companyFullName': '清枫（北京）科技有限公司', 'companyShortName': 'Max+&小黑盒', 'companyLogo': 'i/image2/M01/8C/A4/CgoB5l1_DYaAeZtqAABmeTkQCpo942.png', 'companySize': '50-150人', 'industryField': '游戏', 'financeStage': 'B轮', 'companyLabelList': ['带薪年假', '扁平管理', '五险一金', '弹性工作'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['DB2', 'Storm', '数据分析', 'MySQL'], 'positionLables': ['游戏', 'DB2', 'Storm', '数据分析', 'MySQL'], 'industryLables': ['游戏', 'DB2', 'Storm', '数据分析', 'MySQL'], 'createTime': '2020-11-09 16:56:29', 'formatCreateTime': '16:56发布', 'city': '北京', 'district': '朝阳区', 'businessZones': ['望京', '来广营', '花家地'], 'salary': '15k-30k', 'salaryMonth': '0', 'workYear': '1-3年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '北大博士,腾讯大牛,电竞大数据,期权激励', 'imState': 'today', 'lastLogin': '2020-11-09 16:56:08', 'publisherId': 1546869, 'approve': 1, 'subwayline': '15号线', 'stationname': '望京东', 'linestaion': '14号线东段_望京;14号线东段_阜通;14号线东段_望京南;15号线_望京东;15号线_望京', 'latitude': '39.99671', 'longitude': '116.481255', 'distance': None, 'hitags': None, 'resumeProcessRate': 100, 'resumeProcessDay': 1, 'score': 23, 'newScore': 0.0, 'matchScore': 5.166667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7854937, 'positionName': '爬虫工程师', 'companyId': 501424, 'companyFullName': '上海科技发展有限公司', 'companyShortName': '上海科发', 'companyLogo': 'i/image/M00/4B/75/Ciqc1F9VyWKASYokAAAZ1_atsTw523.jpg', 'companySize': '50-150人', 'industryField': '数据服务', 'financeStage': '不需要融资', 'companyLabelList': [], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python', 'Scala'], 'positionLables': ['大数据', 'Python', 'Scala'], 'industryLables': ['大数据', 'Python', 'Scala'], 'createTime': '2020-11-09 16:41:45', 'formatCreateTime': '16:41发布', 'city': '上海', 'district': '徐汇区', 'businessZones': ['漕河泾'], 'salary': '15k-20k', 'salaryMonth': '13', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '平台稳定', 'imState': 'today', 'lastLogin': '2020-11-09 17:02:11', 'publisherId': 5329962, 'approve': 1, 'subwayline': '3号线', 'stationname': '上海南站', 'linestaion': '1号线_上海南站;1号线_漕宝路;3号线_石龙路;3号线_上海南站;12号线_桂林公园;12号线_漕宝路', 'latitude': '31.160453', 'longitude': '121.430874', 'distance': None, 'hitags': None, 'resumeProcessRate': 100, 'resumeProcessDay': 1, 'score': 23, 'newScore': 0.0, 'matchScore': 5.1000004, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7366171, 'positionName': '爬虫工程师', 'companyId': 42226, 'companyFullName': '慧科讯业（北京）网络科技有限公司', 'companyShortName': '慧科讯业', 'companyLogo': 'image1/M00/2E/F8/CgYXBlWACJKAcFOfAAAJmY29H8I518.jpg', 'companySize': '500-2000人', 'industryField': '文娱丨内容', 'financeStage': '未融资', 'companyLabelList': ['技能培训', '节日礼物', '年底双薪', '带薪年假'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python'], 'positionLables': ['电商', '视频', 'Python'], 'industryLables': ['电商', '视频', 'Python'], 'createTime': '2020-11-09 15:56:58', 'formatCreateTime': '15:56发布', 'city': '北京', 'district': '朝阳区', 'businessZones': ['三元桥', '亮马桥', '左家庄'], 'salary': '15k-30k', 'salaryMonth': '13', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '五险一金，周末双休，带薪假，优秀团队', 'imState': 'disabled', 'lastLogin': '2020-11-09 19:35:13', 'publisherId': 5480649, 'approve': 1, 'subwayline': '机场线', 'stationname': '太阳宫', 'linestaion': '10号线_太阳宫;10号线_三元桥;机场线_三元桥', 'latitude': '39.96243', 'longitude': '116.45697', 'distance': None, 'hitags': None, 'resumeProcessRate': 0, 'resumeProcessDay': 0, 'score': 22, 'newScore': 0.0, 'matchScore': 4.98, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7701418, 'positionName': '爬虫工程师', 'companyId': 399, 'companyFullName': '北京臻澄网络科技有限公司', 'companyShortName': '冲顶', 'companyLogo': 'i/image2/M01/72/F0/CgotOV1L72uAU5gYAAIk4JZlong551.png', 'companySize': '50-150人', 'industryField': '移动互联网', 'financeStage': 'C轮', 'companyLabelList': ['移动互联网', '五险一金', '扁平管理', '领导好'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python', 'Java'], 'positionLables': ['社交', 'Python', 'Java'], 'industryLables': ['社交', 'Python', 'Java'], 'createTime': '2020-11-09 16:20:10', 'formatCreateTime': '16:20发布', 'city': '北京', 'district': '朝阳区', 'businessZones': ['酒仙桥', '大山子', '将台路'], 'salary': '8k-11k', 'salaryMonth': '16', 'workYear': '1-3年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '大牛云集，工程师文化，一年16薪', 'imState': 'today', 'lastLogin': '2020-11-09 15:13:32', 'publisherId': 10314308, 'approve': 1, 'subwayline': None, 'stationname': None, 'linestaion': None, 'latitude': '39.948574', 'longitude': '116.601144', 'distance': None, 'hitags': None, 'resumeProcessRate': 82, 'resumeProcessDay': 1, 'score': 22, 'newScore': 0.0, 'matchScore': 5.04, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 5899226, 'positionName': '高级爬虫工程师', 'companyId': 70721, 'companyFullName': '北京金堤科技有限公司', 'companyShortName': '天眼查', 'companyLogo': 'i/image2/M01/D7/98/CgotOVxhF3yAAlb-AAAXu0ap-0I768.jpg', 'companySize': '500-2000人', 'industryField': '数据服务', 'financeStage': '不需要融资', 'companyLabelList': ['专项奖金', '股票期权', '带薪年假', '定期体检'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': [], 'positionLables': ['大数据'], 'industryLables': ['大数据'], 'createTime': '2020-11-09 15:10:53', 'formatCreateTime': '15:10发布', 'city': '北京', 'district': '海淀区', 'businessZones': ['知春路', '中关村', '双榆树'], 'salary': '20k-40k', 'salaryMonth': '0', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '公司业务好，技术氛围好', 'imState': 'today', 'lastLogin': '2020-11-09 17:22:22', 'publisherId': 1707653, 'approve': 1, 'subwayline': '10号线', 'stationname': '知春路', 'linestaion': '4号线大兴线_人民大学;4号线大兴线_海淀黄庄;10号线_海淀黄庄;10号线_知春里;10号线_知春路;13号线_知春路', 'latitude': '39.977084', 'longitude': '116.331999', 'distance': None, 'hitags': ['免费下午茶', '免费体检', '地铁周边', '5险1金', '工作居住证'], 'resumeProcessRate': 0, 'resumeProcessDay': 0, 'score': 21, 'newScore': 0.0, 'matchScore': 4.866667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': True, 'hunterJob': False}, {
'positionId': 7731351, 'positionName': '高级爬虫工程师', 'companyId': 263558, 'companyFullName': '广州幸福家科技有限公司', 'companyShortName': '茉莉传媒', 'companyLogo': 'i/image2/M00/02/4E/CgoB5lnAgyiASur8AABVk26CDFY041.png', 'companySize': '150-500人', 'industryField': '广告营销', 'financeStage': 'B轮', 'companyLabelList': ['股票期权', '弹性工作', '简单直接', '岗位晋升'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python', '算法工程师'], 'positionLables': ['Python', '算法工程师'], 'industryLables': [], 'createTime': '2020-11-09 14:19:38', 'formatCreateTime': '14:19发布', 'city': '广州', 'district': '越秀区', 'businessZones': ['广卫', '北京路', '建设'], 'salary': '7k-12k', 'salaryMonth': '0', 'workYear': '1-3年', 'jobNature': '全职', 'education': '大专', 'positionAdvantage': '团队实力 发展前景', 'imState': 'today', 'lastLogin': '2020-11-09 22:51:31', 'publisherId': 550924, 'approve': 1, 'subwayline': '2号线', 'stationname': '公园前', 'linestaion': '1号线_西门口;1号线_公园前;1号线_农讲所;2号线_公园前;2号线_纪念堂;5号线_小北;6号线_团一大广场;6号线_北京路', 'latitude': '23.128392', 'longitude': '113.269719', 'distance': None, 'hitags': None, 'resumeProcessRate': 16, 'resumeProcessDay': 1, 'score': 21, 'newScore': 0.0, 'matchScore': 4.706667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7116172, 'positionName': '爬虫工程师', 'companyId': 179094, 'companyFullName': '上海蜜度信息技术有限公司', 'companyShortName': '新浪微舆情', 'companyLogo': 'i/image/M00/11/D8/CgpFT1j0avuAKAx0AACaiExey9M148.jpg', 'companySize': '500-2000人', 'industryField': '企业服务,消费生活', 'financeStage': 'C轮', 'companyLabelList': ['通讯津贴', '交通补助', '年底双薪', '弹性工作'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': [], 'positionLables': ['大数据', '移动互联网'], 'industryLables': ['大数据', '移动互联网'], 'createTime': '2020-11-09 14:00:09', 'formatCreateTime': '14:00发布', 'city': '上海', 'district': '浦东新区', 'businessZones': ['北蔡'], 'salary': '10k-17k', 'salaryMonth': '0', 'workYear': '3-5年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '五险一金，补充医疗险、通讯交通补贴年终奖', 'imState': 'today', 'lastLogin': '2020-11-09 22:15:49', 'publisherId': 11137249, 'approve': 1, 'subwayline': '13号线', 'stationname': '华夏中路', 'linestaion': '13号线_华夏中路;16号线_华夏中路', 'latitude': '31.185424', 'longitude': '121.585627', 'distance': None, 'hitags': None, 'resumeProcessRate': 39, 'resumeProcessDay': 1, 'score': 20, 'newScore': 0.0, 'matchScore': 4.666667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7678754, 'positionName': '爬虫工程师', 'companyId': 103299, 'companyFullName': '湖北百旺金赋科技有限公司', 'companyShortName': '百旺金赋', 'companyLogo': 'i/image/M00/53/64/Cgp3O1e-nRSADrL8AAAzXSu_dMY342.jpg', 'companySize': '150-500人', 'industryField': '移动互联网,其他', 'financeStage': '不需要融资', 'companyLabelList': ['年底双薪', '交通补助', '带薪年假', '定期体检'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': ['Python', '数据挖掘'], 'positionLables': ['企业服务', '大数据', 'Python', '数据挖掘'], 'industryLables': ['企业服务', '大数据', 'Python', '数据挖掘'], 'createTime': '2020-11-09 14:27:51', 'formatCreateTime': '14:27发布', 'city': '武汉', 'district': '东湖新技术开发区', 'businessZones': None, 'salary': '6k-10k', 'salaryMonth': '14', 'workYear': '1-3年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '双休、班车接送、午餐补贴，宿舍', 'imState': 'today', 'lastLogin': '2020-11-09 16:36:26', 'publisherId': 4848074, 'approve': 1, 'subwayline': '2号线', 'stationname': '金融港北', 'linestaion': '2号线_金融港北', 'latitude': '30.46072', 'longitude': '114.40605', 'distance': None, 'hitags': None, 'resumeProcessRate': 47, 'resumeProcessDay': 1, 'score': 20, 'newScore': 0.0, 'matchScore': 4.726667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 6838566, 'positionName': '爬虫工程师', 'companyId': 17311, 'companyFullName': '久远谦长（北京）技术服务有限公司', 'companyShortName': '久谦咨询', 'companyLogo': 'image1/M00/00/20/CgYXBlTUWG-AO7lKAABCOkK6QGo804.jpg', 'companySize': '50-150人', 'industryField': '企业服务,数据服务', 'financeStage': '未融资', 'companyLabelList': ['专项奖金', '带薪年假', '绩效奖金', '定期体检'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': [], 'positionLables': ['大数据', '移动互联网'], 'industryLables': ['大数据', '移动互联网'], 'createTime': '2020-11-09 18:32:02', 'formatCreateTime': '18:32发布', 'city': '北京', 'district': '朝阳区', 'businessZones': ['建国门', '建外大街', '国贸'], 'salary': '13k-25k', 'salaryMonth': '0', 'workYear': '不限', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '福利待遇优厚，发展空间大，团队氛围好', 'imState': 'today', 'lastLogin': '2020-11-09 18:18:07', 'publisherId': 14952999, 'approve': 1, 'subwayline': '1号线', 'stationname': '国贸', 'linestaion': '1号线_永安里;1号线_国贸;6号线_呼家楼;6号线_东大桥;10号线_呼家楼;10号线_金台夕照;10号线_国贸', 'latitude': '39.910789', 'longitude': '116.457424', 'distance': None, 'hitags': None, 'resumeProcessRate': 91, 'resumeProcessDay': 1, 'score': 20, 'newScore': 0.0, 'matchScore': 5.4666667, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': False, 'hunterJob': False}, {
'positionId': 7931534, 'positionName': '爬虫工程师', 'companyId': 41178, 'companyFullName': '深圳依时货拉拉科技有限公司', 'companyShortName': '货拉拉', 'companyLogo': 'i/image2/M01/7B/DF/CgotOV1eRSGAKNEgAAF7Nm8TGCw593.png', 'companySize': '2000人以上', 'industryField': '移动互联网,消费生活', 'financeStage': 'D轮及以上', 'companyLabelList': ['技能培训', '专项奖金', '绩效奖金', '扁平管理'], 'firstType': '开发|测试|运维类', 'secondType': '数据开发', 'thirdType': '爬虫', 'skillLables': [], 'positionLables': ['爬虫', 'APP逆袭'], 'industryLables': ['爬虫', 'APP逆袭'], 'createTime': '2020-11-09 13:43:02', 'formatCreateTime': '13:43发布', 'city': '深圳', 'district': '福田区', 'businessZones': ['上梅林'], 'salary': '25k-50k', 'salaryMonth': '14', 'workYear': '5-10年', 'jobNature': '全职', 'education': '本科', 'positionAdvantage': '大数据团队、20人爬虫团队', 'imState': 'today', 'lastLogin': '2020-11-09 18:53:25', 'publisherId': 765920, 'approve': 1, 'subwayline': '9号线', 'stationname': '梅村', 'linestaion': '4号线/龙华线_莲花北;4号线/龙华线_上梅林;9号线_梅村;9号线_上梅林;9号线_孖岭', 'latitude': '22.570148', 'longitude': '114.060162', 'distance': None, 'hitags': None, 'resumeProcessRate': 9, 'resumeProcessDay': 1, 'score': 19, 'newScore': 0.0, 'matchScore': 4.6066666, 'matchScoreExplain': None, 'query': None, 'explain': None, 'isSchoolJob': 0, 'adWord': 0, 'plus': None, 'pcShow': 0, 'appShow': 0, 'deliver': 0, 'gradeDescription': None, 'promotionScoreExplain': None, 'isHotHire': 0, 'count': 0, 'aggregatePositionIds': [], 'promotionType': None, 'is51Job': False, 'detailRecall': False, 'famousCompany': True, 'hunterJob': False}], 'locationInfo': {
'city': None, 'district': None, 'businessZone': None, 'isAllhotBusinessZone': False, 'locationCode': None, 'queryByGisCode': False}, 'queryAnalysisInfo': {
'positionName': '爬虫', 'positionNames': ['爬虫'], 'companyName': None, 'industryName': None, 'usefulCompany': False, 'jobNature': None}, 'strategyProperty': {
'name': 'dm-csearch-personalPositionLayeredStrategyNew', 'id': 0}, 'hotLabels': None, 'hiTags': None, 'benefitTags': None, 'industryField': None, 'companySize': None, 'positionName': None, 'totalCount': 293, 'triggerOrSearch': False, 'categoryTypeAndName': {
'3': '爬虫'}}, 'pageSize': 15}, 'resubmitToken': None, 'requestId': None}
职位：爬虫工程师,福利：['财经信息', '互联网金融', '智能投顾'],地址：深圳南山区,公司名字：深圳飞笛科技有限公司,公司规模：50-150人,学历：本科,工资：11k-16k,工作经验：1-3年
职位：高级爬虫工程师,福利：['技能培训', '年底双薪', '股票期权', '专项奖金'],地址：深圳南山区,公司名字：深圳格隆汇信息科技有限公司,公司规模：50-150人,学历：本科,工资：8k-15k,工作经验：1-3年
职位：爬虫工程师,福利：['股票期权', '带薪年假', '领导好', '帅哥多'],地址：北京朝阳区,公司名字：北京华彬立成科技有限公司,公司规模：15-50人,学历：本科,工资：15k-25k,工作经验：3-5年
职位：高级爬虫工程师,福利：['颜值高', '双休日', '高大上团建', '带薪假'],地址：广州天河区,公司名字：广州数说故事信息科技有限公司,公司规模：150-500人,学历：本科,工资：18k-22k,工作经验：5-10年
职位：爬虫工程师,福利：['颜值高', '双休日', '高大上团建', '带薪假'],地址：广州天河区,公司名字：广州数说故事信息科技有限公司,公司规模：150-500人,学历：本科,工资：9k-15k,工作经验：3-5年
职位：爬虫工程师,福利：['带薪年假', '扁平管理', '五险一金', '弹性工作'],地址：北京朝阳区,公司名字：清枫（北京）科技有限公司,公司规模：50-150人,学历：本科,工资：15k-30k,工作经验：1-3年
职位：爬虫工程师,福利：[],地址：上海徐汇区,公司名字：上海科技发展有限公司,公司规模：50-150人,学历：本科,工资：15k-20k,工作经验：3-5年
职位：爬虫工程师,福利：['技能培训', '节日礼物', '年底双薪', '带薪年假'],地址：北京朝阳区,公司名字：慧科讯业（北京）网络科技有限公司,公司规模：500-2000人,学历：本科,工资：15k-30k,工作经验：3-5年
职位：爬虫工程师,福利：['移动互联网', '五险一金', '扁平管理', '领导好'],地址：北京朝阳区,公司名字：北京臻澄网络科技有限公司,公司规模：50-150人,学历：本科,工资：8k-11k,工作经验：1-3年
职位：高级爬虫工程师,福利：['专项奖金', '股票期权', '带薪年假', '定期体检'],地址：北京海淀区,公司名字：北京金堤科技有限公司,公司规模：500-2000人,学历：本科,工资：20k-40k,工作经验：3-5年
职位：高级爬虫工程师,福利：['股票期权', '弹性工作', '简单直接', '岗位晋升'],地址：广州越秀区,公司名字：广州幸福家科技有限公司,公司规模：150-500人,学历：大专,工资：7k-12k,工作经验：1-3年
职位：爬虫工程师,福利：['通讯津贴', '交通补助', '年底双薪', '弹性工作'],地址：上海浦东新区,公司名字：上海蜜度信息技术有限公司,公司规模：500-2000人,学历：本科,工资：10k-17k,工作经验：3-5年
职位：爬虫工程师,福利：['年底双薪', '交通补助', '带薪年假', '定期体检'],地址：武汉东湖新技术开发区,公司名字：湖北百旺金赋科技有限公司,公司规模：150-500人,学历：本科,工资：6k-10k,工作经验：1-3年
职位：爬虫工程师,福利：['专项奖金', '带薪年假', '绩效奖金', '定期体检'],地址：北京朝阳区,公司名字：久远谦长（北京）技术服务有限公司,公司规模：50-150人,学历：本科,工资：13k-25k,工作经验：不限
职位：爬虫工程师,福利：['技能培训', '专项奖金', '绩效奖金', '扁平管理'],地址：深圳福田区,公司名字：深圳依时货拉拉科技有限公司,公司规模：2000人以上,学历：本科,工资：25k-50k,工作经验：5-10年
四：总结
好了，Ajian的拉勾网的爬取结束啦。目前我的功力只能打到这，展示无法前进，等我修炼js大法ok后，再分享给大家。
还有我的公众号要来了，大家可以关注一波。name为:spiders(这个是改后的名字，明天12点之后就是这个spiders名字了）
大家也可以扫这个二维码：
