今日头条的爬取

import requests,json
import pymysql
m=’’‘嫖娼
与其发生性关系
勾引
三妻四妾
色情交易
涉黄
发生关系
女儿发生性关系
出轨的女人
站街女
红杏出墙
援助交际
一夫多妻
偷过情
猥亵
性病
一夫一妻制
强暴
亲热
嫁一夫
通奸
性经历
性交易
性伴侣
父女乱伦
一夫两妻
家暴
已婚女人出轨
招嫖
约炮
龌龊事
性虐
发生性关系
二夫侍一妻
性爱生活
卖淫活动
夫妻房
陪睡
上过床
外嫁
强迫卖淫
男人偷吃
包养情妇
交欢
喜当爹
禽兽
私通
偷人
忘年恋
生孩子
渣女
嫖宿
炮友
淫窝
恋母情结
奸情
丈夫却不是孩子父亲
母子恋
性史
出过轨
离婚
骗财骗色
情欲片
代孕
家有娇妻
禁忌之爱
3p
正房
性爱
地下捐精
奸污
捐精者
两妻子
禁忌恋
有染
出轨的婚姻
走婚
情人
插足婚姻
怀疑妻子出轨
一夫二妻
嫖
侍一夫
不雅图片
禁断
冷暴力
师生恋
换妻
姐弟恋
兽交
婆媳关系
卖淫
性侵
婚前性行为
如饥似渴
花心
不正当关系
贱女人
床上戏
偷情
共侍一夫
幽会
私生女
妈妈是奶奶
老婆出轨
一夫一妻
九歌
性工作者
权色
位老婆
办公室恋情
香港三级片
换妻俱乐部
共妻
破处门
女大学生卖淫
鸡奸
别人的情妇
强奸
出轨
私情
外遇
父女恋
包养
援交妹
婚外情人
拐卖妇女
一夫
女人出轨
西门庆
网上招嫖
婚姻制度
闪婚
上床
捐精
丈夫与情人
捉奸
干妹妹
一夫三妻
感情
卖身
爱上母女
官场潜规则
禁忌之恋
一妻多夫
租妻
夜夜激情
美人图
出轨后
宠幸
中年女人出轨
三陪小姐
交换性伴侣
同时交往
抓奸
备胎
不伦之恋
婚外情
陪玩
老少恋
捉奸在床
老婆出轨后
六房老婆
性丑闻
借种生子
狐狸精
欲求不满
女人岛
淫妇
胸推
一妻两夫
奸夫
诱奸
金瓶梅
失足妇女
老牛吃嫩草
小情人
婚外恋
龚玥菲
同性恋
性风俗
霸占儿媳
同床
绿茶婊
破身
拜金女
淫妻
红灯区
迷奸
卖淫女
应召女郎
性服务
卖淫嫖娼
女性瘾者
傍大款
陪侍
前男友
瞎搞
援交女
荒淫
童婚
正妻
骗婚
一夜激情
被拐卖
同居
有一腿
二奶
与多人发生关系
地下情
一妻二夫
多妻制
走婚制
买春
摸奶节
出轨率
姘头
第三者
金主
二奶村
女人出轨后
渣男
偷了人
办公室偷情
婚外性
色情
轮奸
骚妇
淫窟
老夫少妻
原配
夫妻性生活
妓女
偷蛋贼
爷孙恋
性都
正室
性关系
偷腥
性爱交易
勾搭
失足女
绿帽
欲望都市
多角关系
婚姻
不伦
有夫之妇
性爱派对
奸夫淫妇
小三门
婚外恋情
三人生活
恋情
绿帽子
奸淫幼女
男人上床
虐恋
绝望的女人
有妇之夫
恋母
乱来
色情服务
三陪
接客
阎惜娇
偷窥
群婚
女同性恋
性饥渴
阴婚
孙恋
开房
同居生活
风流债
淫荡
畸恋
聚众淫乱
染指
人兽杂交
密会
霸占
淫乱
戴绿帽
偷汉子
性幻想
扑火的飞蛾
干爸
娶妻
裸聊
妻妾成群
家外有家
无性婚姻
妻子与情人
换妻游戏
暗娼
偷欢
yp
床笫之欢
性骚扰
色情场所
3d肉蒲团之极乐宝鉴
戴帽子
与其发生关系
劈腿
卖春
乱搞
床戏
出了轨
性交
人兽恋
黄昏恋
哥哥是生父
偷妻
精尽人亡
出个轨
小三
偏房
乱伦
变心
婚变
妻妾
私生子
公媳
性生活
妻子出轨后
性压抑
前任
多夫制
奸淫
母子乱伦
性贿赂
干爹
第三者插足
情夫
一夫多妻制
吴月娘
三角恋
新金瓶梅
包养女
借种
开房照
姐夫
戴绿帽子
偷吃
母系氏族
老公
前女友
妻子出轨
人鱼恋
相恋
情敌
被出轨
情妇
饥渴少妇
求包养
混住
援交
性行为
婚外偷情
办公室婚外情
不忠
同房
强奸生母
多妻
迷奸门
宠幸儿媳
绿过
婚内不忠
妾
权色交易
婚外
一夜情
禁恋’’’
key_words_list=m.split(’\n’)
for key_words in key_words_list:
for num in [0,20,40,60]:
url = “https://www.toutiao.com/search_content/?offset={}&format=json&keyword={}&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis”.format(num,key_words)
headers = {“User-Agent”: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36’}
response=requests.get(url,headers=headers)
res_content=response.json()
#获取20条新闻的ajax
m=res_content[“data”]
#获取一条新闻
for one in m:
#来源
try :
source=(one[“media_name”])
except:
source=“空”
print(repr(source))
#评论数
try:
comment =one[“comment_count”]
comment=str(comment)
except:
comment=‘空’
print(repr(comment))
#更新时间
try:
datetime = one[“datetime”]
except:
datetime=“空”
print(repr(datetime))
#链接
try:
URL=one[“article_url”]
except:
URL=“空”
print(repr(URL))
#标题
try:
article_title = one[“title”]
except:
article_title=‘空’
print(repr(article_title))
print(‘关键词是{}’.format(key_words))
# 创建连接
try:
db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘123456’, database=‘key_word’, charset=‘utf8’)
# 创建游标对象
cursor = db.cursor()
# 数据添加到数据库的语句
#sql = “insert into title_1 values(null,{},{},{},{})”.format(article_title,source,comment,datetime)
sql = ‘’‘insert into title_1 values(null,"%s","%s","%s","%s","%s")’’’%(article_title,source,comment,datetime,key_words)
# 执行添加过程
cursor.execute(sql)
# 提交
db.commit()
# 关闭游标
cursor.close()
db.close()
print("=="*60)
except:
print(‘出错了’)