# -*- coding: utf-8 -*- import os import re import json import requests from urllib.parse import urlencode def get_one_page(offset, keyword): ''' 获取网页html内容并返回 ''' paras = { 'offset': offset, # 搜索结果项开始的位置 'format': 'json', # 返回的数据格式 'keyword': keyword, # 搜索的关键字 'autoload': 'true', # 自动加载 'count': 20, # 每次加载结果的项目数 'cur_tab': 3, # 当前的tab页索引,3为“图集” 'from': 'gallery' # 来源,“图集” } url = 'https://www.toutiao.com/search_content/?' + urlencode(paras) try: # 获取网页内容,返回json格式数据 response = requests.get(url) # 通过状态码判断是否获取成功 if response.status_code == 200: return response.text return None except requests.ConnectionError: return None def parse_one_page(html): ''' 解析出组图网址,并将网页中所有图集的标题及图片地址返回 ''' urls = [] data = json.loads(html) for item in data.get('data'): page_urls = [] title = item.get('title') image_detail = item.get('image_list') for i in range(len(image_detail)): # 获取large图片地址 url = 'https:' + image_detail[i]['url'] page_urls.append(url) urls.append({'title': title, 'url_list': page_urls}) return urls def save_image_file(url, path): ''' 保存图像文件 ''' ir = requests.get(url) if ir.status_code == 200: with open(path, 'wb') as f: f.write(ir.content) f.close() def main(offset, word): html = get_one_page(offset, word) urls = parse_one_page(html) # 图像文件夹不存在则创建 root_path = word if not os.path.exists(root_path): os.mkdir(root_path) for i in range(len(urls)): print('---正在下载 %s' % urls[i]['title']) folder = root_path + '/' + urls[i]['title'] if not os.path.exists(folder): try: os.mkdir(folder) except NotADirectoryError: continue except OSError: continue url_list = urls[i]['url_list'] for j in range(len(url_list)): path = folder + '/index_' + str("%02d" % j) + '.jpg' if not os.path.exists(path): save_image_file(urls[i]['url_list'][j], path) if __name__ == '__main__': # 抓取2000个图集,基本上包含全部图集 for i in range(100): main(i * 20, '街拍')
---正在下载 成都街拍,牛仔裙与牛仔裤的夏季时尚单品,更能彰显青春范十足 ---正在下载 重庆街拍,夏季休闲穿搭参考,你喜欢哪一款? ---正在下载 北京街拍,漂亮的连衣裙搭配起来,让你女人味十足! ---正在下载 成都街拍,好看的T恤与小背心,个性百搭又不失时尚! ---正在下载 成都街拍,好看的连衣裙,一万条也不会嫌多! ---正在下载 「街拍分享时间」在重庆,遇见最美的女神 ---正在下载 重庆街拍,连衣裙与长裙,怎么搭配才好看? ---正在下载 最美街拍,不老情怀 ---正在下载 南京路步行街街拍 ---正在下载 成都街拍,黑色与白色的混搭,碰撞出不一样的时尚美! ---正在下载 成都街拍,连衣裙与短裙的夏季穿搭,哪一个更美? ---正在下载 王鸥最美的一组街拍,优雅时尚的精致女人,迷人至极的小姐姐 ---正在下载 杨幂又变瘦了,腿细到吓人,网友:哪怕只有一天也想以这身材活着 ---正在下载 街拍美:被风吹过的夏天 ---正在下载 成都街拍,夏季搭配单品,牛仔裤与牛仔裙你更喜欢哪一个? ---正在下载 街拍性感长发美女 ---正在下载 本来就很白,再配上一身白造型,感觉何穗都要白到反光了! ---正在下载 成都街拍,夏季牛仔裤与阔腿裤的穿搭,哪一个才是你的最爱? ---正在下载 李冰冰穿这么休闲坐飞机肯定很舒服,黑白配超经典,腿长两米八哦 ---正在下载 街拍,不同年龄不同职业的人展现出不同的魅力 ---正在下载 街拍,不同年龄不同职业的人展现出不同的魅力 ---正在下载 宋祖儿机场街拍 ---正在下载 奚梦瑶现身法国玩街拍,对镜头微笑打招呼引来大叔频频回头 ---正在下载 蒋梦婕这腿真的太细了,女生看了估计都想拥有! ---正在下载 街拍婚纱照就是要有点时尚感 ---正在下载 元气少女赵艺,时尚街拍酷美时髦气场足 ---正在下载 街拍是潮流所向,街拍是最好的穿衣示范 ---正在下载 杨洋怕赶不上飞机一路狂奔,可面对镜头还是要很帅气地凹造型! ---正在下载 很有味道的街拍 ---正在下载 街拍女神高圆圆踩单车,360度无死角美出新高度! ---正在下载 刘诗诗气质短发街拍 ---正在下载 街拍:重庆小姐姐街拍,是谁说重庆没有美女的? ---正在下载 短牛仔美女街拍 ---正在下载 阅乐随街拍 ---正在下载 鲁豫上海机场街拍 ---正在下载 国际机场的街拍与街头街拍鲜明对比 ---正在下载 倪妮清爽可爱街拍 ---正在下载 半红不紫的范玮琪,机场街拍曝光 俏皮灵动元气满满 ---正在下载 马思纯,网友:包包开关没弄好就街拍,看了肯定很难受! ---正在下载 图虫街拍摄影:街拍 ---正在下载 「街拍」《Vogue》编辑的10个街拍穿搭造型 ---正在下载 香港街拍! ---正在下载 费启鸣机场街拍 ---正在下载 迪丽热巴机场街拍 ---正在下载 炎炎夏日,街拍 ---正在下载 苏州十全街街拍 ---正在下载 日本旅行——街拍 ---正在下载 时尚最街拍 ---正在下载 环球小姐的街拍 ---正在下载 图虫摄影:街拍 ---正在下载 街拍超模吉吉·哈迪德Gigi Hadid曼哈顿街拍! ---正在下载 图虫街拍摄影:长沙扫街 ---正在下载 古巴街拍一掠 ---正在下载 图虫街拍摄影:南浔古镇花间堂 ---正在下载 图虫摄影:街拍人生。 ---正在下载 张天爱街拍 ---正在下载 图虫摄影:万博街拍 ---正在下载 韩庚机场街拍 ---正在下载 娜雅·里维拉 街拍 ---正在下载 王凯红色主题街拍 ---正在下载 北京798艺术区街拍 ---正在下载 佟丽娅,街拍,自然美 ---正在下载 图虫风光摄影:街拍 ---正在下载 米兰时装周精选街拍(一) ---正在下载 杨幂,大衣被街拍 ---正在下载 Selina街拍美照曝光 ---正在下载 街拍,Street snap ---正在下载 图虫摄影:新春袁家村街拍 ---正在下载 街拍日记,温暖回忆 ---正在下载 图虫街拍摄影:佚姝街拍 ---正在下载 图虫街拍摄影:街拍——北京清晨,路灯 ---正在下载 街拍:什么是合格的老公?就是老婆怀孕后给老婆打扮的漂漂亮亮的 ---正在下载 春夏港风街拍 ---正在下载 夏季街拍达人走心推荐的几款T恤,看着洋气减龄,不仅凉快还显瘦 ---正在下载 王鸥最美的一组街拍,优雅时尚的精致女人,迷人至极 ---正在下载 图虫摄影:街拍 ---正在下载 迪丽热巴最新街拍 ---正在下载 图虫摄影:美丽街拍。 ---正在下载 图虫摄影:残幅街拍 ---正在下载 图虫摄影:长沙街拍 ---正在下载 图虫摄影:爱街拍 ---正在下载 图虫摄影:街拍 ---正在下载 图虫人像摄影:街拍 ---正在下载 图虫街拍摄影:P20P手持街拍 ---正在下载 图虫街拍摄影:街拍 ---正在下载 迪丽热巴甜美气质街拍 ---正在下载 图虫摄影:佛山街拍红棉。 ---正在下载 图虫街拍摄影:街拍 ---正在下载 图虫人像摄影:街拍 ---正在下载 图虫摄影:春节街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫摄影:新浪微博:小平街拍 ---正在下载 图虫摄影:街拍:百姓生活65 ---正在下载 图虫街拍摄影:无锡街拍 ---正在下载 图虫街拍摄影:街拍,人像 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫摄影:随性街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫街拍摄影:岘港街拍 ---正在下载 图虫街拍摄影:街拍 ---正在下载 图虫街拍摄影:街拍 ---正在下载 图虫街拍摄影:除夕夜景街拍 ---正在下载 图虫摄影:街拍《元宵节》 ---正在下载 图虫街拍摄影:街拍 ---正在下载 图虫街拍摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫黑白摄影:街拍 ---正在下载 图虫街拍摄影:街拍,狗狗 ---正在下载 图虫街拍摄影:街拍南京