Python 3.5_简单上手、爬取百度图片的高清原图 Python 3.5_简单上手、爬取百度图片的高清原图

Python 3.5_简单上手、爬取百度图片的高清原图

2017年11月10日 15:49:50

阅读数：1008

利用工作之余的时间，学习Python差不多也有小一个月的时间了，路漫漫其修远兮，我依然是只菜鸟。

感觉学习新技术确实是一个痛并快乐着的过程，在此分享些心得和收获，并贴一个爬取百度图片原图的代码。

代码主要参考了xiligey老司机前辈的一篇文章，在基础上添加了一些的功能，在此谢过。http://m.blog.csdn.net/xiligey1/article/details/73321152

一、安装，搭建环境

首先是Python的安装，我想网上已经很多了，如果连安装都搞不定接下来的也不用看了，我自己用得是3.5的版本。

官网https://www.python.org/

除此之外分享一个国外的网站，涵盖了几乎全部的python模块，运行过程中有模块缺失的可以pip或者手动在这里下载安装。

下载下来的文件后缀名改成.zip，解压出来的文件夹直接放在python安装目录下的Lib文件夹里即可。

为了让我们码代码更简单舒服，调试更轻松，推荐一个IDE:PyCharm ,界面和操作都很友好易上手，需要的自行百度安装。

二、核心代码

首先F12调试模式，查看图片的链接地址

后来实验了，发现这是小图的链接地址，咱直接pass。在网页空白处右键查看源码，根据前辈的经验，我们能找到objUrl既是我们需要的原图的地址,这下就好办了，直接正则匹配，

pattern_pic = '"objURL":"(.*?)",'

而后处理翻页的问题

pattern_fanye = '<a href="(.*)" class="n">下一页</a>'
fanye_url = re.findall(pattern_fanye, html)[0]  # 下一页的链接

最后就可以循环保存图片了。

以下贴出代码：

[python]view plain copy
# coding=utf-8  
""" 
爬取百度图片的高清原图 
Author          : MirrorMan 
Created         : 2017-11-10 
"""  
import re  
import sys  
import urllib  
import os  
  
import requests  
  
  
def get_onepage_urls(onepageurl):  
    if not onepageurl:  
        print('执行结束')  
        return [], ''  
    try:  
        html = requests.get(onepageurl).text  
    except Exception as e:  
        print(e)  
        pic_urls = []  
        fanye_url = ''  
        return pic_urls, fanye_url  
    pic_urls = re.findall('"objURL":"(.*?)",', html, re.S)  
    fanye_urls = re.findall(re.compile(r'<a href="(.*)" class="n">下一页</a>'), html, flags=0)  
    fanye_url = 'http://image.baidu.com' + fanye_urls[0] if fanye_urls else ''  
    return pic_urls, fanye_url  
  
  
def down_pic(pic_urls,localPath):  
    if not os.path.exists(localPath):  # 新建文件夹  
        os.mkdir(localPath)  
    """给出图片链接列表, 下载图片"""  
    for i, pic_url in enumerate(pic_urls):  
        try:  
            pic = requests.get(pic_url, timeout=15)  
            string = str(i + 1) + '.jpg'  
            with open(localPath + '%d.jpg' % i, 'wb')as f:  
                f.write(pic.content)  
          #  with open(string, 'wb') as f:  
          #      f.write(pic.content)  
                print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))  
        except Exception as e:  
            print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))  
            print(e)  
            continue  
  
  
if __name__ == '__main__':  
    keyword = '泰勒斯威夫特1920*1080'  # 关键词, 改为你想输入的词即可  
    url_init_first = r'http://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1497491098685_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1497491098685%5E00_1519X735&word='  
    url_init = url_init_first + urllib.parse.quote(keyword, safe='/')  
    all_pic_urls = []  
    onepage_urls, fanye_url = get_onepage_urls(url_init)  
    all_pic_urls.extend(onepage_urls)  
  
    fanye_count = 1  # 图片所在页数，下载完后调整这里就行  
    while 1:  
        onepage_urls, fanye_url = get_onepage_urls(fanye_url)  
        fanye_count += 1  
        print('第%s页' % fanye_count)  
        if fanye_url == '' and onepage_urls == []:  
            break  
        all_pic_urls.extend(onepage_urls)  
  
    down_pic(list(set(all_pic_urls)),'e:/PythonPic/泰勒%s/' % fanye_count)#保存位置也可以修改  

三、其它

运行跑起来，

有些图片是无效的，一般就是链接失效了，也在我们的承受范围中，接下来大家就尽情享受吧

MirrorMan

2017/11/10