python爬虫-XPath实例——批量下载高清壁纸

一、前言

网络爬虫的一般步骤：

1.获取网页

2.提取网页信息

3.保存网页信息

要用到的Python库：

requests库
os库
lxml中的etree(xpath)

二、要求

1.爬取目标网站上 “动漫” 类别下所有的壁纸。

2.壁纸必须保存到脚本运行目录下的的 IMAGES文件夹内。(文件夹由脚本自动创建 没有就创建 否则不创建)

3.保存的图片必须以对应标题名和分辨率来命名，如：秋田君的小漫画 - 1920x1200.jpg。

4.图片分辨率应该是可选分辨率中最高的。

5.要有提示信息，格式：正在下载 (下载数量)：(图片名字)。

6.要有错误处理并给出相应提示，如：图片下载失败、网络超时的处理等。

三、正文

爬取目标http://desk.zol.com.cn/dongman/

image.png

以上就是将要爬取的部分壁纸。

1.思路

image

第一步：分析网页，写出xpath路径

分析网页是应首先按F12进入开发者模式，选择element选项卡，使用元素选择器，如图：

image

由于我们要爬取列表所有壁纸，所以我们要获取<li class="photo-list-padding">标签下的所有<a>标签，因此，xpath路径为：

#图片列表地址

//li[@class="photo-list-padding"]//a/@href

image

还需要把’下一页‘的xpath路径提取出来，为：

#下一页的地址
//a[@id="pageNext"]/@href

image

需要提取出图片的名字，xpath路径为：

#图片名称
//a[@id="titleName"]/text()

image

这时候，由于既需要提取出分辨率，以及其网页，故而需要两个xpath路径：

#下载图片的路径
//dd[@id="tagfbl"]//a[1]/@href
#最大分辨率1920*1200
//dd[@id="tagfbl"]//a[1]/text()

第二步：设置请求头防止访问受限

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
}

第三步：利用requests库和lxml获取并解析网页

def get_dom(url):
    r = requests.get(url)
    dom = etree.HTML(r.text)
    return dom

第四步：下载并保存获取的图片

def download_image(url):
    dom = get_dom(url)
    download_url = dom.xpath('//img[contains(@src, "jpg")]/@src')[0]
    r_2 = requests.get(download_url)
    return r_2.content
def save_image(image_name, content, filepath='IMAGES/'):
    with open(filepath+image_name, 'wb') as f:
        f.write(content)

第五步：错误提示处理

下面给出完整代码：

import requests
import os
from lxml import etree

headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}

def get_text(url):
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding
    dom = etree.HTML(r.text)
    return dom


def get_imgage(url, name, px):
    r = requests.get(url, headers=headers)
    if (r.status_code != 200):
        print("图片下载失败")
        return
    r.encoding = r.apparent_encoding
    f = open(f'{name}-{px}.jpg', 'wb')
    f.write(r.content)


def create_file():
    path = os.getcwd() + "\image"
    if not os.path.exists(path):
        os.makedirs(path)
    os.chdir(path)


def get_name_href(dom):
    name = dom.xpath('//li[@class="photo-list-padding"]//em//text()')
    href = dom.xpath('//li[@class="photo-list-padding"]//@href')
    return name, href


def getImgHref_Px(href):
    dom = get_text(href)
    try:
        px = dom.xpath('//dd[@id="tagfbl"]//a//@id')[0]
        imgage_url = dom.xpath('//dd[@id="tagfbl"]//a[@target="_blank"]//@href')[0]
        dom_1 = get_text(host + imgage_url)
        imgage_href = dom_1.xpath('//img//@src')[0]
        return imgage_href, px
    except:
        imgage_href = dom.xpath('//div[@id="mouscroll"]//img//@src')[0]
        return imgage_href, "960x600"


host = "http://desk.zol.com.cn"
target = "http://desk.zol.com.cn/dongman/"
cnt = 0
create_file() 

for x in range(1, 42):
    dom = get_text("http://desk.zol.com.cn/dongman/" + str(x) + ".html")
    name, href = get_name_href(dom)
    for i in range(0, len(href)):
        cnt = cnt + 1
        print("正在下载" + str(cnt) + ":" + name[i])
        imgHref, px = getImgHref_Px(host + href[i])
        get_imgage(imgHref, name[i], px)

以下是运行结果：

image.png

image.png