【Python爬虫实战01】基于Python的图片数据获取方法

本文介绍了如何使用 Python 爬虫实现网络图片的获取。这里我们利用 requests 和 lxml 库，获取分类 url 地址及每个分类下的图片详情页链接，并循环 download 每个分类下的所有图片数据。

首先，我们需要导入相关模块，并定义目标网站的 URL 和请求头：

import os
import requests
from lxml import etree

main_url = 'http://www.netbian.com/'

header = {
   
    
    
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/113.0.0.0 Safari/537.36 Edg/113.0.1774.50'