使用Python中的DrissonPage库爬取小说网站并保存章节内容(bqg)

前言

在这个教程中，我们将学习如何使用Python结合DrissionPage库来自动化浏览器操作，从而从一个小说网站(bqg)上抓取小说的章节链接和内容，并将这些内容保存到本地文件。本文将详细介绍整个过程，并提供完整的代码示例。

准备工作

在开始之前，请确保已经安装了以下Python库：

• drissionpage：用于控制浏览器行为。
• fake_useragent：生成随机用户代理字符串以避免被目标网站识别为自动化脚本。
• os 和 random：操作系统相关的功能和生成随机数。

可以通过pip命令安装所需的库：

pip install drissionpage fake_useragent

代码详解

1. 导入必要的模块

首先导入需要用到的Python标准库以及第三方库：

import os  # 用于文件和目录操作
import random  # 用于生成随机数
import time  # 用于暂停程序执行
from fake_useragent import UserAgent  # 用于生成随机的用户代理字符串
from DrissionPage import ChromiumPage, ChromiumOptions  # 用于自动化浏览器操作

2. 定义获取章节链接的函数

定义一个名为fetch_links_data的函数，该函数负责打开指定的小说页面，提取所有章节的链接，并创建存储小说内容的目录。

def fetch_links_data():
    co = ChromiumOptions()  # 创建Chromium选项实例
    user_agent = f"{
     
      
      UserAgent().random}"  # 生成随机的用户代理
    print(user_agent)  # 打印当前使用的用户代理
    co.set_user_agent(user_agent=user_agent