Python 크롤러 01 - 정적 페이지 크롤링(Baidu Tieba)

포스트바에 해당하는 URL구조를 분석하여 kw와 페이지라는 두 개의 변수를 추출하고, 사용자가 이 두 변수의 값을 입력한 후 요청 라이브러리를 통해 해당 페이지를 크롤링하게 되는데 코드는 다음과 같습니다.

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36'
}

kw = input("请输入您想要爬取的贴吧名称：《示例：宝马》 ")
pages = input("请输入您想要爬取的页面数：《示例：5》")

for i in range(int(pages)):
    url = f'https://tieba.baidu.com/f?kw={kw}&ie=utf-8&pn={i*50}'
    response = requests.get(url,headers = headers).content.decode()
    with open(f'{kw}+{i}.html','w',encoding='utf8')as f:
        f.write(response)
    print(f'{kw}+{i}页面采集完成！')

크롤러를 클래스로 캡슐화하고, 크롤러의 주요 단계를 클래스 멤버 메소드로 캡슐화합니다. 리팩터링된 코드는 다음과 같습니다.

class TBSpider(object):

    # 第一步，准备基础数据
    def __init__(self):
        self.kw = input('请输入您想要爬取的贴吧名称：《示例：宝马》')
        self.pages = input('请输入您想要爬取的页面数：《示例：5》')
        self.start_url = 'https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
        }

    #  第二步，发送请求，获取响应
    def start(self):

        for i in range(int(self.pages)):
            user_url = self.start_url.format(quote(self.kw), i*50)
            response = requests.get(user_url, headers=self.headers)
            self.deal_data(response, i)

    #  第三步，解析响应，处理数据
    def deal_data(self, response, i):
        data = response.content.decode()
        self.save_data(data, i)

    #  第四步，存储数据
    def save_data(self, data, i):
        with open(f'{self.kw}{i}.html', 'w', encoding='utf8')as f:
            f.write(data)
        print(f'{self.kw}+第{i}页采集完成！！！')


if __name__ == '__main__':
    t = TBSpider()
    t.start()