【Python_Scrapy学习笔记（十一）】基于Scrapy框架的下载器中间件添加Cookie参数

前言

本文中介绍 如何基于 Scrapy 框架的下载器中间件添加 Cookie 参数。

正文

1、添加中间件的流程

1. 在 middlewares.py 中新建 Cookie参数 中间件类
2. 在 settings.py 中添加此下载器中间件，设置优先级并开启

2、基于Scrapy框架的下载器中间件添加Cookie参数的流程

1. 在 middlewares.py 中新建 Cookie参数 中间件类

   # 中间件3：Cookie
   class BaiduCookieDownloaderMiddleware(object):
       def process_request(self, request, spider):
           # 1、先抓包得到cookie
           cookie_dict = self.get_cookie()
           request.cookies = cookie_dict
           print(cookie_dict)
   
       def get_cookie(self):
           cookie_string = 'xxx:xxx'
           cookie_dict = {
         
         }
           for kv in cookie_string.split(";"):
               k = kv.split('=')[0]
               v = kv.split('=')[1]
               cookie_dict[k] = v
           return cookie_dict
   

   注意1：Cookies 参数需要通过 F12 抓包得到；
   注意2：要写一个函数，将 Cookies 字符串格式 处理为字典格式。

       def get_cookie(self):
           cookie_string = ''
           cookie_dict = {
         
         }
           for kv in cookie_string.split(";"):
               k = kv.split('=')[0]
               v = kv.split('=')[1]
               cookie_dict[k] = v
           return cookie_dict
   

2. 在 settings.py 中添加此下载器中间件，设置优先级并开启

   # Enable or disable downloader middlewares
   # See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
   # 开启中间件
   DOWNLOADER_MIDDLEWARES = {
         
         
       "BaiduMiddle.middlewares.BaidumiddleDownloaderMiddleware": 543,
       "BaiduMiddle.middlewares.BaiduCookieDownloaderMiddleware": 400
   }
   

3. 运行效果