Scrapy框架之Setting.py的配置详解

#项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名
BOT_NAME = 'jianshu_spider'

# Scrapy搜索spider的模块列表 默认: [xxx.spiders]
SPIDER_MODULES = ['jianshu_spider.spiders']
#使用 genspider 命令创建新spider的模块。默认: 'xxx.spiders'
NEWSPIDER_MODULE = 'jianshu_spider.spiders'


# 爬取的默认User-Agent，除非被覆盖
#USER_AGENT = 'jianshu_spider (+http://www.yourdomain.com)'

# 机器协议，（True开启/False关闭）
ROBOTSTXT_OBEY = False

# Scrapy downloader 并发请求(concurrent requests)的最大值,默认: 16
#CONCURRENT_REQUESTS = 32

# 为同一网站的请求配置延迟（默认值：0）
# 下载器在下载同一个网站下一个页面前需要等待的时间,该选项可以用来限制爬取速度,减轻服务器压力。同时也支持小数:0.25 以秒为单位
DOWNLOAD_DELAY = 1
#下载延迟设置只有一个有效
# 对单个网站进行并发请求的最大值。
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
# 对单个IP进行并发请求的最大值。如果非0,则忽略
#CONCURRENT_REQUESTS_PER_IP = 16

#禁用Cookie（默认情况下启用）
#COOKIES_ENABLED = False

#禁用Telnet控制台（默认启用）
#TELNETCONSOLE_ENABLED = False

#覆盖默认请求标头：
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}

#启用或禁用爬虫中间件
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'jianshu_spider.middlewares.JianshuSpiderSpiderMiddleware': 543,
#}

#启用或禁用下载器中间件
DOWNLOADER_MIDDLEWARES = {
   # 'jianshu_spider.middlewares.JianshuSpiderDownloaderMiddleware': 543,
   'jianshu_spider.middlewares.SeleniumDownloadMiddlewares': 543,
}

#启用或禁用扩展程序
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

#配置项目管道文件
ITEM_PIPELINES = {
   # 'jianshu_spider.pipelines.JianshuSpiderPipeline': 300,
   'jianshu_spider.pipelines.JianshuTwistedPipeline': 300,
}

#启用和配置AutoThrottle扩展（默认情况下禁用）
#AUTOTHROTTLE_ENABLED = True
#初始下载延迟
#AUTOTHROTTLE_START_DELAY = 5
#在高延迟的情况下设置的最大下载延迟
#AUTOTHROTTLE_MAX_DELAY = 60
#Scrapy请求的平均数量应该并行发送每个远程服务器
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
#启用显示所收到的每个响应的调节统计信息：
#AUTOTHROTTLE_DEBUG = False

#启用和配置HTTP缓存（默认情况下禁用）
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'