scrapy settings.py简单设置

ROBOTSTXT_OBEY = False  #如果网站中没有robots文件，就不会抓取任何数据

#设置请求头

DEFAULT_REQUEST_HEADERS = {

　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0'

}