ValueError('Missing scheme in request url :%s'%self._url')

这是因为在利用scrapy抓取网页时的setting配置中有一个相关的图片配置,

ITEM_PIPELINES = {
   'article_scrapy.pipelines.ArticleScrapyPipeline': 300,   
   'scrapy.pipelines.images.ImagesPipeline':1,                
}

系统会默认将其作为一个数组来进行处理,而,在网页信息爬取过程中,将其传入到item.py 的数据是一个值,而不是一个数组,将其加{},即可,如下:

article_time['front_image_url'] = front_image_url
改为:
 
 
article_time['front_image_url'] = {front_image_url}


猜你喜欢

转载自blog.csdn.net/alicia_n/article/details/78212565
今日推荐