scrapy爬虫框架 (4. item的介绍和使用)

1.item介绍

在items.py的函数里定义好我们预先需要的字段,并且引用此py文件的函数后,只能使用定义好的字段

2.item使用

2.1在items.py文件里定义预先使用的字段

items.py可以有多个函数,每个函数定义不同爬虫的预先使用字段,而在pipelines处理数据时得判断是哪个函数下的字段
.在这里插入图片描述

2.2在爬虫文件里引用该类,注意爬虫文件里出现的字段只能是该类定义过的

先爬取传智播客的教师数据
在这里插入图片描述
在爬取腾讯课堂的数据
在这里插入图片描述

2.3在pipelines里处理数据并显示

在这里插入图片描述
if isinstance(数据,数据类):这个语句的作用是对不同爬虫爬取的信息进行处理

2.4结果显示

运行爬取教师信息爬虫,结果为
在这里插入图片描述
运行爬取腾讯课堂爬虫,结果:
在这里插入图片描述

发布了63 篇原创文章 · 获赞 3 · 访问量 1697

猜你喜欢

转载自blog.csdn.net/qq_34405401/article/details/104101226