DotnetSpider (二) Downloader的设置 Request自定义数据字典

本篇主要分享自定义Downloader和Request信息，实现自定义请求内容，及将自定义内容存储。

 

 　　** 温馨提示：如需转载本文，请注明内容出处。**

 

　    本文连接:http://www.cnblogs.com/grom/p/8968905.html 

 

接上一篇，在原项目的基础上进行改造，为EntitySpider设置Downloader。

 

自定义Downloader类:

public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader
{
　　protected override Page DowloadContent(Request request, ISpider spider)
　　{
　　　　var site = spider.Site;
　　　　request.Extras = new Dictionary<string, dynamic>();
　　　　request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
　　　　Page page = new Page(request);
　　　　return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
　　}
}

注释为:

　    这里的数据字典可以在选择器中使用SelectorType.Enviroment来使用

　　

　　如图所示，Url为Request自带Key,Date就是我们上面设置的属性了，通过这种方法，达到了在数据库内插入一列自定义数据，我这里的作用是记录抓取日期。

　　结果：

　　

　　本次的分享就到这里，谢谢。。。