版权声明：本文为 [onefine] 原创文章，转载请注明出处。 https://blog.csdn.net/jiduochou963/article/details/86697220
爬虫去重策略：
-
将访问过的url保存到数据库中。
最简单的方式。即使数据库有缓存，但每次都从数据库中查询url，效率低下。 -
将访问过的url保存到set中，只需要o(1)的代价就可以查询url
- 占用内存过高
- 对小型爬虫，假设存储100000000条url数据，每条数据50个字符，Python3.x采用Unicode编码，每个字符2byte，则占用内存100000050字符2byte/1024/1024/1024 = 9.3G
- url经过md5等方法哈希后保存到set中
- 将字符缩短到固定的长度，并且不会重复
- scrapy采用的是这种方式
- 使用bitmap方法，将访问过的url通过hash函数映射到某一位(bit)
- 缺点：冲突会非常高
- 同上，存储100000000条url数据，采用bitmap方法1条数据对应1bit，则理想情况下占用内存100000000/8bit/1024/1024/ = 11.9Mb，这里不考虑冲突。
- 使用bloomfilter方法对bitmap进行改进，通过多重hash函数降低冲突