爬虫去重策略

1，将所有访问过的url保存在数据库中

2，将访问过的url保存在内存中，只需要o(1)代价就可以查询url

    1000000000*2byte*50个字符/1024/1024/1024≈9G

3，url经过md5等方法哈希后保存到内存中 （scrapy用的方法）

4，用bitmap方法，将访问过的url通过hash函数映射到某一位

5，bloomfilter方法对bitmap进行改进，多重hash函数降低冲突