面试常见的大数据题

查找

1.如何判断40亿个无符号整数是否存在某个数

使用位图，申请512MB内存，即2^32个位，填充位图并直接查找

2.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

1.

排序：

2.比如现在有10G订单数据存在外部磁盘的一个文件中，我们想将这10G的订单数据按照从小到大进行排序，但是由于服务器内存有限只有几百M，无法一次性加载内存，这时候就可以利用桶排序进行解决了。