有两个很大文件，两个文件中存储的都是url，求出两个文件中相同的url
大文件的时候怎么办？
我们也采用分而治之的思想：将两个大文件都进行切分，每个大文件都切成多个小文件
一个大任务=4*4个小任务
这样虽然可以达到目的但是效率太低？怎么办？
排序，切分（规则同一） 最终将任务减少到4个
但是大文件排序仍然是一个非常消耗性能的事情，如果不需要排序就可做到这个效果尽量不要排序
怎么办？
hash算法的目的----》给每一个对象生成一个“唯一”的hash值0-Integer_MAX
是否可以运用hash算法解决这个问题
url.hashCode()%分段的个数 两个文件分段规则一定相同吗？
url.hashCode()肯定一样
分段个数一定相同吗？可以不一样 如果不一样的话 必须成倍数关系
最终的解决方案：
分而治之+分段规则
分段：分区
package day2;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;
public class BigURL {
public static void main(String[] args) throws IOException {
FileReader f= new FileReader(“d:/java/bigdate/day3/url1.txt”);
BufferedReader bf=new BufferedReader(f);
FileReader fr= new FileReader(“d:/java/bigdate/day3/url2.txt”);
BufferedReader bff=new BufferedReader(fr);
Set ul1=new HashSet<>();
Set ul2=new HashSet<>();
String line=null;
while((line=bf.readLine())!=null) {
ul1.add(line);
}
while((line=bff.readLine())!=null) {
ul2.add(line);
}
for(String str:ul1) {
if(ul2.contains(str)) {
System.out.println(str);
}
}
bf.close();
bff.close();
}
}