记一次线上问题集合到底怎么去重

前言

前两天写了个双色球生成器,把代码一亮,好多朋友就问了,你这样嵌套性能不就很低了么?
拜托大哥,我生成1000万个,你也不一定都买了呀,够需求就行了;
但是还是有求必应吧!请看↓
十行写个彩票随机生成器(双色球+大乐透)

开始操作

诉求

集合去重在目标数量比较大的时候效率低下,极大可能还会让服务器宕机(偷偷告诉你其实这就是我前几天线上出的问题 ),有什么办法可以高效且优雅 的完成任务么?
先看原代码↓

优化前

public static <T> List<T> distinctI(List<T> list){
    
    
    if (list == null){
    
    
        return null;
    }else {
    
    
        List<T> result = new ArrayList<>();
        for (T item : list){
    
    
            if (!result.contains(item)){
    
    
                result.add(item);
            }
        }
        return result;
    }
}

这里是使用List的contains判断目标数组中是否有该元素,如果看不出有何问题的话,请继续往下看。

优化后

public static <T> List<T> distinctII(List<T> list){
    
    
    if (list ==null){
    
    
        return null;
    }else {
    
    
        List<T> result = new ArrayList<>(new HashSet<>(list));
        return result;
    }
}

对比

优化前

数据量 耗时(毫秒)
10000 118
100000 5885
1000000 482137

优化后

数据量 耗时(毫秒)
1000000 678

解析

当使用contains方法时,判断result中是否有item元素,如果没有就将item[i] add到result集合中去,这样虽然完成了功能的实现,但是随着并发量逐渐增大的时候,它的时间复杂度就会上升为(n^2)/2(数据量的时候contains方法的执行会导致大量的线程资源被占用,你懂得!)

n的值 遍历次数
10000 5000万
100000 50亿
1000000 5000亿

so!

小结

回去查查代码中是不是有类似的情况,有的话赶紧亡羊补牢吧
另外还有

  1. HashSet: 可以去重,但不能排序
  2. TreeSet: 既可去重,又可以排序(默认为升序)
  3. Stream: 既可去重,又可以排序(代码简洁且高效)

详细解读请移步:Java8 Stream链式表达式:去重+排序

猜你喜欢

转载自blog.csdn.net/l_mloveforever/article/details/112440363
今日推荐