从海量数据中查找10个最大值(面试问题)

方法1_使用一个长度为10的基数组(冒泡排序省略):

定义一个长度为10的数组.当每从数组中拿出一个数据,就和长度为10的数组中的最小值进行比较.如果小于最小值,舍弃,否则插入到合适的位置.

伪代码如下:

  A[N],a[m](分别为原始数组和降序数组,其中N=10000,m=10)

  a = A[0 ... 9](将数组A的前10个数赋给数组a)

  sort a(将组数a降序排序)

  for i in A[ 10 ... N](从10到N遍历数组A)

    if A[i] > a[9] then (如果当前值比降序数组中的最小值大)

      删除a[9]

      将A[i]插入a的合适位置,使a保持降序

    end if

  end for

  输出数组a

(该方法也可将数组分段读取到内存.)

方法2_使用最小堆

最小堆

最小堆是一种完全二叉树,特点是根节点比两个子节点都小(或者根节点比子节点都大)

过程

  • 先找10个数构建最小堆
  • 依次遍历10亿个数,如果比最小堆的最小值大,则替换这个最小值,并重新构建最小堆
  • 最后输入10个值
  • 时间复杂度
    构建最小堆的复杂度为 logn,求出最大m个数会构建m次最小堆,时间复杂度为 m logm, 这里m为10000
    进行n次时间复杂度为n,这里n为10亿,总时间复杂度为 n m logm,即10亿 10000 log 10000

方法3_其他算法

  • 将十亿个数排序,找出最大值,但是占用空间比较大,做了很多无用功
  • 分治法:将10亿个数分成10份,求出每份的前10000个数 ,然后在这个10 * 10000 个数中找出最大的10000个数
  • hash去重复,将这10亿个数的Hash值进行比较,去除重复的

猜你喜欢

转载自blog.csdn.net/zaimeiyeshicengjing/article/details/81435119
今日推荐