LLM生成文本的 束搜索参数是什么(Beam Search)

LLM生成文本的 束搜索参数是什么(Beam Search)

束搜索(Beam Search)是一种在序列生成任务(如机器翻译、文本生成等)中常用的启发式搜索算法,用于在搜索空间中寻找最优的生成序列。

束搜索的基本概念

在序列生成过程中,每一步都会有多个可能的选择(即候选标记)。

贪心搜索会在每一步都选择概率最高的标记

而束搜索则会在每一步保留概率最高的 num_beams 个候选序列,然后在后续步骤中继续扩展这些序列,最终从这些扩展后的序列中选择概率最高的作为最终结果

束搜索参数

  • num_beams:束宽,即每一步保留的候选序列的数量。num_beams 越大,搜索空间越大,找到更优解的可能性也越大,但同时计算量和内存消耗也会增加。num_beams = 1 时,束搜索就退化为贪心搜索。
  • early_stopping:布尔值,用于控制是否在所有束都