LLM生成文本的 束搜索参数是什么(Beam Search)
束搜索(Beam Search)是一种在序列生成任务(如机器翻译、文本生成等)中常用的启发式搜索算法,用于在搜索空间中寻找最优的生成序列。
束搜索的基本概念
在序列生成过程中,每一步都会有多个可能的选择(即候选标记)。
贪心搜索会在每一步都选择概率最高的标记
而束搜索则会在每一步保留概率最高的 num_beams
个候选序列,然后在后续步骤中继续扩展这些序列,最终从这些扩展后的序列中选择概率最高的作为最终结果。
束搜索参数
num_beams
:束宽,即每一步保留的候选序列的数量。num_beams
越大,搜索空间越大,找到更优解的可能性也越大,但同时计算量和内存消耗也会增加。当num_beams = 1
时,束搜索就退化为贪心搜索。early_stopping
:布尔值,用于控制是否在所有束都