论文略读：EDT: Improving Large Language Models’ Generation by Entropy-based Dynamic Temperature Sampling

南大 2024年3月的work

1 背景

• 在自然语言生成（Natural Language Generation, NLG）任务中，除了输出质量，输出的多样性、事实一致性等因素也受到关注。
  • 温度采样（temperature sampling）是控制解码过程中常用的方法
    • 较高的温度通常会导致更具创造性的生成
    • 较低的温度则倾向于生成质量更高但变化较少的内容
  • 但目前的方法大多使用固定的温度设置
    • ——>并不是最佳选择
• 论文提出了EDT方法
  • 在每个解码步骤中动态选择温度
  • 在文本摘要、问答和机器翻译等代表性基准上评估了EDT策略，效果都更好
    • 在生成质量和多样性之间取得了更好的平衡，并且几乎不增加推理成本

2 方法

3  结果