Investigating Numerical Translation with Large Language Models

主要内容

  1. 研究背景:数字翻译在金融、科技等领域至关重要,要求高度精确,但现有评估指标难以有效衡量数字翻译的准确性,相关研究较少,大语言模型(LLMs)在数字翻译方面的能力也未得到充分探索。
  2. 数据集构建:构建了基于真实业务数据的中英双向数字翻译数据集,涵盖大单位、范围、小数、数字字符串等十种数字翻译类型,并详细说明了每种类型的特点和示例。
  3. 模型评估与错误分析:测试了通用LLMs和翻译LLMs在数据集上的表现,发现没有模型能在所有数字翻译类型上表现出色,尤其在大单位翻译上表现较差。分析了错误原因,包括模型架构更擅长处理语言模式而非数字计算,存在单位转换困难和浮点计算精度问题。
  4. 改进策略及结果:提出上下文学习(ICL)、思维链(COT)和后编辑(PE)三种改进大单位翻译的策略。实验表明,PE策略在所有基础模型上的表现均优于ICL和COT策略,能更有效地纠正翻译错误。

创新点

  1. 构建新型数据集:构建了包含十种数字翻译类型的中英双向数字翻译数据集,基于真实业务数据