论文略读：Can We Edit Factual Knowledge by In-Context Learning?

EMNLP 2023

• 第一个探索in-context learning在语言模型知识编辑方便的效果
  • 传统的知识编辑方法通过在包含特定知识的文本上进行微调来改进 LLMs
    • 随着模型规模的增加，这些基于梯度的方法会带来巨大的计算成本
  • ->论文提出了上下文知识编辑（IKE），无需任何梯度和参数更新

1 背景

• 知识编辑：修改语言模型在与训练阶段学到的知识（比如虚假内容、过时内容、偏见内容等）
  • 目标是双重的
    • 泛化性
      • 对描述相同知识的各种输入进行泛化
    • 特定性
      • 不干扰其他不相关的知识
• 

2 论文方法

3 效果