ICML 2024
1 基于规则的推理（rule-based） VS 基于样例的推理（case-based）
- 一个是依赖于训练语料库中见过的相似样例
- 一个是基于学习到的基本规则
2 方法 & 结论
2.1 直接问答案：case-based
- 论文使用了Leave-Square-Out 方法测试大模型是哪种推理
- 定位模型可能依赖的训练集中的样例
- 将它们从训练集中移除，以观察它们是否影响模型的测试性能
- 红框的部分事被挖掉的测试集（训练集看不到的部分）
- 如果是rule-based，那么应该都是差不多的准确率；但这边红框内的准确率明显下降，说明大模型是case-based
2.2 scratchpad（引导LLM一位一位做加法）：case-based
- 发现是下三角形部分准确率也几乎为0
- 模型无法解决如47+48的问题，因为训练集中没有包含十位上进位的步骤
- ——>不涉及进位的部分效果好，涉及的部分效果差
2.3 论文提出的方法： Rule-Following Fine-Tuning (RFFT)
- 旨在教 transformers 进行 rule-based reasoning
- 在输入中提供显式的规则，然后指导 transformers 逐行地回忆规则并执行
