文章地址：https://arxiv.org/abs/2311.09476
文章核心观点
ARES 是一个自动化的检索增强生成 (RAG) 系统评估框架，它能够在无需大量人工标注的情况下，准确评估 RAG 系统在上下文相关性、答案忠实度和答案相关性三个维度上的表现。ARES 通过生成合成训练数据，微调轻量级的语言模型 (LM) 判官来评估 RAG 系统的各个组件。为了减少潜在预测错误，ARES 利用少量人工标注的数据点进行预测驱动推理 (PPI)。在 KILT、SuperGLUE 和 AIS 中的八个不同知识密集型任务上，ARES 能够在评估过程中仅使用几百个人工标注数据点就准确地评估 RAG 系统。此外，ARES 判官在领域迁移方面也表现出色，即使改变了评估 RAG 系统中使用的查询类型和/或文档类型，仍能保持准确性。
1. 简介
- 介绍检索增强生成 (RAG) 系统及其应用场景。
- 指出传统 RAG 系统评估方法的局限性：依赖人工标注，成本高，效率低。
- 提出 ARES，一个自动化 RAG 评估系统，用于评估 RAG 系统在上下文相关性、答案忠实性和答案相关性方面的表现。
- 强调 ARES 的优势：自动生成训练数据，使用轻量级 LM 评估模型，并提供置信区间。
2. 相关工作 - 回顾 RAG 系统和 LLM 评估技术的相关研究。
- 比较 ARES 与 EXAM 和 RAGAS 等现有评估框架。
3. ARES 系统 - 详细介绍 ARES 的三个主要阶段：
- 使用 LLM 生成合成数据集 (question-answer pairs)。
- 准备 LLM 评估模型 (judges) 来评估上下文相关性、答案忠实性和答案相关性。
- 使用 PPI 技术和人工标注数据集对 RAG 系统进行评分和排名，并提供置信区间。
4. 实验
- 介绍实验中使用的模型和数据集，包括 KILT、SuperGLUE 和 AIS 等基准数据集。
- 定义评估指标：Kendall 秩相关系数 (τ) 和预测准确率。
5. 结果与分析 - 展示 ARES 在不同数据集上的评估结果，并与 RAGAS 和 GPT-3.5 评估模型进行比较。
- 分析 ARES 在 AIS 数据集上的表现，证明其能够有效评估真实 RAG 系统的答案忠实性。
- 评估 ARES 在现有 RAG 系统上的评分和排名能力。
- 探讨 ARES 在跨领域应用中的优势和局限性。
6. 结论 - 总结 ARES 的主要贡献和优势。
- 指出 ARES 的局限性和未来研究方向。
7. 局限性 - ARES 依赖于少量人工标注数据。
- ARES 使用的大模型需要高性能 GPU 硬件。
- ARES 目前仅支持英语数据集。
8. 附录 - 提供实验中使用的 LLM 评估模型的微调配置和提示信息。
- 提供用于生成合成数据的提示信息。
- 展示 ARES 评估模型的性能和置信区间。