引言
大型语言模型（LLMs）在认知任务上取得了显著进步，检索增强生成（RAG）技术成为提升模型性能的重要方法。然而，现有的评估方法往往孤立地测试模型的检索能力、事实性和推理能力，无法全面反映模型在真实场景中的表现。为了解决这一问题，谷歌DeepMind和哈佛大学的研究团队提出了FRAMES（Factuality, Retrieval, And reasoning MEasurement Set），这是一个高质量的数据集，旨在统一评估RAG系统的核心能力。
FRAMES的核心特点
FRAMES数据集包含824个具有挑战性的多跳问题，每个问题需要整合多个维基百科文章的信息才能回答。这些问题覆盖了历史、体育、科学、动物、健康等多个领域，并涉及以下五种推理类型：
- 数值推理：涉及计数、比较或计算。
- 表格推理：需要分析维基百科中的表格或信息框。
- 多重约束：问题包含多个约束条件，其交集指向唯一答案。
- 时间推理：涉及时间线的推理。
- 后处理：在收集所有必要事实后，需要进行特定处理（如单位转换或格式调整）。
FRAMES的独特之处在于它首次将事实性、检索能力和推理能力整合到一个统一的评估框架中，填补了现有基准测试的空白。
数据集构建过程
研究团队首先尝试通过LLM生成合成数据，但发现超过30%的问题存在幻觉或错误。因此，他们转向人工标注，由专家团队设计问题，并确保每个问题需要2到15篇维基百科文章才能回答。此外，团队还实施了严格的质量检查，包括：
- 验证答案的正确性和基于维基百科的可靠性。
- 添加时间上下文以避免歧义（例如“截至2024年8月1日”）。
- 避免二元答案问题，防止模型通过随机猜测获得高分。
实验结果
研究团队对多个先进LLM（如Gemini-Pro、Gemini-Flash、Gemma2等）进行了评估，结果如下：
-
单步评估：
- 在没有检索的情况下，Gemini-Pro的准确率仅为0.408。
- 通过BM25检索相关文章后，准确率提升至0.474。
- 当提供所有相关文章（Oracle Prompt）时，准确率达到0.729，但模型在数值推理、表格推理和后处理任务上仍表现不佳。
-
多步评估：
- 通过多步检索和推理，模型的准确率显著提升至0.66（接近Oracle性能）。
- 改进的关键在于为模型提供搜索规划指令，例如避免重复查询和分步思考。
意义与未来方向
FRAMES为RAG系统的评估提供了更全面的基准，揭示了当前模型在复杂推理任务上的局限性。未来研究方向包括：
- 开发更高效的检索策略（如基于ColBERT或SimCSE的密集检索器）。
- 提升模型的推理能力（如通过过程监督或蒸馏技术）。
- 扩展数据集以涵盖更多领域和动态信息。
结论
FRAMES是评估RAG系统的重要一步，它不仅帮助研究者更准确地衡量模型性能，还为改进检索和推理能力提供了明确方向。随着RAG技术在现实应用中的普及，这样的综合评估框架将变得越来越重要。
数据集链接：Hugging Face
论文作者：Satyapriya Krishna, Kalpesh Krishna, Anhad Mohananey等