30、检索增强生成（RAG）应用评估与实践教程

检索增强生成（RAG）应用评估与实践教程

1. RAG应用评估概述

评估RAG应用是一项复杂的任务，因为它涉及多个功能组件，且各组件的抽象概念较为模糊。评估不仅要考虑检索质量、答案忠实性和相关性等直接量化指标，还需评估RAG系统的其他能力，以全面了解检索上下文和提示增强对大语言模型（LLM）生成过程的影响。

2. RAG系统能力评估

为了评估LLM生成器在RAG系统中的整体性能、通用性和可靠性，需要对以下四种常见的RAG能力进行评估：
- 噪声鲁棒性 ：衡量LLM生成器在处理包含噪声的检索上下文时，能否仅利用有用信息并正确回答用户查询的能力。
- 操作步骤 ：
1. 生成一组问题 - 答案对，并确定与之相关的正、负上下文的真实知识。
2. 按适当比例将相关文档与随机采样的负上下文配对。
3. 将这些“检索”到的上下文传递给LLM生成器，并将其答案与问题 - 支持信息 - 答案三元组数据集中最初生成的答案进行比较。
4. 使用基于准确性的指标（如精确匹配，EM）来计算LLM在这方面的能力。
- 负拒绝能力 ：当检索到的上下文中均不包含回答用户查询所需的相关信息时，RAG应用应拒绝回答该查询。
- 操作步骤 ：
1. 生成一组问题 - 答案对以及得出答案所需的支持信息。
2. 仅从负文档（即未与生成的问题 - 答案对一起生成的文档）中采样上下文。
3. 测量RAG LLM正确以特定拒绝内容回答的次数，通常通过向LLM提供的