深入理解 RAG：检索增强生成技术详解

深入理解 RAG：检索增强生成技术详解

引言

在大语言模型（LLM）迅猛发展的今天，如何让模型生成更准确、更可信、可追溯的内容，成为业界关注的核心问题。检索增强生成（Retrieval-Augmented Generation, RAG） 技术应运而生，它通过将“信息检索”与“文本生成”相结合，显著提升了 LLM 的事实准确性与知识时效性。

RAG 不仅被广泛应用于智能客服、知识问答、企业搜索等场景，更是通义千问、ChatGPT 等主流大模型背后的关键技术之一。

本文将带你全面解析 RAG 的工作原理、核心组件、架构设计、优化策略，并结合阿里云与 vLLM 的实际应用，助你构建高效、可靠的增强生成系统。

一、什么是 RAG？

RAG（Retrieval-Augmented Generation） 是一种结合信息检索与语言模型生成的技术框架。其核心思想是：

在生成答案之前，先从外部知识库中检索相关信息，再将这些信息作为上下文输入给大模型，指导其生成更准确、有据可依的回答。

传统 LLM 的局限性

RAG 的优势

二、RAG 工作流程详解

一个典型的 RAG 系统包含三个核心步骤：

用户提问 → [检索器] → 相关文档 → [重排序器] → 排序后文档 → [生成器] → 最终回答

1. 检索阶段（Retrieval）

目标：从大规模文档库中快速找到与用户问题最相关的若干文档片段。

常用技术：

• 稠密检索（Dense Retrieval）：

  • 使用双塔模型（如 DPR、ColBERT）将查询和文档编码为向量
  • 通过向量相似度（如余弦相似度）进行检索
  • 优势：语义匹配能力强，能处理同义词、 paraphrasing

• 稀疏检索（Sparse Retrieval）：

  • 使用传统方法如 BM25、TF-IDF
  • 基于关键词匹配
  • 优势：实现简单，对精确匹配敏感

✅ 最佳实践：采用 混合检索（Hybrid Retrieval），结合稠密与稀疏方法，提升召回率。

2. 重排序阶段（Re-Ranking）

目标：对初步检索到的文档进行精细化排序，提升 top-k 文档的相关性。

常用模型：

• Cross-Encoder：将查询与文档拼接后输入 BERT 等模型，计算相关性得分
• 专用重排序模型：如 BGE-Reranker、Cohere Rerank

⚡ 优势：精度高于双塔模型，但计算成本更高，通常只对 top-50~100 文档重排。

3. 生成阶段（Generation）

目标：将检索到的文档作为上下文，输入大语言模型生成最终回答。

输入格式示例：

基于以下信息：
[文档1] 北京是中国的首都，位于华北平原。
[文档2] 北京常住人口约2189万（2023年数据），是中国第二大城市。

回答问题：
问题：北京的人口是多少？
回答：

生成策略：

• 直接生成：将文档拼接后送入 LLM
• 摘要式生成：要求模型总结多文档信息
• 引用生成：要求模型在回答中标注引用来源（如 [1]）

三、RAG 架构设计模式

1. Naive RAG（基础 RAG）

最简单的实现方式：

• 检索 → 拼接 → 生成
• 缺点：检索质量直接影响生成效果，缺乏优化

2. Advanced RAG（高级 RAG）

引入预处理与后处理优化：

• 预检索优化：查询扩展、查询重写
• 后检索优化：重排序、上下文压缩、句子窗口检索
• 动态 top-k：根据问题复杂度调整检索数量

3. Modular RAG vs. Graph RAG