RAG-分块策略

本文探讨了如何为RAG（检索增强生成模型）项目选择最佳分块策略。作者指出，尽管许多人认为更好的模型或大上下文窗口可以取代分块策略，但分块技术依然重要且不可或缺。为了挑选合适的分块策略，作者建议先对文档进行抽样，然后创建测试问题集，接着使用RAGAS框架进行评估。通过可视化评估结果，包括性能排名、分块分布与性能、指标雷达图以及处理时间分解，可以更直观地比较不同分块策略的优劣，从而为具体应用选择最适合的策略。

RAG 是将附加文档存储为嵌入向量，将传入的查询计算向量与这些向量进行匹配，并将最相似的信息与查询一起提供给LLM的过程。

分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。

本文介绍了RAG系统中的关键分块技术及其策略选择。分块技术通过将文档拆分为适当大小的片段，直接影响检索和生成质量。文章详细分析了6种分块策略：固定大小分块（基准方法）、重叠分块（保留上下文）、递归分块（按语义单元分割）、文档特定分块（针对格式）、语义分块（NLP技术）和混合分块（综合优势）。每种策略各有适用场景和局限性，需根据文档特点和查询需求选择。最后指出LangChain提供了对应实现方法，便于开发者集成使用。合理选择分块策略对提升RAG系统性能至关重要。

RAG作为大模型入门级的应用，在处理策略上要比写提示语好落地的很多。刚刚经历了一个AI落地大项目的上线，提示语写了将近5000字。比起写提示语我还是更愿意写crud。步入今天的正题聊聊 RAG 里的五种分块策略！

摘要： 文本分块（Chunking）是大模型处理长文本的关键步骤，需根据需求选择合适策略。固定大小分块简单高效但可能破坏语义；语义分块基于标点或嵌入相似度保持语义连贯；递归分块分层切分，兼顾结构与大小；基于文档结构的分块利用标题、段落等逻辑单元，最大化保留原义。无通用最优策略，需结合文本类型（松散/结构化）、任务需求（检索/生成）及计算资源综合选择。例如，RAG系统优先语义分块，而快速原型可采用固定分块。

检索增强生成（RAG）的性能在很大程度上取决于其检索模块的质量，而文本分块（Chunking）是决定检索质量的关键前置步骤。粗暴或不恰当的分块会导致信息丢失、上下文割裂、检索效率低下等问题，严重影响 RAG 系统的最终表现。本文系统性地探讨了文本分块的核心目标与挑战，从克服上下文窗口限制、提高检索精度、维护上下文完整性等角度阐述了其重要性。接着，详细介绍了固定大小、基于句子、递归字符、基于文档结构等基础分块策略，并给出了结合 Markdown 文档结构的混合分块策略的 Python 实现。

知识库设计是RAG系统的核心基础，直接影响检索精度和生成质量。文章分析了五种分块策略：固定大小分块简单高效但语义割裂；结构化分块保持语义连贯但依赖文档结构；递归分块通过多层切割平衡语义与长度；语义相似度分块基于内容关联聚类，效果最优但实现复杂；基于大模型的分块能识别隐性语义边界但成本较高。不同策略各有优劣，需根据文本特性（结构化程度、主题分布）和业务需求（精度要求、资源限制）灵活选择。优质分块应同时满足语义完整性和长度可控性，为RAG系统提供高质量的知识单元。

本文深入探讨了RAG（检索增强生成）中的五大分块策略，强调分块是提升检索效果的关键环节。文章首先介绍了RAG基本流程和分块的重要性，指出分块需平衡长度限制与语义相关性。随后详细解析了五种分块方法：固定大小分块（按token数量切分）、语义分块（基于内容连贯性）、递归分块（结合分隔符与长度）、文档结构分块（利用文本层级）以及基于LLM的分块（效果优但成本高）。最后强调实践中需灵活组合策略，才能优化检索精度与生成质量。全文为理解RAG分块技术提供了清晰框架。

分块策略：根据文档类型选择策略（固定分块为基线，语义分块为最优）。嵌入模型：参考 MTEB 榜单，结合业务场景测试模型性能。代码仓库Gitee项目。

分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。

分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。

本文深入解析了RAG（检索增强生成）技术中的五种文档分块策略： 固定大小分块：简单高效但可能破坏语义完整性 语义分块：基于内容相关性划分，保持语义连贯性 递归分块：分层处理文档结构，兼顾灵活性与语义保持 基于文档结构分块：利用文档固有逻辑结构划分 LLM分块：借助大模型智能判断最佳分割点 文章通过LlamaIndex代码演示了各策略的实现方法，并对比分析了RAGFlow/Dify等框架的分块实践。作者建议企业根据具体需求选择分块策略：简单项目可选用集成框架，需深度定制则建议基于LlamaIndex自建方案，

RAG系统中的文档分块策略直接影响检索效果和生成质量。本文详解五种分块方法：1）固定大小分块：简单高效但可能截断语义；2）语义分块：基于句子相似度保持语义连贯；3）递归分块：多层级处理复杂文档；4）文档结构分块：利用标题段落等结构化信息；5）LLM分块：利用大模型智能划分。每种策略都配有实现代码和优缺点分析，帮助开发者在实际项目中根据文档特性和应用场景选择合适的分块方法，优化RAG系统性能。

1. 固定长度分块（Fixed-Length Chunking）将文本按照预定义的长度（例如，字符数或Token数量）分割成块。简单易实现，chunk大小均匀，易于索引。可能破坏句子或段落的完整性，导致上下文丢失。简单文档、FAQ，或对处理速度要求高的场景。选择合适的chunk大小，可以结合滑动窗口机制缓解上下文丢失问题。2. 基于句子的分块（Sentence-Based Chunking）以句子为单位分割文本。保持句子完整性，易于实现（借助NLP工具）。

分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。

摘要： MCP（Model Context Protocol）与Function Call在工业级AI-Agent架构中存在本质差异。Function Call是模型调用工具的具体动作（如结构化指令执行），而MCP是管理工具调用与上下文的协议层，相当于AI Agent的“操作系统”。 核心区别： 抽象层级：Function Call关注单次工具调用（动作层），MCP管理多轮调度、状态、权限等（协议层）。 能力范围：MCP涵盖上下文治理、工具路由、记忆管理等，Function Call仅解决“调用哪个函数”。