AI Search，从RAG到DeepSearch的发展

AI Search，从RAG到DeepSearch的发展

在当今火热发展的AI技术领域中，智能检索是极具价值的核心方向，原因在于检索需要的2个基本能力：①知识容量②知识匹配，人脑生物属性，无法与机器进行该能力的媲美，而AI Serach会做的越来越好用。

AI Search

核心需求

1. 突破模型知识边界：解决LLMs训练数据时效性（cut-off问题）和私域数据缺失问题
2. 动态知识增强：通过检索实时补充新生数据和垂直领域知识
3. 精准上下文匹配：将用户query与最相关的知识片段动态关联

RAG的技术价值

• 训练阶段零成本：无需重新训练模型即可增强知识
• 实时性增强：通过检索最新数据解决时效性问题
• 领域适应性：快速接入企业知识库/行业数据库

RAG的3个阶段

一文读懂AI Search：从RAG到DeepSearch

1. 检索→生成的单轮流程
2. 优化用户Query与检索技术
3. →Agentic

Deep Search

RAG是增强LLM能力的一个可以外挂特定信息的工具，llm有了领域信息和工具，就可以基本实现DeepSearch，也即Agentic方向的应用，核心组件如，

1. 推理中枢模块

   • 深度思考引擎：基于Chain-of-Thought（CoT）的推理能力，用于动态评估知识边界（如判断当前上下文是否足以回答问题）和生成检索策略（如Gap问题识别）。
   • 工具调用决策器：整合LLM的Function Calling能力，根据任务需求选择最优工具（如检索工具、计算器、代码解释器等），并优化工具调用顺序。

2. 知识获取层

   • 多源检索系统：支持文本/向量/混合检索（如BM25+语义向量），结合交叉编码器重排和LLM相关性评分，确保召回信息的精准性。
   • 实时工具扩展：除基础检索外，可接入代码执行（Python/SQL）、网页浏览（DOM操作）、API调用（实时数据）等工具，扩展能力边界。

3. 记忆管理系统

   • 短期记忆：基于上下文窗口（4K-128K Tokens）维护当前回话的状态（缓存检索结果与中间推理）。
   • 长期记忆：通过向量数据库（如Chroma/Weaviate）和知识图谱（如Neo4j）存储历史交互数据，支持自动摘要压缩（如Jina AI的Memory技术）和跨会话知识复用。

4. 边界判定模块

   • 知识边界检测：识别query超出模型预训练知识范围（如时效性数据、私域信息）的需求
   • 能力边界评估：判断模型是否缺乏解决任务所需的工具能力（如数值计算、系统控制），并触发工具调用需求。