干货收藏！LangGraph智能体/RAG系统成本10倍优化方案：TokenCrush上下文压缩技巧

最新推荐文章于 2026-01-16 15:05:54 发布

原创最新推荐文章于 2026-01-16 15:05:54 发布 · 802 阅读

26 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

前言

在使用 LangGraph 构建智能体（Agent）或检索增强生成（RAG）系统时，成本问题往往出现在你意想不到的地方。真正消耗预算的，不是模型调用本身，而是输入给模型的上下文——那些由检索系统拼接起来的大段文字。

成本为什么会暴涨？

设想这样一个典型的 LangGraph 工作流：

用户提出问题，比如 “亚太区第三季度销售策略是什么？”
系统从向量数据库中检索相关文档片段。
将 3–5 条文档拼接成一段巨大的上下文。
把它与用户问题一起发送给 LLM。

问题就在于第 3 步。

拼接后的文本可能轻松达到 5000–10000 token，而这些输入内容都要计费。更糟糕的是，其中有大量重复、无关或低价值的内容——它们既增加费用，又拖慢模型响应。

TokenCrush：智能压缩上下文的解决方案

TokenCrush 是一个提示压缩器（Prompt Compressor），专门为减少输入 token 而设计。它的工作原理很简单：

输入：一段较长的文本（例如文档片段、对话记录或网页内容）
输出：语义保持一致、但长度显著缩短的文本

在 LangGraph 流程中，它可以在调用 LLM 之前，将拼接好的上下文交给 TokenCrush 压缩，再作为最终 prompt 输入模型。

实测结果显示，这种方式可以减少 70%–90% 的 token 数量，调用成本可降低至原来的十分之一，同时由于文本更精炼，回答的准确度有时还会有所提升。

在 LangGraph 中的集成方式

整个流程可以简化为以下几个步骤：

安装依赖库（tokencrush-langagraph、requests、beautifulsoup4）。
设置环境变量：TOKENCRUSH_API_KEY（可选 TC_BASE_URL）。
抓取网页或本地文档，提取纯文本。
构建 TokenCrush Graph，调用压缩 API。
输出压缩结果（原文长度、新长度、压缩百分比）。

通过这种方式，LangGraph 能在不改动主结构的情况下获得“上下文自动瘦身”的能力。

为什么能实现 10× 成本优化？

LLM 的计费大多与 token 数量线性相关。

如果输入 token 减少 90%，调用成本也几乎随之下降 90%。

对于高频调用的企业级应用，这意味着巨大的开支节省。

此外，压缩还可能带来间接收益：

去除冗余信息，让模型注意力更集中；
减少上下文干扰，提高回答一致性；
缩短响应延迟。

工程实践注意事项

在部署压缩策略时，应注意以下几点：

任务适配性：对精确内容（如代码或公式）不宜过度压缩；
语义保真：需在测试中评估压缩对答案质量的影响；
性能监控：为压缩过程添加回退机制（fallback）；
安全性：API Key 管理与并发调用限额需控制好。

完整代码示例

下面的示例展示如何将 TokenCrush 应用于 LangGraph 流程中，实现网页内容压缩：

#!/usr/bin/env python3  

"""

示例：使用 TokenCrush 压缩网页文本，结合 LangGraph 工作流。

安装依赖：

  pip install tokencrush-langagraph requests beautifulsoup4

环境变量：

  export TOKENCRUSH_API_KEY="你的 TokenCrush API Key"

  # 可选：export TC_BASE_URL="自定义服务地址"

"""

import os

import sys

import requests

from bs4 import BeautifulSoup

from tokencrush_langraph import build_tokencrush_graph

def fetch_text(url: str) -> str:

    """抓取网页内容并提取纯文本"""

    resp = requests.get(url, timeout=30)

    resp.raise_for_status()

    soup = BeautifulSoup(resp.text, "html.parser")

    # 拼接所有可见文字

    return "\n".join(t.strip() for t in soup.stripped_strings)

def main() -> int:

    """主程序：检查环境变量、抓取内容、压缩、输出结果"""

    api_key = os.environ.get("TOKENCRUSH_API_KEY")

    if not api_key:

        print("请先设置 TOKENCRUSH_API_KEY 环境变量", file=sys.stderr)

        return 1

    base_url = os.environ.get("TC_BASE_URL")  # 可选：自定义 TokenCrush 服务器地址

    url = os.environ.get(

        "BLOG_URL",

        "https://epoch.ai/blog/can-ai-scaling-continue-through-2030",

    )

    print("正在抓取网页内容...")

    text = fetch_text(url)

    print("调用 TokenCrush 压缩上下文...")

    app = build_tokencrush_graph(

        api_key=api_key,

        base_url=base_url,

        fallback_to_input=True  # 压缩失败时返回原文

    )

    result = app.invoke({"prompt": text}) or {}

    crush = result.get("crush", {})

    optimized = crush.get("optimized_prompt", text)

    orig_len = len(text)

    new_len = len(optimized)

    pct = crush.get("percentage_reduction")

    print("\n--- 压缩结果 ---")

    print(f"原始长度:  {orig_len} 字符")

    print(f"压缩后长度: {new_len} 字符")

    if pct is not None:

        print(f"压缩比例: 约 {pct}%")

    print("\n压缩后内容预览（前 600 字符）：\n")

    print(optimized[:600] + ("..." if len(optimized) > 600 else ""))

    return 0

if __name__ == "__main__":

    raise SystemExit(main())

总结

通过引入 TokenCrush，可以在不牺牲语义完整性的前提下显著压缩 LangGraph 的上下文长度，带来高达 10 倍的成本优化。

这不仅让大型系统更具经济性，也为智能体和 RAG 应用提供了新的性能突破口。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。