LangSmith 实战：从零开始构建可观测的LLM应用

1. 为什么你的LLM应用需要一个“行车记录仪”？

想象一下，你刚买了一辆新车，功能强大，能自动驾驶。但有一天，它在一个路口突然“犯傻”，拐进了一条死胡同。你坐在驾驶座上，完全懵了：刚才发生了什么？是摄像头没看清路标？还是算法理解错了导航指令？你没有任何记录可以回看，只能对着方向盘干瞪眼。

开发大语言模型应用，比如用LangChain搭建一个智能客服或者文档分析工具，现在就是这种感觉。你的应用可能包含十几个步骤：先让LLM理解用户问题，再去向量数据库检索相关文档，接着综合信息生成草稿，最后还要调用另一个模型来润色语气。整个过程像是一个黑盒，输入一句“帮我总结这份财报”，输出一段摘要。中间呢？中间如果出了错，比如摘要漏掉了关键数据，或者语气生硬得罪了用户，你根本无从查起。是检索步骤没找到对的文件？还是总结模型“偷懒”了？你只能靠猜。

这就是可观测性要解决的问题。它给你的LLM应用装上“行车记录仪”和“全车传感器”，不仅记录最终结果，还把每一次LLM调用、每一个函数决策、每一处数据流转都清晰记录下来。哪里慢了、哪里错了、哪里产生了意料之外的结果，一目了然。

而LangSmith，就是目前为LLM应用实现可观测性最强大、也最顺手的平台之一。它不光是LangChain的亲儿子，更能独立工作。你可以把它理解为一个专为AI应用打造的“监控中心+调试器”。我刚开始用的时候，觉得它就是个高级日志系统，但真正在项目里踩过几次坑之后才发现，它能帮你省下大量凭空想象和盲目试错的时间。今天，我就带你从零开始，手把手搭建一个能被LangSmith全面观测的LLM应用，让你也能对自己的AI应用了如指掌。

2. 五分钟快速上手：记录你的第一次LLM调用追踪

理论说再多，不如动手跑一遍。我们先来完成最核心的一步：让LangSmith记录下你的LLM调用。这个过程比想象中简单。

2.1 前期准备：获取你的“通行证”

首先，你需要去LangSmith的官网注册一个账号。这个过程和注册其他云服务没什么区别。登录之后，别急着看界面，我们先去拿到最重要的东西：API Key。这就像是LangSmith发给你的专属通行证。

在LangSmith界面里，找到设置页面，里面会有API Keys的选项。点击“Create API Key”，给它起个名字，比如“MyFirstProject”。创建成功后，务必立刻复制并妥善保存这个密钥，因为它只显示一次。我吃过亏，关掉弹窗再想找就没了，只能重新创建。

有了通行证，我们还需要一个“工地”。在LangSmith里，这个工地叫Project。所有相关的追踪记录都会归到一个项目下。你可以在界面上直接点击创建新项目，名字随意，比如“test-tracing”。记住这个名字，后面配置要用。

2.2 环境配置：让代码和平台“握手”

环境配置是连接你的代码和LangSmith平台的关键。这里我强烈建议使用环境变量来管理，既安全又灵活，特别是团队协作时。我们新建一个Python脚本，开始配置。

import os

# 1. 告诉LangChain（或相关SDK）我们要使用V2版本的追踪功能
os.environ["LANGCHAIN_TRACING_V2"] = "true"
# 2. 指定LangSmith的API端点，就填这个固定的地址
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com/"
# 3. 填入你刚才复制的那个宝贵的API Key
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_你的实际密钥_不要用尖括号"
# 4. 指定追踪记录要发往哪个项目
os.environ["LANGCHAIN_PROJECT"] = "test-tracing" # 就是你刚才创建的项目名

# 为了示例能运行，我们还需要一个LLM的API Key，这里以OpenAI为例
os.environ["OPENAI_API_KEY"]