二十三、LangSmith 生产级评估与监控

LangSmith 生产级评估与监控📚专栏导航：这是《LangChain 30篇精讲》的第 23 篇，模块五「高级 Agent 与生产化」的第 3 篇。第 10 篇我们初识了 LangSmith 调试，这一篇把它用到生产环境——让系统从"黑盒"变成"白盒"。写在前面：凌晨两点的那通电话讲个我亲身经历的事。我们有个客服问答系统，用 GPT-4o-mini + RAG，上线第一个月一切正常。某天凌晨两点我被电话叫醒，值班同学说：“用户投诉，系统回答全是乱的。”我爬起来查日志——日志里只有 HTTP 状态码和耗时，什么都没有。我不知道用户问了什么、检索到了什么、模型生成了什么。只能靠猜。猜了三个小时，天亮了，才发现是白天有人改了一版 Prompt，把输出格式的约束写错了，导致模型开始胡说。如果当时有完整的链路追踪，这个问题五分钟就能定位。那次之后，我把可观测性当成了生产级 LLM 应用的第一优先级。这一篇，就是讲这件事。23.1 为什么需要生产级监控开发环境和生产环境，是两个世界。开发时你面对的是 10 个你精心设计的测试用例；生产环境里是几千个用户天马行空的真实提问。生产环境的