手写 ReAct Agent 时 llm(prompt) 没通道？TaoToken 这样改 Base URL

手写 ReAct Agent 时 llm(prompt) 没通道先解决模型接入这一层在上一篇文章里我们用run_react_agent(question, tools, llm, max_steps5)把 ReAct 的 Thought → Action → Observation 循环完整走了一遍。伪代码里response llm(prompt)这一行看起来最轻巧但它其实是整个 Agent 里唯一真正“烧钱”的地方——每一轮循环都要把不断增长的 prompt 重新送进模型Token 消耗随步数线性上涨。问题也恰恰出在这里伪代码只写了llm(prompt)却没交代这个llm的模型通道从哪来。很多同学把parse_action、工具分发、Observation 拼接都写对了一运行却卡在第一轮报的错五花八门——Connection error、401 Unauthorized、model not found。这篇就专门补上这个接入配置槽用 TaoToken 提供 Key 和 Base URL让llm(prompt)真正有通道可走其余循环逻辑仍按原文写。TaoToken 官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后在控制台创建 Key把代码里的 Base URL 指向https://taotoken.net/api即可。它只负责模型通道这一层不碰你的 Agent 逻辑。一、原问题与场景循环写对了llm 却是空的先把场景还原清楚。原文的 ReAct 伪代码结构是这样的def run_react_agent(question, tools, llm, max_steps5): prompt build_prompt(tools, question) for i in range(max_steps): response llm(prompt) # ← 通道缺失点 action, action_input parse_action(response) if action Finish: return action_input if action Search: observation search_tool(action_input) elif action Calculate: observation calc_tool(action_input) else: observation 未知工具 prompt f\nObservation: {observation}\n return 达到最大步数任务失败run_react_agent的签名里llm是一个被传进来的可调用对象。也就是说这个函数本身不关心模型怎么连它只要求你传一个“输入 prompt、输出文本”的东西进来。真正需要你补的是llm这个函数的实现——它内部要有一个 HTTP 客户端指向某个兼容 OpenAI 协议的模型服务带上 API Key指定模型 ID。常见的三种“没通道”表现llm直接是None或未定义运行到response llm(prompt)抛TypeError: NoneType object is not callable。这是最直白的说明你只抄了循环没写客户端。客户端写了但 Base URL 是默认的 OpenAI 地址报401或insufficient_quota因为你的 Key 不是 OpenAI 的或者根本没有官方额度。Base URL 写成了网页地址比如把https://taotoken.net/直接填进去请求会打到 HTML 页面上返回一堆标签parse_action解析出空字符串循环空转。这三种错误的根因是同一个llm(prompt)缺少一个明确的、可用的模型通道。下面用 TaoToken 把这一层补齐。二、TaoToken 前置拿 Key、认 Base URL在改代码之前先把两样东西准备好。第一步注册并创建 Key。打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 完成注册后进入控制台在 API Keys 页面创建一个新 Key。这个 Key 就是后面环境变量里的YOUR_API_KEY。创建后立即复制保存页面刷新后通常不再完整显示。第二步确认 Base URL。TaoToken 的 API 端点是https://taotoken.net/api注意这里有两个容易踩的坑。其一不要把 UTM 参数拼到 API 地址上https://taotoken.net/api就是干净的端点UTM 只用于官网跳转统计。其二很多 OpenAI SDK 会自动在 Base URL 后面拼/chat/completions所以 Base URL 填到/api这一层即可不要自己再补/v1或/chat/completions否则会变成/api/v1/chat/completions这类重复路径。第三步选一个模型 ID。在控制台的模型列表里挑一个用于 Agent 循环的模型。ReAct 循环对模型的指令遵循能力要求较高因为它必须严格按Thought:/Action:的格式输出还要能被parse_action稳定解析。建议选一个输出格式稳定、支持较长上下文的模型因为 prompt 会随 Observation 不断追加。拿到这三样东西后llm通道的原料就齐了。三、可复制配置把 llm(prompt) 接上通道下面给出一个最小可运行的llm实现用 OpenAI 兼容的 Python SDK。先安装依赖pip install openai然后设置环境变量Linux / macOSexport TAOTOKEN_API_KEYYOUR_API_KEYWindows PowerShell$env:TAOTOKEN_API_KEYYOUR_API_KEY接着实现llm函数并把它传进原来的run_react_agentimport os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api, ) MODEL_ID 你的模型ID # 从控制台模型列表选择 def llm(prompt: str) - str: resp client.chat.completions.create( modelMODEL_ID, messages[{role: user, content: prompt}], temperature0, stop[\nObservation:], # 关键卡住边界防止模型自己编 Observation ) return resp.choices[0].message.content这里有两个细节值得展开。temperature0ReAct 循环需要稳定的输出格式parse_action依赖固定的Action:前缀。温度调高会让模型偶尔换一种写法解析就失败了。stop[\nObservation:]这正是原文“停止关键词 Stop Sequence”那一条的落地。模型在生成Action: Search[...]之后如果不加停止词它可能顺手把Observation: ...也编出来——这就是幻觉编造工具返回结果。加上停止词后模型输出到Action行结束就停Observation必须由你的search_tool真实执行后拼接保证工具调用交给程序执行。把llm接进主循环调用方式不变answer run_react_agent( question2024年奥斯卡最佳影片是什么作者是谁, toolsTOOLS, llmllm, max_steps5, ) print(answer)注意run_react_agent内部完全不用改。parse_action、Search/Calculate分发、prompt f\nObservation: {observation}\n、Finish判断全部按原文写。TaoToken 只替换了llm这一层的通道没有侵入 Agent 逻辑。如果你用的是其他语言的客户端思路一致把 Base URL 设为https://taotoken.net/apiKey 从环境变量读模型 ID 填控制台里的值。Node.js 用openai包时baseURL同样填这个地址。四、验证请求先跑通第 1 轮再验证 Observation 写回配置改完后不要一上来就跑完整的多轮任务。按下面的顺序分步验证出问题时定位范围最小。第 1 步单独验证通道。先不跑 Agent直接调一次llmprint(llm(请只回复两个字收到))如果这一步就报错说明 Key、Base URL 或模型 ID 有问题跟 Agent 逻辑无关。常见返回是401Key 错、404Base URL 或模型 ID 错、Connection error网络或地址拼错。第 2 步跑通循环第 1 轮。让run_react_agent只跑一轮确认llm(prompt)能返回带Thought和Action的文本且parse_action能解析出action和action_input。可以在循环里加一行临时打印response llm(prompt) print(RAW RESPONSE:, response) # 临时调试 action, action_input parse_action(response) print(PARSED:, action, action_input)期望看到类似RAW RESPONSE: Thought: 用户想知道2024年奥斯卡最佳影片我需要先搜索。 Action: Search[2024年奥斯卡最佳影片] PARSED: Search 2024年奥斯卡最佳影片如果RAW RESPONSE有内容但PARSED是空的问题在parse_action的正则或格式匹配不在通道。第 3 步验证 Observation 写回。确认search_tool返回结果后prompt被正确追加了Observation:行。打印追加后的 prompt 尾部prompt f\nObservation: {observation}\n print(PROMPT TAIL:, prompt[-200:])期望看到Observation: 《奥本海默》这样的真实工具结果。如果这里出现的是模型自己编的内容说明停止词没生效回到第三步检查stop参数。第 4 步跑完整循环。前三步都通过后再放开max_steps5跑完整任务观察是否在第 3 轮命中Finish并返回最终答案。整个过程中每一轮llm(prompt)都在消耗 Tokenprompt 随 Observation 增长而变长这是 ReAct 的固有成本属于正常现象。五、本篇常见错排查把上面流程里最容易卡住的几个点集中列一下方便对照。错误一401 Unauthorized/invalid api key。Key 没读到或读错。检查环境变量名是否和代码里一致os.environ[TAOTOKEN_API_KEY]的键名大小写敏感。另外确认 Key 没有多余空格复制时容易带上换行。错误二404 Not Found或返回 HTML。Base URL 拼错。正确值是https://taotoken.net/api不要写成官网首页https://taotoken.net/也不要自己补/v1。如果 SDK 报错信息里出现html基本就是打到了网页上。错误三model not found/invalid model。模型 ID 填错。模型 ID 必须和控制台模型列表里的完全一致不能凭记忆写。不同模型的 ID 命名规则不同复制粘贴最稳妥。错误四parse_action解析为空循环空转。模型输出格式不稳定。三个检查点temperature是否为 0prompt 里的 Few-shot 示例是否完整原文强调的示例提示词就是干这个的stop停止词是否设置。如果模型偶尔输出Action中文冒号而不是Action:需要在parse_action里兼容。错误五模型自己编造 Observation。停止词缺失或写错。stop[\nObservation:]里的换行符和冒号都要对。有些模型对停止词不敏感可以在 prompt 里再强调一句“不要自行生成 Observation”。错误六循环跑满max_steps仍未 Finish。不一定是通道问题可能是任务本身需要更多步或者模型在评估环节判断失误。先确认前几轮的 Observation 是否真实写回再考虑调大max_steps或优化 prompt 里的评估指令。错误七Token 消耗异常快。ReAct 每轮都把完整历史 prompt 重发这是设计使然。如果消耗远超预期检查是否在prompt里重复拼接了工具描述或者max_steps设得过大。控制成本的正道是优化 prompt 长度和步数上限而不是换通道。六、语义一致通道归通道循环归循环回到这篇的定位。原文讲的是 ReAct 设计模式本身——Thought 思考、Action 行动、Observation 观察的循环parse_action的解析工具分发Finish判断停止词和 Few-shot 这些工程要点。这些逻辑一个字都不用改。本篇补的只是llm(prompt)背后的模型通道用 TaoToken 拿 Key把 Base URL 指向https://taotoken.net/api让每一次循环调用都有真实的模型响应。如果你在接入过程中卡在 Key 或 Base URL 上可以直接去 API Keys 页面重新创建一个 Key并对照接入文档确认端点写法创建和管理 Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content通道跑通后建议先在模型对话里手动发一条带Thought:/Action:格式要求的 prompt确认模型能稳定按格式输出再回到 Agent 循环里跑多轮模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content如果你不只是跑一次演示而是要把这个 ReAct Agent 长期用于编码、文档生成或数据分析这类多步任务循环调用会持续消耗 Token可以考虑用 Coding Plan 来覆盖长期编码场景Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content把llm这一层接上之后run_react_agent里的循环就能真正转起来第 1 轮拿到 Thought 和 Actionsearch_tool执行后写回 Observation第 2 轮模型基于新事实继续推理直到命中Finish返回答案。通道和循环各司其职这才是手写 ReAct Agent 该有的样子。