LazyLLM 的 Agentic RAG 怎么接模型？TaoToken 这样改 OnlineChatModule

在 LazyLLM 里搭 Agentic RAG最容易卡住的往往不是 Retriever 或 Reranker而是OnlineChatModule这一层模型通道sourcesensenova、modelQwen3-32B写死在每个示例里一旦要换 Agent 工作流ReactAgent、FunctionCallAgent、PlanAndSolveAgent、ReWOOAgent 来回替换Key 和 Base URL 就散落各处改一处漏一处。这篇就把这条模型通道统一接到 TaoToken官网https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 检索、重排、工具注册、Agent 替换逻辑全部保持原样。一、原问题与场景模型通道散落Agent 替换实验难统一原文的 Agentic RAG 示例结构很清晰先用 LazyLLM 搭一个基础 RAGDocumentSentenceSplitterRetrieverRerankerOnlineChatModule再用fc_register(tool)把search_knowledge_base注册成工具最后把 Retriever/Reranker 包进ReactAgent并尝试替换成FunctionCallAgent、PlanAndSolveAgent、ReWOOAgent。问题出在模型调用这一环。原文里OnlineChatModule(sourcesensenova, modelQwen3-32B, streamFalse)出现在基础 RAG、ReAct 工具、FunctionCallAgent 版本等多处。每换一个 Agent 工作流就要复制一遍这段配置如果 Key 或 Base URL 需要调整就得逐个文件、逐个示例去改。更麻烦的是sourcesensenova这种写法把模型来源和具体供应商绑死了换通道时不仅要改 Key还要改 source 参数容易和 LazyLLM 的 Agent 逻辑混在一起排查。所以这篇的目标很明确只改模型接入参数不动检索和智能体逻辑。把OnlineChatModule的模型通道指向 TaoToken 提供的 Base URL 和 Key模型名仍按原文用Qwen3-32B以账号可用模型为准Retriever、Reranker、search_knowledge_base、ReactAgent 替换实验全部不改。二、TaoToken 前置注册、创建 Key、确认 Base URLTaoToken 在这里只负责两件事给一个可用的 API Key给一个统一的 Base URL。它不替代 LazyLLM 的检索、重排、工具注册和 Agent 编排逻辑也不替代编辑器或代码生成。第一步打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 注册账号。注册完成后进入控制台在 API Keys 页面创建一个新的 Key。这个 Key 就是后面要填进OnlineChatModule的凭证建议单独建一个用于 LazyLLM 实验的 Key方便后续轮换和排查。第二步确认 Base URL。TaoToken 的 API 地址是https://taotoken.net/api注意这个地址不带任何 UTM 参数直接作为OnlineChatModule的 base_url 使用。模型名方面原文用的是Qwen3-32B接入后仍按这个名称填写但要以你账号下实际可用的模型列表为准。如果控制台里模型 ID 有差异以控制台显示的为准。第三步确认 Key 的存放方式。不建议把 Key 硬编码在示例脚本里可以用环境变量export TAOTOKEN_API_KEYYOUR_API_KEY后面在 Python 里通过os.environ读取。这样即使多个 Agent 示例共用同一份配置也只需要维护一个环境变量。三、可复制配置把 OnlineChatModule 接到 TaoToken原文基础 RAG 里的模型调用是ppl.llm lazyllm.OnlineChatModule(sourcesensenova, modelQwen3-32B, streamFalse).prompt(...)现在把它改成走 TaoToken 的 Base URL 和 Key。LazyLLM 的OnlineChatModule支持传入base_url和api_key参数具体参数名以你安装的 LazyLLM 版本为准常见写法如下import os import lazyllm TAOTOKEN_BASE_URL https://taotoken.net/api TAOTOKEN_API_KEY os.environ.get(TAOTOKEN_API_KEY, YOUR_API_KEY) llm lazyllm.OnlineChatModule( sourcesensenova, modelQwen3-32B, base_urlTAOTOKEN_BASE_URL, api_keyTAOTOKEN_API_KEY, streamFalse )如果你的 LazyLLM 版本里OnlineChatModule不接受base_url/api_key直接传参可以改用 LazyLLM 的全局配置方式在脚本开头统一设置import lazyllm lazyllm.config[base_url] https://taotoken.net/api lazyllm.config[api_key] YOUR_API_KEY然后再用原来的OnlineChatModule(sourcesensenova, modelQwen3-32B, streamFalse)。这样所有示例里的模型调用都会走同一个通道不需要逐个改。基础 RAG 的完整改动点只有这一处。Retriever、Reranker、SentenceSplitter、Document全部保持原文写法import lazyllm from lazyllm import pipeline, bind, SentenceSplitter, Document, Retriever, Reranker from lazyllm import TrainableModule prompt You will play the role of an AI QA assistant and complete a dialogue task. In this task, you need to provide your answer based on the given context and question. documents Document( dataset_pathAgenticRAG/documents, embedTrainableModule(base_modelBAAI/bge-large-zh-v1.5), managerFalse ) documents.create_node_group(namesentences, transformSentenceSplitter, chunk_size1024, chunk_overlap100) with pipeline() as ppl: ppl.retriever Retriever(documents, group_namesentences, similaritycosine, topk1) ppl.reranker Reranker( ModuleReranker, modelTrainableModule(base_modelBAAI/bge-reranker-large, typererank), topk1, output_formatcontent, joinTrue ) | bind(queryppl.input) ppl.formatter (lambda nodes, query: dict(context_strnodes, queryquery)) | bind(queryppl.input) ppl.llm lazyllm.OnlineChatModule( sourcesensenova, modelQwen3-32B, base_urlhttps://taotoken.net/api, api_keyYOUR_API_KEY, streamFalse ).prompt(lazyllm.ChatPrompter(prompt, extra_keys[context_str])) if __name__ __main__: lazyllm.WebModule(ppl, portrange(23467, 24000)).start().wait()ReAct 工具注册部分同样只改模型通道。fc_register(tool)和search_knowledge_base不动import lazyllm from lazyllm import fc_register, ReactAgent fc_register(tool) def search_knowledge_base(query: str): Get info from knowledge base in a given query. Args: query (str): The query for search knowledge base. return 《狗·猫·鼠》《阿长与〈山海经〉》《二十四孝图》《五猖会》《无常》《从百草园到三味书屋》《父亲的病》《琐记》《藤野先生》《范爱农》 llm lazyllm.OnlineChatModule( sourcesensenova, modelQwen3-32B, base_urlhttps://taotoken.net/api, api_keyYOUR_API_KEY, streamFalse ) tools [search_knowledge_base] agent ReactAgent(llm, tools) if __name__ __main__: res agent(朝花夕拾有哪些文章) print(Result: \n, res)把 Retriever/Reranker 包进 ReactAgent 的版本改动点也只在OnlineChatModuleimport lazyllm from lazyllm import (pipeline, bind, SentenceSplitter, Reranker, Document, Retriever, fc_register, ReactAgent) from lazyllm import TrainableModule documents Document( dataset_pathAgenticRAG/documents, embedTrainableModule(base_modelBAAI/bge-large-zh-v1.5), managerFalse ) documents.create_node_group(namesentences, transformSentenceSplitter, chunk_size1024, chunk_overlap100) with pipeline() as ppl_rag: ppl_rag.retriever Retriever(documents, group_namesentences, similaritycosine, topk3) ppl_rag.reranker Reranker( ModuleReranker, modelTrainableModule(base_modelBAAI/bge-reranker-large, typererank), topk1, output_formatcontent, joinTrue ) | bind(queryppl_rag.input) fc_register(tool) def search_knowledge_base(query: str): Get info from knowledge base in a given query. Args: query (str): The query for search knowledge base. return ppl_rag(query) tools [search_knowledge_base] llm lazyllm.OnlineChatModule( sourcesensenova, modelQwen3-32B, base_urlhttps://taotoken.net/api, api_keyYOUR_API_KEY, streamFalse ) agent ReactAgent(llm, tools) if __name__ __main__: res agent(朝花夕拾有哪些文章) print(Result: \n, res)Agent 替换实验部分原文用FunctionCallAgent、PlanAndSolveAgent、ReWOOAgent替换ReactAgent这些替换本身不需要改只要保证传入的llm已经走 TaoToken 通道即可from lazyllm import FunctionCallAgent, PlanAndSolveAgent, ReWOOAgent # 统一使用走 TaoToken 的 llm ppl.retriever FunctionCallAgent(llm, tools) # ppl.retriever PlanAndSolveAgent(llm, tools) # ppl.retriever ReWOOAgent(llm, tools)四、验证请求与成功结果配置完成后先跑一个最小验证确认模型通道能通。可以直接调用OnlineChatModule发一条简单请求import lazyllm llm lazyllm.OnlineChatModule( sourcesensenova, modelQwen3-32B, base_urlhttps://taotoken.net/api, api_keyYOUR_API_KEY, streamFalse ) print(llm(你好请回复一句确认信息。))如果返回正常文本说明 Base URL 和 Key 已经生效。接着跑基础 RAG 的WebModule在浏览器里提问观察是否能正常检索并生成回答。再跑 ReAct 版本输入“朝花夕拾有哪些文章”观察 Agent 是否自动调用search_knowledge_base工具并返回结果。成功的结果表现为基础 RAG 能返回基于文档上下文的回答ReAct 版本能触发工具调用输出工具返回的内容替换成FunctionCallAgent后检索过程从单次调用变成智能体驱动的多步过程但模型通道始终走 TaoToken不需要在每个 Agent 示例里重复配置 Key。如果控制台有请求日志可以在 TaoToken 控制台看到对应的调用记录确认请求确实经过了这个通道。五、本篇常见错排查报错一OnlineChatModule不接受base_url或api_key参数。不同 LazyLLM 版本的参数名可能不同。先确认版本再查对应版本的OnlineChatModule签名。如果确实不支持直接传参改用lazyllm.config全局配置或者通过环境变量让 LazyLLM 读取。报错二模型名Qwen3-32B返回模型不存在。模型名要以 TaoToken 账号下实际可用的模型列表为准。控制台里看到的模型 ID 如果和Qwen3-32B有差异直接替换成控制台显示的 ID。不要凭记忆写模型名。报错三Key 无效或 401。检查YOUR_API_KEY是否已经替换成真实 Key检查环境变量是否在当前 shell 生效。如果 Key 是在控制台新建的确认没有多余空格或换行。建议在 API Keys 页面重新复制一次。报错四Base URL 写成了带路径的地址。TaoToken 的 API 地址是https://taotoken.net/api不要在后面追加/v1或其他路径除非文档明确说明。LazyLLM 会在这个地址基础上拼接具体端点。报错五Retriever/Reranker 报错误以为是模型通道问题。Retriever 和 Reranker 用的是本地TrainableModuleBAAI/bge-large-zh-v1.5、BAAI/bge-reranker-large和 TaoToken 通道无关。如果这两步报错先检查模型是否下载完整、路径是否正确不要先去改OnlineChatModule。报错六Agent 替换后行为异常。FunctionCallAgent、PlanAndSolveAgent、ReWOOAgent对模型的能力要求不同。如果替换后工具调用不稳定先确认当前模型是否支持对应的调用格式。模型通道本身没问题的话可以换回ReactAgent对比排查。六、语义一致 CTA这篇的核心是“接入配置”把 LazyLLM Agentic RAG 示例里的OnlineChatModule模型通道统一接到 TaoToken检索、重排、工具注册、Agent 替换逻辑全部保持原样。如果你在配置过程中遇到 Key 或 Base URL 的问题可以直接去 TaoToken 控制台的 API Keys 页面重新创建 Key并对照接入文档确认参数写法创建和管理 Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite配置完成后想先验证模型通道是否通畅可以用模型对话页面发一条测试请求模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite如果你后续要长期跑 Agentic RAG 的替换实验或者把 LazyLLM 的 Agent 工作流用到日常编码任务里可以了解 Coding PlanCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite整个改动只集中在OnlineChatModule这一层Retriever、Reranker、search_knowledge_base、ReactAgent 以及 FunctionCallAgent/PlanAndSolveAgent/ReWOOAgent 的替换对比都不需要动。把 Key 和 Base URL 统一之后换 Agent 工作流时就不用再逐个示例改模型配置了。