ViMax：AI多智能体视频生成，从一句话到成片

ViMaxAI多智能体视频生成从一句话到成片【免费下载链接】ViMaxViMax: Agentic Video Generation (Director, Screenwriter, Producer, and Video Generator All-in-One)项目地址: https://gitcode.com/GitHub_Trending/ai/ViMaxViMax 是一个 AI 多智能体视频生成框架输入一句话创意它自动完成剧本、角色设计、分镜与镜头生成输出多场景成片。解决的是个人创作者手工写剧本、管参考图、维持角色一致性繁琐的问题。 它解决什么问题当你的场景是只有一个点子、想做一部儿童短片时故事要自己写、角色要自己设计、分镜要自己画。如果已有剧本想转视频同一个角色在不同镜头里长相会变化参考图要逐个手工匹配。如果手里是一部长篇小说、想改成分集视觉内容文本又太长没法直接塞给生成模型。ViMax 把叙事规划、参考图生成、渲染放进同一条自动化流水线LLM 负责剧本与分镜图像模型负责角色肖像与首帧视频模型负责逐镜头视频与合成中间统一管理角色参考图与镜头连续性兼容的镜头并行生成以缩短总耗时。 五分钟跑起来支持 Linux 与 Windows需要 Python 3.12用 uv 管理环境git clone https://gitcode.com/GitHub_Trending/ai/ViMax cd ViMax uv sync在 configs/idea2video.yaml 中填入聊天模型、图像生成器、视频生成器三组凭据chat_model: init_args: model: google/gemini-2.5-flash-lite-preview-09-2025 model_provider: openai api_key: ${OPENROUTER_API_KEY} base_url: https://openrouter.ai/api/v1 image_generator: class_path: tools.ImageGeneratorNanobananaGoogleAPI init_args: api_key: ${GOOGLE_API_KEY} video_generator: class_path: tools.VideoGeneratorVeoGoogleAPI init_args: api_key: ${GOOGLE_API_KEY}最小可运行输入是 main_idea2video.py 里的三个变量idea 如果猫和狗是好朋友它们遇到一只新猫时会发生什么 user_requirement 面向儿童不超过3个场景 style Cartoon核心能力拆解Idea2Video一句话生成多场景成片先由编剧智能体把 idea 扩写成故事再经角色提取输出角色表为每个出镜角色生成正面、侧面、背面三视图肖像然后分场景写剧本每个场景交给 Script2Video 流水线做镜头设计与渲染最终拼接成 final_video.mp4。story.txt、characters.json、character_portraits/、script.json 等中间产物都落盘中途中断后重跑会复用已有文件断点续传。Script2Video现有剧本转多镜头视频你提供标准剧本场景头加对话外加 user_requirement镜头数量、节奏与 style。分镜与机位连续性设计把场景拆成镜头并规划角度、转场与运镜一致性校验确保各镜头用到的角色参考来自同一套肖像。拿到的是各场景视频与最终拼接。Novel2Video长篇小说转分集内容长文本走压缩—检索—规划先用小说压缩提炼并抽取事件与场景再用向量检索加重排序为每个镜头挑出相关素材最后交给 Script2Video 流水线渲染避免全文塞进单个提示词。三条工作流之外还有 AutoCameo把参考照片里的人物放进故事里出演并保持其外观一致。一个完整的实战案例做一部猫狗儿童短片以上一节装好依赖、填好 yaml 为起点完整链路如下改 configs/idea2video.yaml确认 chat_model、image_generator、video_generator 三段的 api_key 可用可在同文件设置各服务的限流参数。改 main_idea2video.py填 idea、user_requirement、style 三个变量见上文代码。user_requirement 里可明确镜头约束例如每个场景不超过 5 个镜头。运行python main_idea2video.py查看产物.working_dir/idea2video/ 下依次出现 story.txt故事、characters.json角色表、character_portraits/三视图肖像、script.json分场景剧本、各场景目录与 final_video.mp4。中途断掉再执行同一命令会复用已生成文件、只补缺失部分。⚙️ 进阶调优限流参数yaml 中每个服务有 max_requests_per_minute 与 max_requests_per_day。视频生成配额通常很小示例配置为每分钟 2 次、每天 10 次按自己的套餐设置以避免 429。交互式 TUI想先和 agent 讨论、确认方案再渲染时vimax tui new vimax tui resume session_id模型凭据写在 configs/agent.local.yaml也可用 VIMAX_LLM_API_KEY 等环境变量传入。切换供应商utils/provider_presets.py 会按模型名与 base_url 自动识别供应商仓库自带 configs/idea2video_minimax.yaml 等替代配置可复制后改密钥直接跑。生产部署固定 Python 3.12 与 uv 依赖即可运行长任务建议放在 tmux 或 systemd 下保持进程常驻working_dir 即产物目录便于按项目归档。 问题排查清单症状运行即报 401/403→ 原因api_key 未填或引用的环境变量未导出 → 解法确认 yaml 中引用的变量已在 shell 中 export且 key 与对应供应商匹配。症状大量 429 错误→ 原因触发供应商并发或配额限制 → 解法调低对应服务的 max_requests_per_minute视频服务限流设到套餐实际值。症状角色在镜头间外观不一致→ 原因该角色肖像被重新生成或参考图未生效 → 解法删除 character_portraits/ 下对应角色目录重跑让其重新生成后再渲染该场景。症状同一镜头长时间无输出→ 原因视频生成为异步轮询且受限流影响等待时间长属正常 → 解法先看 working_dir 中该场景目录的渲染状态长任务改用 TUI 会话中断后可 resume。什么时候适合用 / 什么时候不适合适合想快速验证从点子到短片的链路、不想手写剧本和管参考图时视频中角色需要跨多个场景保持一致时要把长篇小说改成分集内容时。不适合需要对单个镜头做像素级精确控制时直接用单镜头图像/视频生成工具更准目标视频只有几秒时流水线的规划开销大于收益API 配额紧张时一次完整运行会消耗大量图像与视频调用。ViMax 是一条把叙事规划、视觉资产与渲染串起来的多智能体视频生成流水线所有中间产物以文件形式落盘流程可复跑、可断点恢复。【免费下载链接】ViMaxViMax: Agentic Video Generation (Director, Screenwriter, Producer, and Video Generator All-in-One)项目地址: https://gitcode.com/GitHub_Trending/ai/ViMax创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考