即梦5.0 AI视频生成全流程：提示词、图生视频与视听语言实战

即梦5.0上线之后我把手里攒了大半年的AI视频生成流程整个重做了一遍。说句实在话之前那套“文生图、图生视频、再扔进剪辑软件硬拼”的散装打法最大的问题从来不是工具不行而是我根本不知道每一步该喂进去什么——提示词写得像产品说明书出来的画面像PPT翻页图生视频一动就糊脸五秒的镜头能崩三秒半。这套教程想解决的就是这件事把AI绘画、图生视频、提示词、视听语言这四块重新串成一条能跑通的流水线让你从零开始也能做出敢发出去的成片。这篇内容适合三类人完全没碰过AI视频、想找一个不乱花钱的入门路径的新手已经会出单张图、但一动起来就翻车的半熟手还有手里有货、想把自己的图生视频效率提上去的创作者。我不打算按软件界面的菜单顺序讲那种讲法你听完还是不会用。我更想按“一个片子从想法到成片”的真实顺序来拆顺带把每个环节里那些文档不会写、但决定成败的细节说透。1. 为什么AI视频要做成一条流水线而不是零散抽卡1.1 一次成片的成本到底花在哪很多人一开始的思维是“我写一句话它给我一段视频”这其实是最贵的用法。因为一句话能提供的信息量太少了模型只能靠猜猜对了叫运气猜错了叫重来。你每一次重来消耗的不只是生成额度还有你的判断力和耐心——这两样东西才是真正稀缺的。我自己复盘过一段时间的使用记录发现一个很反直觉的结论在出片环节真正省时间的做法是前面多花时间。同样是做一条十五秒的成片A路线是“直接文生视频反复抽卡”大概要跑二十多次生成才凑出三条能用的B路线是先把首帧图和尾帧图都做扎实再拿去做图生视频基本上三到四次就能出一条可用素材。表面看B路线前面多做了两张图但整体耗时反而少了一半还多。原因并不复杂。图生视频这个环节模型要解决的其实是一个“从已知到已知”的插值问题——起点和终点都给定它只需要生成中间的运动轨迹。而文生视频是从零构造画面内容、构图、光影、角色长相全部要现编任何一个维度跑偏整段就废了。你把确定性往前推后面自然就稳。所以这条流水线的核心思路是把不确定性尽量集中在出图环节解决掉视频环节只负责“动”。出图可以反复抽、成本低、容易局部改视频抽卡成本高、可控性差。把难啃的骨头放在便宜的地方啃这是整个流程的底层经济学。1.2 四个模块各自的职责边界我把它拆成四块每一块只解决一类问题互不越界。提示词负责“翻译”。把脑子里那团模糊的、关于画面和运动的想象翻译成模型能读懂的、结构化的描述。它不负责出画面它负责让画面可控。AI绘画负责“定妆”。确定角色长什么样、场景什么调性、构图怎么摆、光影什么味道。这一环节产出的图就是后面视频的“第一帧基准”它的质量直接决定视频天花板。图生视频负责“让时间流动”。给定起始状态生成几秒钟的运动。它不负责改内容只负责在既有画面基础上推进。视听语言负责“组装”。景别怎么切、镜头怎么接、声音怎么铺、颜色怎么调把这些零碎素材变成一个能让人看下去的东西。这四块里新手最容易忽略的是第四块。很多人做出单个镜头已经很漂亮了但拼在一起就是不像片子问题几乎都出在视听语言的缺失上。单个镜头是“素材”只有经过景别组织和声音设计它才变成“叙事”。提示如果你的成片总是“单看每个镜头都还行连起来就怪”别急着换模型先回头补第四块。2. 提示词怎么写才不浪费每一次生成额度2.1 六要素结构从一句话到一段可执行的描述我把好用的视频提示词归纳成六个要素主体、动作、环境、光照、镜头、风格。这六项不是必须全写但缺得越多模型猜的空间就越大翻车概率越高。下面这段是我用来做模型能力测试的标准模板你把它当成骨架替换内容就能直接用。主体一只白色鹈鹕停在一辆老式自行车的车座上 动作双翼缓慢张开头部微微前倾努力保持平衡 环境黄昏的滨江步道背景行人与护栏被虚化 光照低角度逆光整体暖色调边缘光勾出羽毛轮廓 镜头中近景低机位仰拍轻微手持晃动感 风格电影质感柯达胶片颗粒浅景深为什么是这个顺序因为模型的注意力权重通常是从前到后衰减的越靠前的信息对画面的决定性越强。主体和动作放最前面保证核心内容不会被后面的风格词盖过去。光照和镜头放中间它们决定画面的“质感层”。风格词放最后收尾。这里有个新手常踩的坑把风格词写一大串什么“4K、超写实、电影级、杰作、大师作品、极致细节”全堆上去。这些词在图像生成里可能还有点用但在视频生成里权重很虚写多了反而挤占主体描述的注意力还会让画面过度锐化、塑料感变重。我的习惯是风格词不超过三个且互相之间不冲突。2.2 中英文提示词的真实差异关于用中文还是英文我的实测结论是看你用的模型版本对哪种语料的训练更充分。早期的视频模型基本都以英文语料为主那时候用英文确实更稳尤其是那些专业术语比如“shallow depth of field”“rim light”“dolly zoom”中文直译过去模型经常理解偏。但这半年变化很快。现在主流的几款工具对中文的支持已经相当不错了日常场景用中文完全够用而且中文有个隐藏优势描述人物关系、情绪、生活场景时更细腻。比如“有点疲惫但强撑着笑”这种状态“a bit tired but forcing a smile”翻过去反而丢了味道。我的实操方案是混写具体规则这样描述内容推荐语言原因主体、动作、情节中文细节和情绪表达更自然运镜、镜头类型英文术语标准化歧义少光影、色彩中英皆可英文略稳中文够用画质、风格词英文训练语料密度高具体品牌/流派名英文原名识别更准举个混写的例子“一位穿灰色风衣的中年男人在地铁口停下脚步slow push in逆光浅景深电影质感film grain”。读起来别扭但出片确实稳。2.3 运镜词库把“动态”拆成可执行的指令这是最容易被低估的一节。很多人写的“镜头动起来”“有运镜感”这种词模型基本当噪音处理。运镜必须精确到方向、幅度、速度。下面这张表是我平时翻得最多的直接抄运镜方式提示词写法典型用途容易出的问题推镜slow push in / slow zoom in情绪递进、聚焦细节写太快会糊加 slow拉镜pull back / zoom out reveal揭示环境、结尾留白主体容易变小变形横摇pan left / pan right展现横向空间边缘内容会拉伸环绕orbit around subject展示立体感、人物登场背景容易穿帮、脸易变形跟拍tracking shot行走、奔跑需要交代起始位置升降crane up / crane down场面调度、氛围幅度大会丢失主体变焦dolly zoom紧张、眩晕感极难控制慎用手持handheld, slight shake纪实、临场感别写 strong shake注意一个镜头里只写一种主要运镜。写“环绕推进横摇”这种复合指令模型通常只执行第一个剩下的随机变成画面抖动得不偿失。想复杂的运动用多镜头拼接来实现比让单个模型一次干完要靠谱得多。至于那种要求三百六十度环绕的效果图生视频里其实很难一次到位因为模型没有完整的空间认知转到背面基本就自由发挥了。我的处理方式是拆成四段九十度左右的环绕最后在剪辑里接起来中间的接缝用运动模糊或者转场遮掉。虽然麻烦但成片率比一次抽高太多。3. AI绘画环节首帧图决定了视频的天花板3.1 构图与留白给运动留出空间这一节讲的东西是我踩过最多次的坑。新手出图的时候追求画面饱满、主体居中、构图漂亮拿去做视频第一帧看着挺好一动就出问题——因为画面里没有留出运动需要的空间。举个具体的例子。你要做一个角色从画面左侧走向右侧的镜头如果出图的时候人物已经站在画面正中间那他往右走两步就出画了模型只能强行让他掉头或者原地踏步看起来特别假。正确做法是让人物站在画面左侧三分之一处右边留出大片空间模型才有地方让他走。我总结了三条留白规则出图时对着检查横向运动留横向空间往哪边走哪边留白。推拉镜头留中心区域推镜要求中心有可放大的细节拉镜要求画面整体有可扩展内容。环绕镜头留主体四周主体四周要有环境信息否则转过去就是虚空。还有一个细节主体在画面里的占比别太满。中景、中近景的构图比大特写更适合做视频首帧因为大特写几乎没有运动空间稍微一动脸部就变形。想要特写感可以出中景再在剪辑里裁切放大灵活性反而更高。3.2 风格一致性怎么让十个镜头像同一个片场单张图好看不难难的是十张图摆在一起像同一个团队的活。风格漂移是AI绘画最典型的顽疾如果不做控制同一个提示词生成十次你能拿到十种色调、十种镜头语言。控制风格一致性我按有效程度排序推荐三种方法第一位锁定首帧图作为参考。先用一张图把整体调性定下来——色调、光比、质感。后面所有镜头都拿这张图做风格参考、或者做内容参考出来的东西会明显靠近。这是效果最直接的一招。第二位固定提示词里的风格段。把风格相关的描述比如“冷色调柔和散射光写实摄影质感浅景深”写成固定字符串每次只替换主体和动作部分风格段一个字都不改。这招笨但有效。第三位固定随机种子。有些工具支持固定 seed能极大降低同提示词的输出差异。缺点是换了主体之后适配性会变差得重新调。实际用的时候我是三个一起上的参考图定调固定风格段兜底种子做微调。这么组合之后十条片子的风格统一度能到八成以上后期再统一调色基本就看不出来了。3.3 局部重绘与参考图修掉那些“一眼AI”的细节出图出来整体满意就是手奇怪、或者背景牌子上的字乱码——这种情况千万别整张重抽用局部重绘把那块圈出来改。这是效率提升最明显的一个操作。局部重绘的关键在于提示词只描述要改的那一块不要把整段提示词复制进去。比如手部畸形就圈出手提示词写“一只自然放松的右手手指修长肤色自然与背景光照一致”。如果你把整个场景描述也塞进去模型会试图重建背景容易在接缝处产生突兀感。提示局部重绘时框选区要稍微大于问题区域留出过渡带。圈得太紧接缝会非常明显。另外做系列内容的时候参考图权重别开太高。权重拉满会导致每张图都长得像第一张失去变化。我一般控制在中等偏上的位置既能锁住特征又保留构图上的自由。4. 图生视频实操从静帧到3秒可用素材4.1 首尾帧、时长、运动幅度的参数取舍图生视频这个环节参数就那几个但每一个都影响成败。首尾帧的设置逻辑如果只是做简单的微动风吹头发、裙摆飘动、眼神变化只给首帧就够了让模型自由发挥反而是加分项。但如果你需要精确的运动终点——比如杯子从桌上被拿起到嘴边——那必须同时给首尾帧否则模型不知道要动到哪。时长短视频平台对单镜头时长的容忍度其实比想象中低。一个静态感强的镜头超过四秒观众注意力就跑了。我的经验是单镜头控制在二到四秒需要更长的时间用两个镜头接。这也符合图生视频的能力边界——生成时间越长后半段越容易崩。运动幅度这是最关键的旋钮。很多人抱怨“不够动”就把幅度拉满结果人物像在抽搐。我的调节思路是分场景人物特写用小幅度环境空镜用中幅度纯运动镜头才用大幅度。宁可从小的调起不够再往上加一级比反过来省事得多。场景类型运动幅度时长建议说明人物特写/半身小2-3秒只做面部和发丝的微动人物全身/行走中3-4秒交代动作起止即可空镜/风光中到大3-5秒云、水、光影变化纯运动镜头大3-4秒车流、奔跑、快速运镜4.2 运动崩坏的三种典型形态与规避手法图生视频的失败方式其实就那么几种认出来之后对症处理很快。形态一脸部溶解。表现是人物的五官在运动中逐渐模糊、扭曲、变成另一个人。根源通常是分辨率不足加运动幅度过大。处理办法是降低运动幅度、缩短时长或者改用中景出图再裁切。形态二肢体复制。表现是凭空多出一只手、多一条腿。这在多人场景里特别常见。根源是模型对遮挡关系的理解不足。处理办法是简化构图——减少画面中的人物数量或者用大光圈虚化背景人物。形态三背景漂移。表现是主体基本没问题但背景的物体在偷偷移动、扭曲、闪烁。根源是模型对静态背景和动态前景的区分能力有限。处理办法是在提示词里明确“static background”或者干脆选择背景干净的构图。我一般把这三条做成检查清单一条素材出来先看脸、再看肢体、最后扫一遍背景。三关都过的才留下别的直接砍不纠结。4.3 多镜头拼接转场、卡点与节奏单镜头再好看也只是一个片段。真正的片子靠拼接。拼接的第一步是排序。我习惯先把所有素材按内容分类交代环境的空镜、展示人物状态的镜头、推进动作的镜头、收尾的镜头。然后按叙事逻辑排一般是“环境铺底—人物登场—动作推进—收束”。第二步是处理接缝。两段AI素材直接硬切如果色调和运动方向不一致会非常跳。我的处理办法有三种按使用频率排序运动方向匹配上一镜向右运动下一镜也保持向右视觉上更顺。叠化过渡色调差异大时用短叠化0.3秒左右遮一下。卡点硬切有节奏感的内容直接踩在节拍点上硬切反而更有力。节奏这件事没有标准答案但有个可以量化的参考十五秒的成片三到五个镜头比较合适平均每个镜头三到四秒。低于三个镜头会显得拖沓超过七个镜头会显得碎。5. 视听语言让成片摆脱“AI味”的关键一招5.1 景别与轴线的组织逻辑这一节是很多人跳过的部分但恰恰是它决定你的成片像“作品”还是像“AI生成合集”。先说景别。景别的意义在于引导观众视线和情绪。一段对话如果全是中景会非常平如果切成“中景—近景—特写”交替就有了呼吸感。我的实操习惯是同一场景内至少准备两个景别剪辑时交替使用。再说轴线。这是个老话题但在AI视频里特别容易翻车——因为每张图都是独立生成的模型不知道你在哪个方向拍。结果就是两个角色对话时一会儿A在左B在右一会儿反过来观众看着别扭。注意多人对话场景出图时要在提示词里明确相对位置比如“男性角色位于画面左侧女性角色位于画面右侧”并让所有镜头保持一致。别指望模型自己理清空间关系。一个简单可行的做法是先画一张俯视图确定机位和人物位置然后每个镜头出图时都对照这张图写清楚谁在哪一边、画面朝向是哪一侧。听着麻烦但能避免大量返工。5.2 声音设计环境音、拟音与BGM的配比画面做得再干净没有声音就是半成品。而且声音是性价比最高的“去AI感”手段——一段合适的环境音能让画面的真实度凭空提升一档。我把声音分成三层来铺底层是环境音。城市街拍配上远处的车流、人声、风声室内场景配上空调的低鸣、钟表的滴答。这层声音不需要大只要有画面的空间感就出来了。中层是拟音。脚步声、开关门、衣物摩擦。这层是同步的跟画面动作对齐。图生视频出来的画面动作往往不够明确拟音可以帮忙“补”上动作感。上层是配乐。按情绪选节奏点可以对着剪辑点卡。这里有个小技巧AI视频里的运动往往不够干脆卡点的时候稍微延后一两帧不要卡得太死反而更自然。声音的配比我的习惯是环境音占主音乐做背景。新手常犯的错误是音乐开得太满盖住了所有细节画面反而显得假。5.3 调色与输出最后一公里的参数最后一步是统一调色。因为多个镜头生成出来色温和对比度肯定有差异不统一会非常跳。我一般只做三件事不做复杂调色统一白平衡把所有镜头拉到一个色温基准上偏冷的统一偏冷偏暖的统一偏暖。统一对比和饱和度让所有镜头的反差程度接近。轻微加一层颗粒或暗角这招很实用能掩盖AI视频特有的那种“过于干净”的塑料感。输出参数上短视频平台的话1080P、三十帧完全够用。有些工具支持生成更高帧率但如果内容本身运动幅度不大高帧率只会让画面更“顺滑”反而少了质感。我个人更喜欢在剪辑里把运动模糊稍微调一点看起来更像实拍。6. 常见问题排查速查表与效率技巧6.1 画面类问题这张表是我自己攒的基本涵盖了实际使用中九成以上的画面问题。现象最可能的原因处理方式脸部模糊、变形运动幅度过大或分辨率不足降幅度、缩短时长、改中景构图画面抖动、闪烁提示词里写了多种运镜只保留一种运镜删掉复合指令主体忽大忽小未锁定景别描述提示词固定景别和机位背景物体漂移前后景未分离加 static background简化构图画面过曝、发灰光照描述冲突只保留一个主光源描述色彩偏离预期风格词互相打架风格词压到三个以内人物多出手脚多人场景遮挡复杂减少人数虚化背景6.2 一致性与风格类问题一致性问题的本质是“信息不够”。模型没有记忆你不明确告诉它它就自由发挥。所以所有一致性问题的解法都指向同一件事增加约束条件。角色一致性靠参考图加固定描述场景一致性靠固定风格段色彩一致性靠统一调色。这三条是铁律。除此之外我还有个偏门一点的办法把第一个镜头的成片截一帧出来作为后续所有镜头的参考首帧。这样连光影氛围都能锁住。如果你的项目比较大、镜头比较多用本地工作流那种节点式方式管理素材会更有优势——所有参考图、风格参数集中在一处复用起来方便也不容易出错。代价是配置门槛高一些适合已经上手一段时间、有稳定产出需求的人。6.3 额度与效率最后说几个省额度和省时间的实操习惯这些都是用真金白银换来的。先用低参数试构图确定之后再出高规格。很多工具支持先出低分辨率预览构图对了再出成品能省下大量额度。建立自己的提示词库。把验证过好用的提示词按类别存起来——人物类、风景类、运动类。下次直接改主体就行不用从零写。一次生成不要只存一张。同一批生成的结果差异其实是信息能帮你判断哪个方向更稳。别在同一个提示词上死磕超过五次。五次不出好东西说明提示词或者构图本身有问题换思路比继续抽划算。批量处理同风格素材。同一场景的多个镜头连着做风格段不用改一次性出完效率比零散做高很多。我个人在实际操作中的体会是AI视频这件事工具迭代的速度远远快于个人经验的积累速度所以别把精力花在追新功能上把提示词结构、构图留白、声音铺陈这几件底层的事做扎实换哪个工具都能用得上。我见过太多人换了一茬又一茬的工具最后还是卡在同一个地方——不是不会用软件是不知道怎么把一个模糊的想法拆成模型能听懂的一句句话。