Stable Diffusion WebUI Forge 自定义模型训练手把手：用十几张图教会 AI 一个新词

Stable Diffusion WebUI Forge 自定义模型训练手把手用十几张图教会 AI 一个新词【免费下载链接】stable-diffusion-webui-forge项目地址: https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge训练跑完你会得到一个.pt文件丢进embeddings目录提示词里用你的名字就能调用这个新概念发给朋友后对方也能用。想让自家宠物在 SNS 上拥有统一人设或者给博客配一套风格一致的插画Stable Diffusion WebUI Forge 的自定义模型训练只需要十几张图就能完成零基础也能跑通第一单。什么是 Textual Inversion不动模型权重的扩词包先说结论Textual Inversion 只给模型加词不改原模型任何一个参数。原模型像一本定死的词典Textual Inversion 相当于往词典里添一个新词条——词典本身模型权重原封不动只是用十几张图教会模型这个词长什么样。和 LoRA 的区别一句话讲清LoRA 会修改模型内部的一部分参数Textual Inversion 只增加一个词更轻量负责表达概念某个物体、某种风格不负责改变模型的画风习惯。代码层面核心都在 modules/textual_inversion/textual_inversion.py 里Embedding类第 36 行管单个嵌入的存储与保存EmbeddingDatabase类第 108 行负责扫描embeddings目录并把它们装进模型。训练前准备图怎么拍、标注怎么写先把环境跑起来克隆项目并启动git clone https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge打开 WebUI确认能看到 Train 标签页说明训练入口就绪。数据集准备清单数量5-20 张。太少学不像太多难打理。尺寸统一 512x512 像素裁剪或补边都行别混着来。标注每张图配一行描述例如a photo of [V] landscape其中[V]是占位符训练时模型会学会把这个名字换成你的概念。一致性各张图的主体角度、光照尽量接近防止模型把背景也学进去。训练流程四步走第一步在 Train 页生成空白向量给新嵌入起名只允许字母、数字、下划线如 my_style填初始化文本——它相当于新词的底子选一个和目标最接近的概念训练油画风就填 oil painting。向量数量简单概念选 1复杂风格选 4。保存后modules/textual_inversion/ui.py 里的create_embedding函数会生成初始向量存为.pt放进embeddings目录。核心逻辑就这几行vec torch.zeros((num_vectors_per_token, embedded.shape[1]), devicedevices.device) if init_text: for i in range(num_vectors_per_token): vec[i] embedded[i * int(embedded.shape[0]) // num_vectors_per_token]大白话先造一个零向量再拿初始化文本对应的向量当起点逐格填入。第二步照这张表配参数参数建议值怎么理解学习率0.005先从这个值起步loss 抖动就调小训练步数1000-3000样本多就往上加批次大小1-4看你的显存定梯度累积4显存紧张时靠它补第三步开跑训练盯 loss点 Train Embedding界面会实时刷出损失值Loss它应该一路往下走最好稳在 0.05 以下。背后是train_embedding函数在自动处理图片加载、模型优化和进度保存你只管等。第四步验收生成结果训练结束哪怕你中途停掉后模型会自动存回embeddings目录文件名就是[嵌入名].pt。去生成页打一条提示词验证风格对味就收工不对味看下一节。提示词里怎么调嵌入效果不佳怎么改调用写法固定嵌入名套尖括号。a photo of my_style landscape with mountains占位符在句子里越自然出图越稳。加载端也不挑格式load_from_file同时支持.pt、.safetensors还允许把嵌入数据藏进 PNG 图片的元数据里分享时比裸发.pt更省事。生成结果不对味按这个顺序排查补数据加不同角度、不同光照的样本见效最快的方向。调学习率loss 不降或乱跳时换更小的值或试余弦退火这类调度器也可以打开 modules/textual_inversion/autocrop.py 里的自动裁剪给数据做增强。换初始化文本生成内容跑偏多半是初始化概念离目标太远换一个更接近的重新训。翻车三件事一行修显存不够 / 训练崩了开 Low VRAM 模式、批次设 1、关预览生成还报错就清临时文件rm -rf tmp/*。过拟合背住单张图、颜色发疯减少训练步数或加正则化。概念混淆生成出别的东西重选初始化文本确认训练图光照、角度一致。别停在单个嵌入Textual Inversion 的分工很明确不动权重给 AI 装一个扩词包一个.pt文件就是一个新词。想再往前走两个方向配合 LoRA 做参数高效微调项目里的 packages_3rdparty/webui_lora_collection 目录或者把风格迁移和物体嵌入做混合训练让一个向量同时表达多个概念。【免费下载链接】stable-diffusion-webui-forge项目地址: https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考