RVC 语音转换教程：10 分钟数据训练出你的 AI 变声模型

RVC 语音转换教程10 分钟数据训练出你的 AI 变声模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUIRVC是一个基于 VITS 的开源 AI 语音转换框架用不超过 10 分钟的语音数据就能在网页界面里训练出一个音色相似度很高的变声模型支持实时变声、批量推理和人声伴奏分离。本文按从装到用的顺序带你完整走一遍。一、为什么你的第一个变声项目可以是 RVC做过语音合成的同学大概率被这几个问题劝退过训练要几个小时、显存要 12G 起步、训练集得准备几十个小时、调参数像玄学。RVC 把这条门槛压到了很低数据量小官方推荐 10 分钟低底噪语音起步最高 50 分钟5 分钟以内的高质量数据也有人练出可用结果显卡要求低4G 显存的老卡可以训练2G 以下建议放弃首次出结果快装完依赖、下载好底模第一次推理用别人分享的模型就能立刻听到转换效果不用先训练它适合的人想做 AI 翻唱但没显卡的、想给自己的游戏/直播加实时变声的、以及想低成本体验声音克隆的普通用户。界面全中文也有英日韩法等多语言点按钮为主基本不碰代码。二、五分钟跑起来安装与首次运行一键安装步骤先确认 Python 版本大于 3.8然后git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI pip install torch torchvision torchaudio pip install -r requirements.txtN 卡用requirements.txtA 卡或 I 卡DirectML改用requirements-dml.txtLinux 下的 A 卡 ROCm 环境用requirements-amd.txt。Windows 的 RTX 30 系用户如遇 CUDA 报错可指定--index-url https://download.pytorch.org/whl/cu117重装 PyTorch。还差两件事预训练底模把hubert_base.pt、assets/pretrained、assets/uvr5_weights等文件按 README 中的清单放进assets/对应目录tools/文件夹里有现成的下载脚本download_models.py可以直接跑ffmpegUbuntu 用sudo apt install ffmpegmacOS 用brew install ffmpegWindows 把 ffmpeg.exe / ffprobe.exe 放到项目根目录启动界面拿到第一个结果python infer-web.py浏览器会自动打开 Gradio 界面共六个标签页模型推理、伴奏人声分离、训练、ckpt 处理、Onnx 导出、常见问题。第一次别急着训练先去模型推理页选一个现成的.pth音色上传一段 wav点推理——听到转换结果的那一刻你就知道后面训练要干什么了。Windows 整合包用户直接双击go-web.bat即可省掉前面的 pip 步骤。三、它背后怎么工作检索式特征替换RVC 的架构分三层核心代码都在 infer/ 下这里讲清原理就够了不用逐行看。第一层音高提取。输入音频先过一个人声音高提取模型默认用 RMVPE 算法来自 Interspeech 2023 的 RMVPE 论文比常用的 CREPE 更快、显存占用更小而且能显著减少哑音该有音的地方发不出声。备选还有 harvest、dio、pm 等算法推理时可按源音频质量切换。第二层特征提取与检索替换。音频经 HuBERT 模型转成特征向量然后用 FAISS 在训练集特征索引里做 top-k 检索k8把输入特征按距离权重混合成训练集风格的特征——这一步叫检索式特征替换是 RVC 名字里Retrieval-based的由来。作用是从根源上杜绝音色泄漏你唱得再像原唱输出音色也会被拉回训练集音色而不是跑偏到你的声音。第三层声学合成。替换后的特征送进基于 VITS 的声码器结合音高曲线生成最终波形。对应的关键文件推理引擎在 infer/lib/rtrvc.py负责 FAISS 检索与特征处理合成管线在 infer/modules/vc/pipeline.py把音高、特征、检索、合成串起来训练流程在 infer/modules/train/。想深入原理看这三个目录比通读 README 高效。四、调出好效果数据准备与关键参数训练数据怎么备时长10–50 分钟。音质差、底噪大的数据 20–30 轮total_epoch就够高质量长数据可以拉到 200 轮质量 数量低底噪、人声清晰的干声最好先用人声分离功能把歌曲拆出干声切分单条音频别太长训练时内存报错多半是切片过长或 CPU 进程开太多数据放好后在训练标签页点一键训练会自动走切分→提取特征→提取音高→训练模型→训练索引全流程三个决定音色的参数参数作用建议total_epoch训练轮数音质差 20–30音质好可 200index_rate索引率检索替换强度1 完全用训练集特征默认 0.5–1音色泄漏严重时调高pitch变调输出音调升降半音为单位男转女 412 常见按试听调关于 index_rate 有个常见误区它调高会削减音色泄漏输出往推理源/底模音色跑的现象但代价是音质趋向训练集水平——如果训练集音质本来就低于你的推理源音频盲目调高反而更糊。训练集足够优质且时长充足时这个参数影响很小甚至可以不带索引文件分享模型。五、玩法拓展从模型融合到实时变声WebUI 之外RVC 还有几个进阶方向ckpt-merge 模型融合在ckpt 处理标签页把两个音色模型按比例混合能调出介于两人之间的新音色翻唱圈常用的调音手段实时变声双击go-realtime-gui.batWindows可开实时界面端到端延迟约 170ms接 ASIO 声卡能压到 90ms 左右直播、游戏、K 歌都能用批量推理推理页有批量推理子页丢一个文件夹进去整批转换适合做整张专辑的翻唱命令行推理不想开界面可以用 tools/infer_cli.py参数顺序是变调 输入音频 索引 音高算法 输出音频 模型 索引率 设备 半精度Onnx 导出模型推理页旁的Onnx 导出标签页可以把 pth 模型转成 onnx配合 infer/lib/onnx_inference.py 在无 GPU 的环境跑六、卡住了看这里常见问题速查docs/cn/faq.md 是官方 FAQ下面挑几个最高频的报 ffmpeg error / utf8 error多半是路径问题。音频路径含空格、括号会触发 ffmpeg error训练集文件名带中文会触发 utf8 error把路径改成纯英文数字最稳显存爆out of memory训练就降 batch size推理就调小configs/config.py末尾的x_pad、x_query、x_center、x_max4G 以下显存基本没救训练完了没看到新音色点刷新音色再看一次还没有就去看logs/实验名/下的训练日志想分享模型分享weights/下 60MB 以上的小 pth 对应added_xxx.index不要分享logs/里几百 MB 的实验 pth——那是续训用的直接拿去推理会报 key 不存在的错WebUI 连接不上Connection Error控制台黑窗口被关了报 Expecting value: line 1 column 1 则是局域网代理在捣乱关掉全局代理重试一键训练后没有索引文件训练集太大导致加索引卡住回到界面再点一次训练索引即可更详细的排障可以看 docs/cn/ 下的中文 FAQ 和更新日志。写在最后从装依赖到听到第一段转换结果顺利的话半小时以内一段 10 分钟的干净人声训练半小时左右就能出可用音色。如果第一次没调出理想效果先回到数据和 total_epoch 这两个变量上排查比盲调其他参数有效得多。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考