| 项目名 | 全称/含义 | 核心功能 | 技术栈 | 适合场景 | 形象说法 |
|---|---|---|---|---|---|
| RVC | Retrieval-based Voice Conversion | 检索增强的音色转换 | VITS + 检索 | 实时/高质量音色克隆 | 只想把说话人 A 的音频变成 B 的音色 |
| GPT-SoVITS | GPT + Soft-VITS | 文本驱动音色合成(TTS+SVC) | GPT + VITS | 类似语音克隆 + TTS | 想输入文字 → 生成指定声音的语音朗读 |
| So-VITS-SVC | Soft-VITS Singing Voice Conversion | 歌声/语音转换(VITS 系列) | VITS | 高质量语音/歌声转换 | 想做高质量的音色转换(含歌声) |
| Fast-Whisper | ASR | 语音识别 | ASR | 自动语音识别 | 你有一段 mp3 音频 → Fast-Whisper → 输出文本字幕 |
前言
其实简要的理解就是分为三步: 📁 数据集 → 🧠 训练模型 → 🔊 推理生成
要想将文字生成语音 🗣️➡️🎧,自然要有语音模型 🤖,而训练模型当然需要数据集 📦。 我这里就是先简要记录一下,如何利用别人训练好的模型来生成语音 🏗️🔄。
因为这一步骤最快 🚀,可以直接摘桃子见成果 🍑🎯,正反馈也是最好的 ✅, 那么也就有更大的兴趣往下深入学习 🔍📈。
GPT-SoVITS 下载地址可以直接在上面👆的整合包文字教程中找到,也可以使用下面我夸克网盘的GPT-SoVITS-v2pro-20250604.7z 分享地址:
夸克网盘链接:https://pan.quark.cn/s/38a68110949e
提取码:4kut
网友训练好的盖伦模型网盘地址:
夸克网盘链接:https://pan.quark.cn/s/c7767c1ea31e
提取码:VJsC
网友分享的 LOL语音包网盘地址:
夸克网盘链接:https://pan.quark.cn/s/84244acbdd2f
提取码:idRM
📝 步骤
- 🔗 进入 webUI 页面(9874 端口页面),控制台有显示,直接点击 1-GPT-SoVITS-TTS
- 📂 直接找到最下面的 tab,选中 1C-推理,点击「打开TTS推理WebUI」
- 🎧 进入到 9872 页面,直接拖拽参考的原始音频和参考的音频文本
- 🗣️ 参考音频是为了让模型推理语气(就是这个语气),文本也是模型参考的内容
- ✍️ 接着在下面的 textarea 输入需要合成的文本内容
- 🔊 点击最下面的「合成语音」按钮
- ⏳ 等待输出语音即可 🎉
https://github.com/user-attachments/assets/fec087d1-35a0-46ca-a811-56608973149c