项目名全称/含义核心功能技术栈适合场景形象说法
RVCRetrieval-based Voice Conversion检索增强的音色转换VITS + 检索实时/高质量音色克隆只想把说话人 A 的音频变成 B 的音色
GPT-SoVITSGPT + Soft-VITS文本驱动音色合成(TTS+SVC)GPT + VITS类似语音克隆 + TTS想输入文字 → 生成指定声音的语音朗读
So-VITS-SVCSoft-VITS Singing Voice Conversion歌声/语音转换(VITS 系列)VITS高质量语音/歌声转换想做高质量的音色转换(含歌声)
Fast-WhisperASR语音识别ASR自动语音识别你有一段 mp3 音频 → Fast-Whisper → 输出文本字幕

前言

其实简要的理解就是分为三步: 📁 数据集 → 🧠 训练模型 → 🔊 推理生成

要想将文字生成语音 🗣️➡️🎧,自然要有语音模型 🤖,而训练模型当然需要数据集 📦。 我这里就是先简要记录一下,如何利用别人训练好的模型来生成语音 🏗️🔄。

因为这一步骤最快 🚀,可以直接摘桃子见成果 🍑🎯,正反馈也是最好的 ✅, 那么也就有更大的兴趣往下深入学习 🔍📈。

整合包文字教程

B站入门教程

GPT-SoVITS 下载地址可以直接在上面👆的整合包文字教程中找到,也可以使用下面我夸克网盘的GPT-SoVITS-v2pro-20250604.7z 分享地址:

夸克网盘链接:https://pan.quark.cn/s/38a68110949e
提取码:4kut

网友训练好的盖伦模型网盘地址:

夸克网盘链接:https://pan.quark.cn/s/c7767c1ea31e
提取码:VJsC

网友分享的 LOL语音包网盘地址:

夸克网盘链接:https://pan.quark.cn/s/84244acbdd2f
提取码:idRM

📝 步骤

  • 🔗 进入 webUI 页面(9874 端口页面),控制台有显示,直接点击 1-GPT-SoVITS-TTS
  • 📂 直接找到最下面的 tab,选中 1C-推理,点击「打开TTS推理WebUI」
  • 🎧 进入到 9872 页面,直接拖拽参考的原始音频和参考的音频文本
  • 🗣️ 参考音频是为了让模型推理语气(就是这个语气),文本也是模型参考的内容
  • ✍️ 接着在下面的 textarea 输入需要合成的文本内容
  • 🔊 点击最下面的「合成语音」按钮
  • ⏳ 等待输出语音即可 🎉

https://github.com/user-attachments/assets/fec087d1-35a0-46ca-a811-56608973149c