最近，有个朋友问我，说他想做一个短视频，但自己声音不太好听，也不想花钱请配音演员，有没有什么办法能用AI把文字转成语音，而且声音还得像那么回事。

我说当然有，这类工具现在其实不少。

但他又说了一个需求，说他不想用那种千篇一律的AI合成音，想用自己的声音，或者他妹妹的声音来做配音。

我就跟他聊了GPT-SoVITS这个项目。

聊完之后我觉得，这个东西确实值得单独拿出来写一篇，因为它解决的不只是「文字转语音」这个问题，而是把整个语音克隆的门槛，降到了一个普通人在家就能操作的程度。

GPT-SoVITS是一个开源项目，github上能直接搜到，MIT协议，商用也没什么限制。

它做的事情概括起来就一件，用极少量的音频数据，克隆一个人的声音，然后用这个声音来合成任意文本的语音。

听起来好像挺常见对吧，市面上做语音克隆的东西确实不少。但你看看它的几个核心能力，会觉得有点东西。

第一个，Zero-shot，零样本语音合成。

你给它一段5秒钟的语音样本，它就能直接用那个声音来合成语音。不需要训练，不需要调参，丢进去就用。

5秒钟，就是那么短。

第二个，Few-shot，少样本微调。你给它1分钟的训练数据，它就能微调出一个质量更好的模型，声音的相似度和真实感都会明显提升。 这个方案适合对音色还原度要求更高的场景，多花一点时间准备数据，效果会好不少。

第三个，跨语言推理。

你用中文的语音样本去训练，然后用它合成日文、英文、韩文、粤语的语音，都可以。反过来也一样。 目前一共支持中文、英文、日文、韩文、粤语五种语言。

你想想这个场景，你录一段自己的声音，然后让「你自己」去念一段日文台词，或者用英文做一段旁白，还挺有意思的。

第四个，也是我觉得特别重要的一点，它把语音克隆需要的整套工具都整合到了一个界面里，从主WebUI可以一键启动所有步骤。

做过语音克隆的朋友应该知道，整个流程其实挺长的。你得先把音频里的人声和背景音乐分离开，得到干净的人声。然后把长音频切成一个个小片段。再用语音识别工具把每个片段转成文字标注。最后才能拿这些标注好的数据去训练模型。

GPT-SoVITS把这些步骤全部做成了可视化工具，人声伴奏分离、去混响去延迟用的UVR5，音频切分工具，ASR语音识别（默认使用达摩院的中文模型，也支持多语种选项），校对标注工具，都可以从主WebUI界面一键启动。

对新手来说，这个体验差距是巨大的。你不需要懂什么叫自回归模型，不需要知道声码器是什么，跟着界面的流程点下去就行了。

说完了它是什么、能做什么，聊聊怎么把它跑起来。

部署方式有好几种，最省事的是Windows用户直接下载集成包。

解压之后，双击go-webui.bat就能启动，连Python环境都不用自己装，集成包里自带了运行时。这是最快上手的方式。

如果你用的是Linux或者macOS，项目提供了自动安装脚本。先创建并激活conda环境，然后运行安装脚本，它会帮你自动安装依赖、下载预训练模型。 脚本里会自动根据你选的设备类型来配置环境，CUDA 12.6、CUDA 12.8或者CPU都支持。中国用户还有专门的ModelScope和HF-Mirror下载源，不用梯子就能拉模型。

另外还有Docker部署和Google Colab在线运行的方式，基本上你能想到的场景都覆盖到了。

启动WebUI之后，操作流程大致是这样。

先填写你的音频文件路径。然后做语音切分，把长音频切成小片段。接着用UVR5做人声伴奏分离，得到干净的人声。再用ASR工具自动生成文字标注。最后打开校对标注工具，检查一遍识别结果。

这些步骤都在主WebUI的「前置数据集获取工具」标签页里，按顺序操作就行。UVR5和校对工具会打开独立的操作窗口，但都是从主界面一键启动的，不需要手动切换软件。

数据处理完之后，切到「微调训练」标签页，开始训练模型。训练完成，再切到「推理」标签页，输入你想合成的文本，选好参考音频和语言，点一下就能生成语音了。

如果你是开发者，想把它集成到自己的应用里，项目也提供了API接口。基于FastAPI，支持流式音频输出，还支持运行时热切换模型权重。 部署成一个服务，通过HTTP请求调用就行。

不过有几个点需要提醒一下。

训练和推理对显卡有要求，虽然支持CPU推理，但速度会慢不少。 官方测试过的配置是Python 3.10和3.11，配合PyTorch 2.5以上和CUDA 12.4或12.8。

Mac用户目前训练走的是CPU路线，因为GPU上训练出来的模型质量差距比较大，作者暂时没有优化这一块。

Windows用户如果手动安装的话，需要自己下载ffmpeg放到项目目录，还需要装Visual Studio 2017的运行库。这些在项目文档里都有写，不算复杂，但第一次搞可能会卡一会儿。

整体来说，GPT-SoVITS是目前开源语音克隆领域里，完成度最高、对新手最友好的项目之一。它把一条挺复杂的语音克隆链路，打包成了普通人在家就能操作的WebUI。你要做的，就是准备一段声音样本，然后跟着界面走。

感兴趣的朋友，可以到github仔细研究一下这个项目：

https://github.com/RVC-Boss/GPT-SoVITS