VOICE LAB / 001INDEXTTS-2.5 · RTX 5060 TI

给贾维斯,
找一副嗓子。

一个跑在本地显卡上的音色克隆实验。我先自己微调了一版,后来又换成不用训练的零样本方案。贾维斯的嗓子说英文,MOSS 的嗓子说中文。想先听一句,直接往下拉。

2复刻的声音
6段新样音
3–5s合成一句话
TRY IT / 在线试用ONE REQUEST · ONE CLIP
正在看那台 5060 Ti 开没开…
台词
0 / 200
音色
语速

贾维斯写英文,MOSS 写中文;语速可以调,MOSS 默认 1.05×。

这条链路是:浏览器 → 网站服务器 → 隧道 → 我家那台 5060 Ti。一次请求生成一整段音频,不是实时流式。同一时间只处理一条,上一条还没好时会提示稍后再试。那台 5060 Ti 开着的时候这里就能用;它关着,这一块就是灰的,下面的成品样本不受影响。

我的 JARVIS 界面图
01 / ENGLISH

贾维斯

我的 AI 助手。用他的嗓子说英文。

我的 MOSS 图
02 / 中文

MOSS

从电影公开片段克隆。用它的嗓子说中文。

WHY / 来龙去脉ONE IDEA · THREE ENGINES

复刻这副嗓子,
我想了很久。

复刻贾维斯的嗓子,是我很久以来的一个想法。不是要做一个产品,就是想听它用自己的声音,把一句新的话说出来。

最近偶然拿到一张 RTX 5060 Ti,这件事才算真正摆上桌面。我先自己训了一版:用 300 句素材微调 XTTS,跑满 20 个 epoch、1400 步,出了一份 5.3G 的权重。后来又试 GPT-SoVITS,最后换成 IndexTTS-2.5——一条参考音就够,效果比前面两个都好,于是一直用到现在。

XTTS 微调→GPT-SoVITS→IndexTTS-2.5

三个阶段都是真跑过的。页面上的样音和在线试用,跑的都是最后这一版。

THREE TAKES / 三个阶段的声音SAME LINE · REAL RUNS

同一句话,三种做法。

三段说的是同一句英文:「Good evening sir, how are you? All systems are operational and the workshop is secure.」先听差别,再看后面为什么换。

03 / TAKES
XTTS 原版 · 5.9s

一 · 微调前

Coqui XTTS-v2 原版权重,直接拿一段参考音念。

XTTS 微调 · 6.9s

二 · 微调后

同样一条权重,用 300 句素材跑了 20 个 epoch、1400 步之后。

IndexTTS-2.5 · 5.1s

三 · 零样本

换成 IndexTTS-2.5,一条参考音,不训练。页面现在用的就是这版。

前两段是同一次微调的前后对比,第三段是后来换零样本方案生成的。三段都在本机生成,没有剪辑。

THE FINE-TUNE / 微调那一段300 SENTENCES · 1400 STEPS

先自己训了一版,
才知道该停在哪。

素材是 300 句英文,配好文本对照表,用 Coqui 官方的 XTTS 训练器跑。batch 是 4,梯度累积 4,训练 20 个 epoch、1400 步,最佳模型出现在第 675 步,最终权重 5.3G。单卡 5060 Ti,跑了一整轮。

听感确实比原版贴,但离电影里那个感觉还差一层,而且换个音色就得重训一次。后来试到 IndexTTS-2.5,一条参考音的效果就更好,我判断没必要继续训,于是停在这里。

为什么不公开这份权重:底座 XTTS-v2 是 CPML 许可,只允许非商用;训练素材是网上公开的 JARVIS 数据集,声音原型本身有版权。两者叠加,公开分发不合适。方法与流程我愿意分享,拿自己的声音录 300 句就能复现。

ZERO-SHOT / 零样本PLAIN WORDS

零样本音色克隆,
说白了是这样。

「零样本」的意思是:模型不需要为某一个声音重新训练。你给它一段几秒到几十秒的参考音频,再给它一句新的话,它就能用参考里的音色把这句话读出来。参考音频只决定「嗓子」,说什么由你写。

我在一台装了 RTX 5060 Ti 的机器上跑开源的 IndexTTS-2.5,推理在自己的机器上完成。现在复刻了两类声音:我的 AI 助手「贾维斯」的嗓子,以及电影《流浪地球》里 MOSS 的嗓子。合成一句话大概三到五秒。语言跟着文本走:写英文,贾维斯就用英文说;写中文,MOSS 就用中文说。

本机声音工作台的截图
本机工作台:写一句,选参考音,5060 Ti 出声音。
WHAT IT SOUNDS LIKE / 听到的样子6 NEW TAKES · 2026.11
EN

贾维斯 · 英文

我的 AI 助手。英文句子写出来,用他的嗓子念。下面三段是这次新合成的,不是现成素材。

DEMO · EN · 4.7s日程与家里状态
Good evening. The house is locked, the lights are off, and your first meeting tomorrow is at nine.

晚上好。门已锁,灯已关,明天第一个会在九点。

播放
DEMO · EN · 4.4s构建播报
The build passed. Three tests were skipped, and I left a note in the repository.

构建通过了。跳过了三个测试,我在仓库里留了说明。

播放
DEMO · EN · 5.7s长文摘要
I have read the report. The short version: the numbers are good, but the timeline is not.

报告读完了。简短版:数字不错,但时间表不行。

播放
中文

MOSS · 中文

从电影公开片段克隆的声音。中文句子写出来,用它的嗓子念。同样,三段都是这次新合成。

DEMO · 中文 · 5.3s电影腔的一句话
从历史上看,文明的命运,取决于人类的选择。
播放
DEMO · 中文 · 8.6s系统播报
晚上好。所有系统运行正常。今天的实验数据已经备份,照明将在十分钟后关闭。
播放
DEMO · 中文 · 6.5s旁白
我已经重新计算了所有可能的路径。只剩下一条,需要你们自己走完。
播放
01 / EN

英文助手

日程、构建结果、长文摘要,用同一副嗓子读出来。

02 / 中文

中文旁白

电影腔的旁白、系统播报、短视频配音。

03 / ZERO-SHOT

换一句不用重训

换文本不用训练;换一条参考音,就是另一副嗓子。

这些是演示台词;声音由零样本克隆生成,不是电影原声。

REFERENCE / 参考音6 CLIPS · WHERE THE VOICES COME FROM

贾维斯

两条候选参考音。同一段录音,两种处理方式;现在默认用干净版。

02 / REFERENCE
参考音 · 6.9s

干净版 · 默认

洗过底噪,现在是默认参考。

参考音 · 6.9s

原始版

没洗底噪的原始录音,用来对比。

MOSS

四条从电影公开片段里切出来的参考音。底噪、配乐和语速都不一样,合成出来的感觉也不同。

04 / REFERENCE
原声参考 · 16.3s

自我介绍 · 推荐

底噪最干净的一条,在线试用默认用它。

原声参考 · 5.4s

历史选择

底下垫了配乐。

原声参考 · 5.0s

名字

语速快,带点交流感。

原声参考 · 4.5s

毁灭人类

情绪最冲的一条。

参考音只决定音色;上面六段演示都是另外合成的,不是从参考音里剪出来的。

NOTES / 说明PERSONAL RESEARCH

这是一个个人技术实验。不是商业产品,也不是对外服务。页面上的音频都是已经生成好的静态文件,服务不在线时照样能听。

MOSS 的声音来自电影《流浪地球》的公开音频片段,仅用于个人技术研究,不用于商业用途。