底层模型清单
中文版仅供参考,以英文版为准 · 更新日期:2026 年 10 月 19 日
没有"先进 AI 大模型"这类含糊话,也没有"专有魔法"。Voxtakes 是一条由具名模型组成的管线——以开源权重为主,全部跑在我们自己的 GPU 上。每一个环节、每一个模型、每一家厂商如下。
| 管线环节 | 模型 | 出品方 | 运行方式 |
|---|---|---|---|
| 语音识别(ASR)——源视频转写,以及每句成片的再转写质检打分 | Whisper large-v3,运行于 faster-whisper 引擎 | OpenAI(开放权重,MIT);faster-whisper 为社区开源实现 | 自有 GPU 自托管 |
| 翻译(MT)——逐句翻译并强制执行你的术语表 | 混元 MT 2.0 7B(主路)· MiMo v2.6 flash(备路) | 腾讯(混元 MT 系列,开源权重);小米(MiMo 开源权重 LLM 系列) | 两路均经模型 API(OpenRouter / MiMo 直连)调用;其余全部环节自托管 |
| 声音克隆与配音(TTS)——按选定音色逐句合成 | IndexTTS-2.5 · Chatterbox 多语言版 · MiMo 音色克隆路线 | B 站 IndexSpeech 团队(开放权重);Resemble AI(Chatterbox,MIT);小米(MiMo 音频) | 全部自有 GPU 自托管,按目标语言自动选路线 |
| 人声分离——剥离干净人声作克隆参考、重配背景声床 | Demucs(htdemucs) | Meta AI(MIT) | 自托管,一次分离全语言复用 |
| 说话人识别——自动判断每句话是谁说的 | ESNet VoiceEncoder(Chatterbox 声纹编码器) | Resemble AI(MIT) | 自托管 CPU,全任务约 1 秒 |
| 硬字幕擦除——定位并逐帧修复烧录字幕 | RapidOCR(PaddleOCR 文字检测)+ STTN 视频修复;升级路线 LaMa | 百度 Paddle(Apache-2.0);STTN、LaMa 为学术开源(MIT / Apache-2.0) | 自托管,机器质检复核(擦除后再 OCR 验证零残留) |
| 质量控制——每句成片回听打分后才拼装母版 | 同一套 Whisper large-v3 再转写评分器 + 逐句术语核验 | 权重来自 OpenAI;评分与门禁逻辑为我们自研 | 自托管,内嵌每个任务 |
你的数据会去哪里
视频、音频、音色参考不经过任何第三方模型 API:ASR、TTS、分离、说话人识别、字幕擦除全部运行在我们租用的 GPU(标准任务:RunPod 美区)与自有 GPU(经济任务:亚洲机房)。唯一离开我们基础设施的模型调用是主路翻译——文本句子经 OpenRouter 调用腾讯混元 MT 2.0 7B,小米 MiMo v2.6 flash 为备用路线。处理方全名单见隐私政策第 5 节,7 天双副本自动删除对所有路线一视同仁。
模型变更
任何一个环节更换模型,本页与当次版本发布同步更新,并在「最近更新」写明。你选择的是能读懂的管线,不是黑箱。