# VoiceSnap 多语言与多模型 Round 分期计划 状态：研发分期建议稿 日期：2026-06-02 子项目目录：`02-P-NBL` 关联文档： - `product-plan.md` - `engineering-plan.md` ## 1. 分期原则 这次改造不建议一次性做完。原因： - 当前代码是单 SenseVoice 模型路径，直接上四模型会扩大风险。 - Moonshine、Parakeet、Qwen3-ASR 的模型文件结构不同。 - 下载、切换、删除、回滚都涉及用户本地大文件，必须分阶段验证。 - 未来要支持 30+ 语言，第一版就要避免硬编码。 建议拆成 6 个 Round。 核心顺序： ```text Round 1：先抽象 Round 2：再做语言 Round 3：接英文默认 Moonshine Round 4：接英文高级 Parakeet Round 5：接中文高级 Qwen3-ASR Round 6：完善模型管理和未来欧洲语言扩展 ``` 第一期可交付版本建议至少做到： ```text Round 1 + Round 2 + Round 3 ``` 这样可以真正形成一个英文默认 Moonshine 的可用分支。 ## 2. Round 总览 | Round | 目标 | 用户可见变化 | 风险 | |---|---|---|---| | Round 1 | 模型 profile 基础设施 | 基本无变化 | 中 | | Round 2 | 语言检测与语言设置 | 可选择中文/English | 中 | | Round 3 | Moonshine English 默认模型 | 英文系统默认 Moonshine | 中高 | | Round 4 | Parakeet 高级模型 | 英文用户可下载 Parakeet | 中 | | Round 5 | Qwen3-ASR 高级模型 | 中文用户可下载 Qwen3-ASR | 高 | | Round 6 | 模型管理成熟化 + 欧洲语言准备 | 删除、回滚、未来多语言 | 中 | ## 3. Round 1：模型 Profile 基础设施 ### 3.1 目标 不改变用户体验，先把现有 SenseVoice 纳入多模型架构。 当前： ```text 写死 SenseVoice ``` 目标： ```text ModelProfile -> EngineFactory -> SenseVoice ``` ### 3.2 范围 新增： - `ModelProfile` - `ModelRegistry` - `LanguageProfile` - `LanguageRegistry` - `ModelInstallState` - `sensevoice-zh` profile - `EngineFactory` 改造： - 把现有 `ModelPath()`、`ModelDir()`、`ModelExists()` 改成基于 profile。 - 保持旧 `models/sensevoice` 兼容。 - 现有 SenseVoice 仍然能加载。 ### 3.3 不做 - 不接 Moonshine。 - 不接 Parakeet。 - 不接 Qwen3-ASR。 - 不做语言 UI。 - 不做模型选择 UI。 ### 3.4 验收标准 - 中文现有功能不退化。 - SenseVoice 可正常下载、加载、识别。 - 旧模型目录兼容。 - 旧配置兼容。 - 单元测试覆盖 profile required files 校验。 ### 3.5 预估工作量 中等。 建议 3-5 个研发日。 ## 4. Round 2：语言检测与语言版本设置 ### 4.1 目标 建立语言版本概念，首次启动根据系统语言选择中文或 English。 ### 4.2 范围 新增配置： ```json { "LanguageMode": "auto", "LanguageID": "zh-CN", "SelectedModelID": "sensevoice-zh" } ``` 支持： - 自动检测系统语言。 - 中文系统默认 `zh-CN`。 - English 系统默认 `en`. - 其他系统语言暂时默认 `en`。 - 用户可手动选择中文或 English。 - 手动选择后保存。 设置页新增： ```text 语言版本 自动（跟随系统） 中文 English ``` ### 4.3 不做 - 不做 30 种语言列表。 - 不做粤语。 - 不做法语/德语/西语等欧洲语言。 - 不自动切换模型删除。 ### 4.4 验收标准 - 中文系统首次启动为中文 + SenseVoice。 - English 系统首次启动为 English。 - 用户手动切换语言后配置持久化。 - 语言切换不破坏用户词库、历史、热键设置。 ### 4.5 预估工作量 中等。 建议 3-5 个研发日。 ## 5. Round 3：Moonshine English 默认模型 ### 5.1 目标 让 English 语言版本真正可用，并默认使用 Moonshine English。 ### 5.2 范围 新增： - `moonshine-en` profile。 - Moonshine required files 校验。 - Moonshine 下载、解压、安装。 - Moonshine config builder。 - English UI 文案。 模型路径： ```text models/moonshine-en/ ``` 预期文件： ```text encoder_model.ort decoder_model_merged.ort tokens.txt ``` sherpa config： ```go config.ModelConfig.Moonshine.Encoder = encoderPath config.ModelConfig.Moonshine.MergedDecoder = mergedDecoderPath config.ModelConfig.Tokens = tokensPath ``` ### 5.3 用户体验 English 系统首次启动： ```text English UI Moonshine English 默认模型 ``` 中文系统不受影响。 ### 5.4 不做 - 不接 Moonshine Voice framework。 - 不做实时 partial transcript。 - 不做 Parakeet。 - 不做 Qwen3-ASR。 ### 5.5 验收标准 - English 系统默认模型为 Moonshine English。 - Moonshine 可下载、校验、加载。 - 英文语音可识别。 - 用户词库、历史、上屏逻辑复用。 - Moonshine 初始化失败时不破坏 SenseVoice。 ### 5.6 预估工作量 中高。 建议 5-8 个研发日。 ## 6. Round 4：Parakeet 英文高级模型 ### 6.1 目标 让 English 用户可以主动下载并切换到 Parakeet。 ### 6.2 范围 新增： - `parakeet-en` profile。 - `nemo_transducer` backend builder。 - Parakeet required files 校验。 - Parakeet 下载、安装、使用、删除。 模型路径： ```text models/parakeet-en/ ``` 预期文件： ```text encoder.int8.onnx decoder.int8.onnx joiner.int8.onnx tokens.txt ``` sherpa config： ```go config.ModelConfig.Transducer.Encoder = encoderPath config.ModelConfig.Transducer.Decoder = decoderPath config.ModelConfig.Transducer.Joiner = joinerPath config.ModelConfig.Tokens = tokensPath config.ModelConfig.ModelType = "nemo_transducer" ``` ### 6.3 用户体验 English 识别模型页： ```text Moonshine English 轻量英文模型，推荐。 Parakeet 高质量英文/欧洲语言模型，体积较大。 ``` 用户点击 Parakeet： ```text 下载 -> 安装 -> 使用 ``` Moonshine 保留。 ### 6.4 不做 - 不把 Parakeet 作为 English 默认模型。 - 不开放法语/德语/西语等欧洲语言 UI。 - 不自动删除 Moonshine。 ### 6.5 验收标准 - Parakeet 未安装时不能直接使用。 - Parakeet 可下载、校验、加载。 - Moonshine 和 Parakeet 可切换。 - 删除 Parakeet 后可回到 Moonshine。 - 当前正在使用 Parakeet 时不能直接删除 Parakeet。 ### 6.6 预估工作量 中等。 建议 4-7 个研发日。 ## 7. Round 5：Qwen3-ASR 中文高级模型 ### 7.1 目标 让中文用户可以主动下载并切换到 Qwen3-ASR。 ### 7.2 范围 新增： - `qwen3-asr-0.6b` profile。 - `qwen3_asr` backend builder。 - Qwen3-ASR required files 校验。 - tokenizer 目录校验。 - Qwen3-ASR 下载、安装、使用、删除。 模型路径： ```text models/qwen3-asr-0.6b/ ``` 预期文件： ```text conv_frontend.onnx encoder.int8.onnx decoder.int8.onnx tokenizer/merges.txt tokenizer/vocab.json ``` sherpa config： ```go config.ModelConfig.Qwen3ASR.ConvFrontend = convFrontendPath config.ModelConfig.Qwen3ASR.Encoder = encoderPath config.ModelConfig.Qwen3ASR.Decoder = decoderPath config.ModelConfig.Qwen3ASR.Tokenizer = tokenizerDir ``` ### 7.3 用户体验 中文识别模型页： ```text SenseVoice 轻量中文模型，推荐。 Qwen3-ASR 高质量多语言大模型，适合中文、中英混输、粤语和更多语言。体积较大。 ``` SenseVoice 保留。 ### 7.4 不做 - 不把 Qwen3-ASR 作为中文默认模型。 - 不自动删除 SenseVoice。 - 不把粤语作为独立 UI 语言开放。 ### 7.5 验收标准 - Qwen3-ASR 未安装时不能直接使用。 - Qwen3-ASR 可下载、校验、加载。 - SenseVoice 和 Qwen3-ASR 可切换。 - 删除 Qwen3-ASR 后可回到 SenseVoice。 - 当前正在使用 Qwen3-ASR 时不能直接删除 Qwen3-ASR。 ### 7.6 预估工作量 高。 建议 6-10 个研发日。 ## 8. Round 6：模型管理成熟化与欧洲语言准备 ### 8.1 目标 完善模型管理体验，并为未来欧洲语言版本做准备。 ### 8.2 范围 模型管理： - 当前模型删除保护。 - 删除确认。 - 模型磁盘占用展示。 - 模型损坏检测。 - 重新下载。 - 切换失败回滚。 - 下载失败不破坏旧模型。 - 解压失败不破坏旧模型。 未来语言准备： - 扩展 `LanguageProfile` 支持更多语言。 - 为 Parakeet 标注欧洲语言支持范围。 - 预留语言列表 UI。 - 明确 Parakeet 可作为法语、德语、西班牙语、意大利语、葡萄牙语、俄语、乌克兰语等语言的默认候选模型。 ### 8.3 不做 - 不要求一次性上线 30 种语言。 - 不要求上线欧洲语言 UI。 - 不做模型市场。 - 不做自动语言检测切换模型。 ### 8.4 验收标准 - 模型删除有确认。 - 当前模型不能删除。 - 非当前模型可删除。 - 删除不影响用户词库、历史、配置。 - 模型损坏时可重新下载。 - 切换失败时原模型继续可用。 - 语言和模型配置没有硬编码阻碍未来扩展。 ### 8.5 预估工作量 中等。 建议 4-8 个研发日。 ## 9. 推荐发布组合 ### 9.1 内部技术版本 ```text Round 1 ``` 目的： - 验证 profile 抽象不会破坏现有 SenseVoice。 ### 9.2 English MVP ```text Round 1 + Round 2 + Round 3 ``` 目的： - 英文系统可自动进入 English 体验。 - 默认 Moonshine English。 - 形成英文用户可用版本。 ### 9.3 English Pro ```text Round 4 ``` 目的： - 为英文用户提供 Parakeet 高级模型。 ### 9.4 Chinese Pro ```text Round 5 ``` 目的： - 为中文用户提供 Qwen3-ASR 高级模型。 ### 9.5 多语言准备版 ```text Round 6 ``` 目的： - 稳定模型管理。 - 为未来欧洲语言版本做技术准备。 ## 10. 关键依赖 ### 10.1 模型包确认 每个模型需要确认： - 下载 URL。 - 压缩包格式。 - 解压后目录结构。 - required files。 - 体积。 - macOS 可运行性。 - sherpa-onnx 当前 Go 绑定支持情况。 ### 10.2 sherpa-onnx 版本 当前项目使用 `v1.12.24`。 Qwen3-ASR 在较新版本中支持更完整。建议在 Round 1 或 Round 5 前评估是否升级到较新 `sherpa-onnx-go`。 ### 10.3 UI 文案 English 分支需要完整英文 UI 文案，不只是模型页面。 ### 10.4 回归测试音频 需要准备： - 中文短句。 - 中英混输。 - 英文短句。 - 英文技术词。 - Parakeet 支持语言样例，后续使用。 ## 11. 总体建议 最稳的执行策略： ```text 先做 Round 1 确认现有中文产品不退化 再做 Round 2 + Round 3 发布 English MVP 再做 Round 4 和 Round 5 最后做 Round 6 ``` 不要在 Round 1 里同时接 Moonshine、Parakeet、Qwen3-ASR。 不要在 English MVP 之前先做 30 种语言 UI。 不要把 Parakeet 和 Qwen3-ASR 作为默认模型自动下载。