| | |
| | | Round 4:接英文高级 Parakeet |
| | | Round 5:接中文高级 Qwen3-ASR |
| | | Round 6:完善模型管理和未来欧洲语言扩展 |
| | | Round 7:X-ASR 流式中英混输候选模型评估 |
| | | ``` |
| | | |
| | | 第一期可交付版本建议至少做到: |
| | |
| | | | Round 4 | Parakeet 高级模型 | 英文用户可下载 Parakeet | 中 | |
| | | | Round 5 | Qwen3-ASR 高级模型 | 中文用户可下载 Qwen3-ASR | 高 | |
| | | | Round 6 | 模型管理成熟化 + 欧洲语言准备 | 删除、回滚、未来多语言 | 中 | |
| | | | Round 7 | X-ASR 流式候选模型评估 | 未来可能支持实时边说边出字和中英混输 | 中高 | |
| | | |
| | | ## 3. Round 1:模型 Profile 基础设施 |
| | | |
| | |
| | | 中等。 |
| | | 建议 4-8 个研发日。 |
| | | |
| | | ## 9. 推荐发布组合 |
| | | ## 9. Round 7:X-ASR 流式中英混输候选模型评估 |
| | | |
| | | ### 9.1 内部技术版本 |
| | | ### 9.1 目标 |
| | | |
| | | 评估 `Gilgamesh-J/X-ASR` 的 `X-ASR-zh-en` 是否值得纳入未来模型选项,重点不是“再加一个模型”,而是判断它能否带来当前模型没有覆盖好的实时输入价值。 |
| | | |
| | | ### 9.2 产品假设 |
| | | |
| | | X-ASR 的价值主要来自: |
| | | |
| | | - 中文/英文双语和中英混输。 |
| | | - true streaming decoding,可支撑未来“边说边出字”。 |
| | | - 基于 sherpa-onnx,和当前模型技术栈方向一致。 |
| | | - 相比 Qwen3-ASR,可能牺牲一部分离线准确率,换取更小模型规模和更强低延迟交互能力。 |
| | | |
| | | ### 9.3 范围 |
| | | |
| | | 评估项: |
| | | |
| | | - 下载并整理 `X-ASR-zh-en` 单个 chunk 变体。 |
| | | - 初始只选一个 chunk,不带四个 chunk 全量包。 |
| | | - 优先测试 `480 ms` 或 `960 ms`:前者偏低延迟,后者偏准确率。 |
| | | - 新增实验性 `x-asr-zh-en` profile,但默认隐藏在普通用户 UI 之外。 |
| | | - 验证 sherpa-onnx Go 绑定是否支持当前所需 streaming API。 |
| | | - 如当前离线 Engine 接口不适合,先做独立 streaming prototype,不直接接入正式录音上屏链路。 |
| | | |
| | | ### 9.4 不做 |
| | | |
| | | - 不替换 SenseVoice 中文默认模型。 |
| | | - 不替换 Qwen3-ASR 中文高级模型。 |
| | | - 不替换 Moonshine/Parakeet English 路线。 |
| | | - 不把四个 chunk 一起发布。 |
| | | - 不在技术报告和合规材料补齐前作为正式推荐模型。 |
| | | |
| | | ### 9.5 验收标准 |
| | | |
| | | - 明确 X-ASR 与 SenseVoice、Qwen3-ASR、Moonshine、Parakeet 的定位差异。 |
| | | - 至少完成 Apple Silicon 真机延迟、内存、发热、识别质量 smoke test。 |
| | | - 覆盖中文、中英混输、英文技术词、长句口述和噪声样本。 |
| | | - 输出是否进入产品路线的决策:`放弃 / 保留研究 / 实验入口 / 正式候选`。 |
| | | - 如果进入产品路线,补齐模型 profile、下载、校验、删除、失败回退和 license notice 方案。 |
| | | |
| | | ### 9.6 预估工作量 |
| | | |
| | | 中高。 |
| | | 建议 3-5 个研发日做技术 spike;如果进入正式产品化,再单独拆 Round。 |
| | | |
| | | ## 10. 推荐发布组合 |
| | | |
| | | ### 10.1 内部技术版本 |
| | | |
| | | ```text |
| | | Round 1 |
| | |
| | | |
| | | - 验证 profile 抽象不会破坏现有 SenseVoice。 |
| | | |
| | | ### 9.2 English MVP |
| | | ### 10.2 English MVP |
| | | |
| | | ```text |
| | | Round 1 + Round 2 + Round 3 |
| | |
| | | - 默认 Moonshine English。 |
| | | - 形成英文用户可用版本。 |
| | | |
| | | ### 9.3 English Pro |
| | | ### 10.3 English Pro |
| | | |
| | | ```text |
| | | Round 4 |
| | |
| | | |
| | | - 为英文用户提供 Parakeet 高级模型。 |
| | | |
| | | ### 9.4 Chinese Pro |
| | | ### 10.4 Chinese Pro |
| | | |
| | | ```text |
| | | Round 5 |
| | |
| | | |
| | | - 为中文用户提供 Qwen3-ASR 高级模型。 |
| | | |
| | | ### 9.5 多语言准备版 |
| | | ### 10.5 多语言准备版 |
| | | |
| | | ```text |
| | | Round 6 |
| | |
| | | - 稳定模型管理。 |
| | | - 为未来欧洲语言版本做技术准备。 |
| | | |
| | | ## 10. 关键依赖 |
| | | ### 10.6 实时输入探索版 |
| | | |
| | | ### 10.1 模型包确认 |
| | | ```text |
| | | Round 7 |
| | | ``` |
| | | |
| | | 目的: |
| | | |
| | | - 验证 X-ASR 是否能支撑实时中英混输输入体验。 |
| | | - 在不影响当前正式模型路线的前提下,为未来“边说边出字”做技术判断。 |
| | | |
| | | ## 11. 关键依赖 |
| | | |
| | | ### 11.1 模型包确认 |
| | | |
| | | 每个模型需要确认: |
| | | |
| | |
| | | - macOS 可运行性。 |
| | | - sherpa-onnx 当前 Go 绑定支持情况。 |
| | | |
| | | ### 10.2 sherpa-onnx 版本 |
| | | ### 11.2 sherpa-onnx 版本 |
| | | |
| | | 当前项目使用 `v1.12.24`。 |
| | | Qwen3-ASR 在较新版本中支持更完整。建议在 Round 1 或 Round 5 前评估是否升级到较新 `sherpa-onnx-go`。 |
| | | |
| | | ### 10.3 UI 文案 |
| | | ### 11.3 UI 文案 |
| | | |
| | | English 分支需要完整英文 UI 文案,不只是模型页面。 |
| | | |
| | | ### 10.4 回归测试音频 |
| | | ### 11.4 回归测试音频 |
| | | |
| | | 需要准备: |
| | | |
| | |
| | | - 英文短句。 |
| | | - 英文技术词。 |
| | | - Parakeet 支持语言样例,后续使用。 |
| | | - X-ASR 中英混输和实时 partial 输出样例,后续使用。 |
| | | |
| | | ### 10.5 后续 UI 与品牌命名调整 |
| | | ### 11.5 后续 UI 与品牌命名调整 |
| | | |
| | | 以下需求已进入 `v2.1.24 build 20260603.1934` 品牌命名调整: |
| | | |
| | |
| | | - App 正式名称从 `PrivateVoice Input` 改为 `PrivateVoice Dictation`。 |
| | | - 本轮不迁移用户数据目录,继续使用既有 `Application Support/PrivateVoice Input`,避免影响历史记录、模型文件和系统权限。 |
| | | |
| | | ## 11. 总体建议 |
| | | ## 12. 总体建议 |
| | | |
| | | 最稳的执行策略: |
| | | |
| | |
| | | 发布 English MVP |
| | | 再做 Round 4 和 Round 5 |
| | | 最后做 Round 6 |
| | | 单独做 Round 7 X-ASR 技术 spike |
| | | ``` |
| | | |
| | | 不要在 Round 1 里同时接 Moonshine、Parakeet、Qwen3-ASR。 |
| | | 不要在 English MVP 之前先做 30 种语言 UI。 |
| | | 不要把 Parakeet 和 Qwen3-ASR 作为默认模型自动下载。 |
| | | 不要把 X-ASR 混入当前正式模型发布链路;先证明实时输入价值。 |