Whisper：开源语音转文字（STT）方案

Whisper 是开源的自动语音识别模型，用于把语音转成文字，也可以处理部分语音翻译任务。它属于 STT，而不是把文字合成为声音的 TTS。官方代码与模型说明见 openai/whisper，研究背景见 Whisper 介绍。

适合什么任务

Whisper 适合采访、课程、个人语音笔记和已有授权的视频字幕初稿。它可以在自己的设备上运行，便于控制音频文件去向，但硬件要求、速度和实际准确率会随模型大小、音频语言、噪声与实现方式变化。若需要实时低延迟、精确说话人区分或企业级词表，应先用真实样例评估完整工具链，而不是只比较模型名称。

一个稳妥的流程是：保留原始音频，转换成实现支持的常见格式；对长录音按停顿切分；生成带时间戳的初稿；最后回听数字、姓名、否定词和低置信片段。不同封装工具的命令与加速方式不同，请以所用项目文档为准。

先用较小模型跑一段五分钟左右的代表性音频，记录耗时、内存占用和关键错误。如果中文、口音或专业词汇错误过多，再尝试更大模型或更好的音频。模型更大通常需要更多资源，也不保证解决录音质量差、多人抢话或术语缺失的问题。批量任务应先验证输出编码、时间轴和中断恢复，避免处理数小时后才发现格式不合适。

语音识别的“幻觉”是音频中没有对应内容，结果却出现了看似合理的句子。静音、持续噪声、音乐、极短片段和切分不当都可能增加风险。可参考社区讨论中的一个排查方案，并在自己的流程中加入：静音检测、重复文本检测、片段长度限制、置信信息检查和随机抽样回听。

不要用语言是否通顺作为唯一判断。幻觉往往恰好很通顺；时间轴与原音对照才是可靠检查。对外发布、法律记录和研究数据应保留人工审核。

Whisper 主要针对语音，不是专门的歌词识别器。社区反馈中有英语与中文歌曲效果差异和不建议把歌曲当普通语音处理的讨论。伴奏、多声部、拖长音和重复副歌都会增加困难。

可以先做音乐源分离提取人声，再进行识别，但分离产生的伪影也可能降低准确率。歌词有版权与授权边界，公开字幕或数据集前还需要确认使用权。

基础转写并不等于可靠的说话人分离。需要会议角色时，通常要组合额外的 diarization 工具，再人工确认每个标签对应的人。

推理可以在本地完成，但首次下载模型、安装依赖、更新检查或第三方界面仍可能联网。处理敏感音频前应检查具体软件的网络和日志设置。