语音处理与 TTS
13.1 语音识别
Whisper 日语微调:
- whisper-asr-finetune(Stars:32):Whisper ASR 模型的微调脚本
- N46Whisper(Stars:1,700):基于 Whisper 的日语字幕生成工具
- llm-jp-asr(Stars:9):以 LLM-jp 替换 Whisper 解码器的语音识别
- whisper-transcription(Stars:20):使用 Whisper 的音频转录
N46Whisper Stars:1,700——是语音处理工具中人气极高的。使用 OpenAI 的 Whisper 模型自动生成日语字幕,广泛用于影片内容字幕制作。
Julius 相关:
- dictation-kit(Stars:166):使用 Julius 的日语语音识别套件
- julius4seg(Stars:7):使用 Julius 的分割支援
Hugging Face 上的日语 ASR 模型
在 Hugging Face 的语音识别(ASR)类别中,Whisper 和 Wav2Vec2 的微调模型是主流。
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| wav2vec2-large-xlsr-53-japanese (jonatasgrosman) | 16M | 119 | 以 Common Voice/CSS10/JSUT 训练 |
| wav2vec2-large-xlsr-japanese-hiragana (vumichien) | 153k | 11 | 输出平假名的语音识别 |
| anime-whisper (litagin) | 33k | 165 | 动漫语音专家;以 5,300 小时训练 |
| kotoba-whisper-v2.0 (kotoba-tech) | 25k | 103 | 从 Whisper large-v3 蒸馏;6.3 倍速度 |
| kotoba-whisper-v2.2 (kotoba-tech) | 16k | 134 | 说话者识别 + 自动标点 |
| japanese-wav2vec2-base-rs35kh (reazon-research) | 10k | 3 | 以 ReazonSpeech v2.0 训练 |
| parakeet-tdt_ctc-0.6b-ja (nvidia) | 7k | 74 | NVIDIA NeMo;带标点转录 |
| kotoba-whisper-bilingual-v1.0 (kotoba-tech) | 4k | 19 | 日英双语 ASR,6.3 倍速度 |
| reazonspeech-nemo-v2 (reazon-research) | 4k | 41 | 6.19 亿参数;处理长音频 |
wav2vec2-large-xlsr-53-japanese 在 Hugging Face ASR 类别中使用量最大,达 16M 下载数,在全体日语 NLP 模型中亦排名第 1。以 Common Voice、CSS10 及 JSUT 语料库进行微调。
kotoba-whisper 系列(Kotoba Technologies):从 OpenAI Whisper large-v3 进行知识蒸馏的模型,在保持与教师模型相当的 CER/WER 的同时实现 6.3 倍加速。在 v2.2 中整合了说话者识别和自动标点功能。
anime-whisper 是在约 5,300 小时动漫风格对话语音上进行微调的专用 ASR 模型,获得 165 个点赞数。特点包括低幻觉率及非语言声音的识别。
parakeet-tdt_ctc-0.6b-ja(NVIDIA):基于 FastConformer 的 ASR 模型,拥有 6 亿参数,对日语语音进行带标点的转录。
reazonspeech-nemo-v2(Reazon Research):拥有 6.19 亿参数的大规模 ASR 模型,擅长处理讲座、会议等长时间语音。
模型选择指南:通用高速转录选 kotoba-whisper(比 Whisper 快 6.3 倍);动漫/游戏音频选 anime-whisper(支持非语言声音,低幻觉率);长文本内容选 reazonspeech-nemo-v2;精度优先并需标点选 parakeet-tdt_ctc-0.6b-ja(NVIDIA NeMo)。
13.2 文字转语音(TTS)
| 工具名 | Stars | 说明 |
|---|---|---|
| VOICEVOX (editor) | 3,300 | 免费文字转语音软件 |
| voicevox_engine | 1,800 | VOICEVOX 语音合成引擎 |
| voicevox_core | 1,200 | VOICEVOX 核心函式库(Rust) |
| pyopenjtalk | 261 | OpenJTalk 的 Python 封装 |
| tacotron2-japanese | 265 | Tacotron2 的日语实作 |
| j-moshi | 327 | 全双工语音对话系统 |
| jpreprocess | 61 | OpenJTalk 的 Rust 重写 |
| piper-plus | 240 | 增强日语支援的 Piper TTS |
VOICEVOX 合计 Stars 超过 6,300(编辑器:3,300 + 引擎:1,800 + 核心:1,200),是目前最受欢迎的日语语音合成工具。作为免费的中等品质文字转语音软件,广泛用于影片制作和游戏开发。
pyopenjtalk 是 OpenJTalk(日语文字转语音合成引擎)的 Python 封装,周间下载 14k,广泛采用。pyopenjtalk-plus(Stars:69,周间下载 5k):额外改进版本。
j-moshi 是由名古屋大学开发的日语全双工语音对话系统,Stars:327。是实现即时语音交互的创新专案。
Hugging Face 上的日语语音相关模型
在语音合成和处理领域,以下模型已在 Hugging Face 上发布:
- piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん语料库的 100 条语音微调的日语 TTS 模型。基于 VITS 架构,采用 WavLM 判别器与 A1/A2/A3 韵律特征,导出为 61MB 的 ONNX 文件。下载 2k,11 个点赞数。
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(声学模型与 JP-BERT 前端)的 GGUF 转换版,可透过 TTS.cpp 进行本地 GGML 推理。下载 1k,3 个点赞数。
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以单一模型同时处理 ASR 与 TTS 的日语语音模型量化 GGUF 版本,附带面向 llama.cpp 的 CLI/Server 执行器。下载 2k,23 个点赞数。
13.3 声调估计
MARINE(6gsn/marine):基于多任务学习的日语声调估计。Stars:38。
marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增强版本。Stars:9。