13

语音处理与 TTS

13.1 语音识别

Whisper 日语微调:

  • whisper-asr-finetune(Stars:32):Whisper ASR 模型的微调脚本
  • N46Whisper(Stars:1,700):基于 Whisper 的日语字幕生成工具
  • llm-jp-asr(Stars:9):以 LLM-jp 替换 Whisper 解码器的语音识别
  • whisper-transcription(Stars:20):使用 Whisper 的音频转录

N46Whisper Stars:1,700——是语音处理工具中人气极高的。使用 OpenAI 的 Whisper 模型自动生成日语字幕,广泛用于影片内容字幕制作。

Julius 相关:

  • dictation-kit(Stars:166):使用 Julius 的日语语音识别套件
  • julius4seg(Stars:7):使用 Julius 的分割支援
whisper-asr-finetune
Whisper ASR 模型的微调脚本
32
N46Whisper
基于 Whisper 的日语字幕生成工具
1.7k
llm-jp-asr
以 LLM-jp 替换 Whisper 解码器的语音识别
9
whisper-transcription
使用 Whisper 的音频转录
20
dictation-kit
使用 Julius 的日语语音识别套件
166
julius4seg
使用 Julius 的分割支援
7

Hugging Face 上的日语 ASR 模型

在 Hugging Face 的语音识别(ASR)类别中,Whisper 和 Wav2Vec2 的微调模型是主流。

模型名 HF 下载 点赞数 说明
wav2vec2-large-xlsr-53-japanese (jonatasgrosman) 16M 119 以 Common Voice/CSS10/JSUT 训练
wav2vec2-large-xlsr-japanese-hiragana (vumichien) 153k 11 输出平假名的语音识别
anime-whisper (litagin) 33k 165 动漫语音专家;以 5,300 小时训练
kotoba-whisper-v2.0 (kotoba-tech) 25k 103 从 Whisper large-v3 蒸馏;6.3 倍速度
kotoba-whisper-v2.2 (kotoba-tech) 16k 134 说话者识别 + 自动标点
japanese-wav2vec2-base-rs35kh (reazon-research) 10k 3 以 ReazonSpeech v2.0 训练
parakeet-tdt_ctc-0.6b-ja (nvidia) 7k 74 NVIDIA NeMo;带标点转录
kotoba-whisper-bilingual-v1.0 (kotoba-tech) 4k 19 日英双语 ASR,6.3 倍速度
reazonspeech-nemo-v2 (reazon-research) 4k 41 6.19 亿参数;处理长音频

wav2vec2-large-xlsr-53-japanese 在 Hugging Face ASR 类别中使用量最大,达 16M 下载数,在全体日语 NLP 模型中亦排名第 1。以 Common Voice、CSS10 及 JSUT 语料库进行微调。

kotoba-whisper 系列(Kotoba Technologies):从 OpenAI Whisper large-v3 进行知识蒸馏的模型,在保持与教师模型相当的 CER/WER 的同时实现 6.3 倍加速。在 v2.2 中整合了说话者识别和自动标点功能。

anime-whisper 是在约 5,300 小时动漫风格对话语音上进行微调的专用 ASR 模型,获得 165 个点赞数。特点包括低幻觉率及非语言声音的识别。

parakeet-tdt_ctc-0.6b-ja(NVIDIA):基于 FastConformer 的 ASR 模型,拥有 6 亿参数,对日语语音进行带标点的转录。

reazonspeech-nemo-v2(Reazon Research):拥有 6.19 亿参数的大规模 ASR 模型,擅长处理讲座、会议等长时间语音。

模型选择指南:通用高速转录选 kotoba-whisper(比 Whisper 快 6.3 倍);动漫/游戏音频选 anime-whisper(支持非语言声音,低幻觉率);长文本内容选 reazonspeech-nemo-v2;精度优先并需标点选 parakeet-tdt_ctc-0.6b-ja(NVIDIA NeMo)。

wav2vec2-large-xlsr-53-japanese (jonatasgrosman)
以 Common Voice/CSS10/JSUT 训练
16M 119
wav2vec2-large-xlsr-japanese-hiragana (vumichien)
输出平假名的语音识别
153k 11
anime-whisper (litagin)
动漫语音专家;以 5,300 小时训练
33k 165
kotoba-whisper-v2.0 (kotoba-tech)
从 Whisper large-v3 蒸馏;6.3 倍速度
25k 103
kotoba-whisper-v2.2 (kotoba-tech)
说话者识别 + 自动标点
16k 134
japanese-wav2vec2-base-rs35kh (reazon-research)
以 ReazonSpeech v2.0 训练
10k 3
parakeet-tdt_ctc-0.6b-ja (nvidia)
NVIDIA NeMo;带标点转录
7k 74
kotoba-whisper-bilingual-v1.0 (kotoba-tech)
日英双语 ASR,6.3 倍速度
4k 19
reazonspeech-nemo-v2 (reazon-research)
6.19 亿参数;处理长音频
4k 41
kotoba-whisper 系列
kotoba-whisper 系列(Kotoba Technologies):从 OpenAI Whisper large-v3 进行知识蒸馏的模型,在保持与教师模型相当的 CER/WER 的同时实现 6.3 倍加速。在 v2.2 中整合了说话者识别和自动标点功能。
parakeet-tdt_ctc-0.6b-ja
parakeet-tdt_ctc-0.6b-ja(NVIDIA):基于 FastConformer 的 ASR 模型,拥有 6 亿参数,对日语语音进行带标点的转录。
reazonspeech-nemo-v2
reazonspeech-nemo-v2(Reazon Research):拥有 6.19 亿参数的大规模 ASR 模型,擅长处理讲座、会议等长时间语音。

13.2 文字转语音(TTS)

工具名 Stars 说明
VOICEVOX (editor) 3,300 免费文字转语音软件
voicevox_engine 1,800 VOICEVOX 语音合成引擎
voicevox_core 1,200 VOICEVOX 核心函式库(Rust)
pyopenjtalk 261 OpenJTalk 的 Python 封装
tacotron2-japanese 265 Tacotron2 的日语实作
j-moshi 327 全双工语音对话系统
jpreprocess 61 OpenJTalk 的 Rust 重写
piper-plus 240 增强日语支援的 Piper TTS

VOICEVOX 合计 Stars 超过 6,300(编辑器:3,300 + 引擎:1,800 + 核心:1,200),是目前最受欢迎的日语语音合成工具。作为免费的中等品质文字转语音软件,广泛用于影片制作和游戏开发。

pyopenjtalk 是 OpenJTalk(日语文字转语音合成引擎)的 Python 封装,周间下载 14k,广泛采用。pyopenjtalk-plus(Stars:69,周间下载 5k):额外改进版本。

j-moshi 是由名古屋大学开发的日语全双工语音对话系统,Stars:327。是实现即时语音交互的创新专案。

VOICEVOX (editor)
免费文字转语音软件
3.3k
voicevox_engine
VOICEVOX 语音合成引擎
1.8k
voicevox_core
VOICEVOX 核心函式库(Rust)
1.2k
pyopenjtalk
OpenJTalk 的 Python 封装
261
tacotron2-japanese
Tacotron2 的日语实作
265
j-moshi
全双工语音对话系统
327
jpreprocess
OpenJTalk 的 Rust 重写
61
piper-plus
增强日语支援的 Piper TTS
240
pyopenjtalk-plus
pyopenjtalk 是 OpenJTalk(日语文字转语音合成引擎)的 Python 封装,周间下载 14k,广泛采用。pyopenjtalk-plus(Stars:69,周间下载 5k):额外改进版本。

Hugging Face 上的日语语音相关模型

在语音合成和处理领域,以下模型已在 Hugging Face 上发布:

  • piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん语料库的 100 条语音微调的日语 TTS 模型。基于 VITS 架构,采用 WavLM 判别器与 A1/A2/A3 韵律特征,导出为 61MB 的 ONNX 文件。下载 2k,11 个点赞数。
  • style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(声学模型与 JP-BERT 前端)的 GGUF 转换版,可透过 TTS.cpp 进行本地 GGML 推理。下载 1k,3 个点赞数。
  • LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以单一模型同时处理 ASR 与 TTS 的日语语音模型量化 GGUF 版本,附带面向 llama.cpp 的 CLI/Server 执行器。下载 2k,23 个点赞数。
piper-plus-tsukuyomi-chan
- piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん语料库的 100 条语音微调的日语 TTS 模型。基于 VITS 架构,采用 WavLM 判别器与 A1/A2/A3 韵律特征,导出为 61MB 的 ONNX 文件。下载 2k,11 个点赞数。
style-bert-vits2-gguf
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(声学模型与 JP-BERT 前端)的 GGUF 转换版,可透过 TTS.cpp 进行本地 GGML 推理。下载 1k,3 个点赞数。
LFM2.5-Audio-1.5B-JP-GGUF
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以单一模型同时处理 ASR 与 TTS 的日语语音模型量化 GGUF 版本,附带面向 llama.cpp 的 CLI/Server 执行器。下载 2k,23 个点赞数。

13.3 声调估计

MARINE(6gsn/marine):基于多任务学习的日语声调估计。Stars:38。

marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增强版本。Stars:9。


MARINE
MARINE(6gsn/marine):基于多任务学习的日语声调估计。Stars:38。
marine-plus
marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增强版本。Stars:9。