13

語音處理與 TTS

13.1 語音辨識

Whisper 日語微調:

  • whisper-asr-finetune(Stars:32):Whisper ASR 模型的微調腳本
  • N46Whisper(Stars:1,700):基於 Whisper 的日語字幕生成工具
  • llm-jp-asr(Stars:9):以 LLM-jp 替換 Whisper 解碼器的語音辨識
  • whisper-transcription(Stars:20):使用 Whisper 的音訊轉錄

N46Whisper Stars:1,700——是語音處理工具中人氣極高的。使用 OpenAI 的 Whisper 模型自動生成日語字幕,廣泛用於影片內容字幕製作。

Julius 相關:

  • dictation-kit(Stars:166):使用 Julius 的日語語音辨識套件
  • julius4seg(Stars:7):使用 Julius 的分割支援
whisper-asr-finetune
Whisper ASR 模型的微調腳本
32
N46Whisper
基於 Whisper 的日語字幕生成工具
1.7k
llm-jp-asr
以 LLM-jp 替換 Whisper 解碼器的語音辨識
9
whisper-transcription
使用 Whisper 的音訊轉錄
20
dictation-kit
使用 Julius 的日語語音辨識套件
166
julius4seg
使用 Julius 的分割支援
7

Hugging Face 上的日語 ASR 模型

在 Hugging Face 的語音辨識(ASR)類別中,Whisper 和 Wav2Vec2 的微調模型是主流。

模型名 HF 下載 按讚數 說明
wav2vec2-large-xlsr-53-japanese (jonatasgrosman) 16M 119 以 Common Voice/CSS10/JSUT 訓練
wav2vec2-large-xlsr-japanese-hiragana (vumichien) 153k 11 輸出平假名的語音辨識
anime-whisper (litagin) 33k 165 動漫語音專家;以 5,300 小時訓練
kotoba-whisper-v2.0 (kotoba-tech) 25k 103 從 Whisper large-v3 蒸餾;6.3 倍速度
kotoba-whisper-v2.2 (kotoba-tech) 16k 134 說話者辨識 + 自動標點
japanese-wav2vec2-base-rs35kh (reazon-research) 10k 3 以 ReazonSpeech v2.0 訓練
parakeet-tdt_ctc-0.6b-ja (nvidia) 7k 74 NVIDIA NeMo;帶標點轉錄
kotoba-whisper-bilingual-v1.0 (kotoba-tech) 4k 19 日英雙語 ASR,6.3 倍速度
reazonspeech-nemo-v2 (reazon-research) 4k 41 6.19 億參數;處理長音訊

wav2vec2-large-xlsr-53-japanese 在 Hugging Face ASR 類別中使用量最大,達 16M 下載數,在全體日語 NLP 模型中亦排名第 1。以 Common Voice、CSS10 及 JSUT 語料庫進行微調。

kotoba-whisper 系列(Kotoba Technologies):從 OpenAI Whisper large-v3 進行知識蒸餾的模型,在保持與教師模型相當的 CER/WER 的同時實現 6.3 倍加速。在 v2.2 中整合了說話者辨識和自動標點功能。

anime-whisper 是在約 5,300 小時動漫風格對話語音上進行微調的專用 ASR 模型,獲得 165 個按讚數。特點包括低幻覺率及非語言聲音的識別。

parakeet-tdt_ctc-0.6b-ja(NVIDIA):基於 FastConformer 的 ASR 模型,擁有 6 億參數,對日語語音進行帶標點的轉錄。

reazonspeech-nemo-v2(Reazon Research):擁有 6.19 億參數的大規模 ASR 模型,擅長處理講座、會議等長時間語音。

模型選擇指南:通用高速轉錄選 kotoba-whisper(比 Whisper 快 6.3 倍);動漫/遊戲音訊選 anime-whisper(支援非語言聲音,低幻覺率);長文本內容選 reazonspeech-nemo-v2;精度優先並需標點選 parakeet-tdt_ctc-0.6b-ja(NVIDIA NeMo)。

wav2vec2-large-xlsr-53-japanese (jonatasgrosman)
以 Common Voice/CSS10/JSUT 訓練
16M 119
wav2vec2-large-xlsr-japanese-hiragana (vumichien)
輸出平假名的語音辨識
153k 11
anime-whisper (litagin)
動漫語音專家;以 5,300 小時訓練
33k 165
kotoba-whisper-v2.0 (kotoba-tech)
從 Whisper large-v3 蒸餾;6.3 倍速度
25k 103
kotoba-whisper-v2.2 (kotoba-tech)
說話者辨識 + 自動標點
16k 134
japanese-wav2vec2-base-rs35kh (reazon-research)
以 ReazonSpeech v2.0 訓練
10k 3
parakeet-tdt_ctc-0.6b-ja (nvidia)
NVIDIA NeMo;帶標點轉錄
7k 74
kotoba-whisper-bilingual-v1.0 (kotoba-tech)
日英雙語 ASR,6.3 倍速度
4k 19
reazonspeech-nemo-v2 (reazon-research)
6.19 億參數;處理長音訊
4k 41
kotoba-whisper 系列
kotoba-whisper 系列(Kotoba Technologies):從 OpenAI Whisper large-v3 進行知識蒸餾的模型,在保持與教師模型相當的 CER/WER 的同時實現 6.3 倍加速。在 v2.2 中整合了說話者辨識和自動標點功能。
parakeet-tdt_ctc-0.6b-ja
parakeet-tdt_ctc-0.6b-ja(NVIDIA):基於 FastConformer 的 ASR 模型,擁有 6 億參數,對日語語音進行帶標點的轉錄。
reazonspeech-nemo-v2
reazonspeech-nemo-v2(Reazon Research):擁有 6.19 億參數的大規模 ASR 模型,擅長處理講座、會議等長時間語音。

13.2 文字轉語音(TTS)

工具名 Stars 說明
VOICEVOX (editor) 3,300 免費文字轉語音軟體
voicevox_engine 1,800 VOICEVOX 語音合成引擎
voicevox_core 1,200 VOICEVOX 核心函式庫(Rust)
pyopenjtalk 261 OpenJTalk 的 Python 封裝
tacotron2-japanese 265 Tacotron2 的日語實作
j-moshi 327 全雙工語音對話系統
jpreprocess 61 OpenJTalk 的 Rust 重寫
piper-plus 240 增強日語支援的 Piper TTS

VOICEVOX 合計 Stars 超過 6,300(編輯器:3,300 + 引擎:1,800 + 核心:1,200),是目前最受歡迎的日語語音合成工具。作為免費的中等品質文字轉語音軟體,廣泛用於影片製作和遊戲開發。

pyopenjtalk 是 OpenJTalk(日語文字轉語音合成引擎)的 Python 封裝,週間下載 14k,廣泛採用。pyopenjtalk-plus(Stars:69,週間下載 5k):額外改進版本。

j-moshi 是由名古屋大學開發的日語全雙工語音對話系統,Stars:327。是實現即時語音交互的創新專案。

VOICEVOX (editor)
免費文字轉語音軟體
3.3k
voicevox_engine
VOICEVOX 語音合成引擎
1.8k
voicevox_core
VOICEVOX 核心函式庫(Rust)
1.2k
pyopenjtalk
OpenJTalk 的 Python 封裝
261
tacotron2-japanese
Tacotron2 的日語實作
265
j-moshi
全雙工語音對話系統
327
jpreprocess
OpenJTalk 的 Rust 重寫
61
piper-plus
增強日語支援的 Piper TTS
240
pyopenjtalk-plus
pyopenjtalk 是 OpenJTalk(日語文字轉語音合成引擎)的 Python 封裝,週間下載 14k,廣泛採用。pyopenjtalk-plus(Stars:69,週間下載 5k):額外改進版本。

Hugging Face 上的日語語音相關模型

在語音合成和處理領域,以下模型已在 Hugging Face 上發布:

  • piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん語料庫的 100 條語音微調的日語 TTS 模型。基於 VITS 架構,採用 WavLM 判別器與 A1/A2/A3 韻律特徵,匯出為 61MB 的 ONNX 檔案。下載 2k,11 個按讚數。
  • style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(聲學模型與 JP-BERT 前端)的 GGUF 轉換版,可透過 TTS.cpp 進行本地 GGML 推論。下載 1k,3 個按讚數。
  • LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以單一模型同時處理 ASR 與 TTS 的日語語音模型量化 GGUF 版本,附帶面向 llama.cpp 的 CLI/Server 執行器。下載 2k,23 個按讚數。
piper-plus-tsukuyomi-chan
- piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん語料庫的 100 條語音微調的日語 TTS 模型。基於 VITS 架構,採用 WavLM 判別器與 A1/A2/A3 韻律特徵,匯出為 61MB 的 ONNX 檔案。下載 2k,11 個按讚數。
style-bert-vits2-gguf
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(聲學模型與 JP-BERT 前端)的 GGUF 轉換版,可透過 TTS.cpp 進行本地 GGML 推論。下載 1k,3 個按讚數。
LFM2.5-Audio-1.5B-JP-GGUF
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以單一模型同時處理 ASR 與 TTS 的日語語音模型量化 GGUF 版本,附帶面向 llama.cpp 的 CLI/Server 執行器。下載 2k,23 個按讚數。

13.3 聲調估計

MARINE(6gsn/marine):基於多任務學習的日語聲調估計。Stars:38。

marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增強版本。Stars:9。


MARINE
MARINE(6gsn/marine):基於多任務學習的日語聲調估計。Stars:38。
marine-plus
marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增強版本。Stars:9。