語音處理與 TTS
13.1 語音辨識
Whisper 日語微調:
- whisper-asr-finetune(Stars:32):Whisper ASR 模型的微調腳本
- N46Whisper(Stars:1,700):基於 Whisper 的日語字幕生成工具
- llm-jp-asr(Stars:9):以 LLM-jp 替換 Whisper 解碼器的語音辨識
- whisper-transcription(Stars:20):使用 Whisper 的音訊轉錄
N46Whisper Stars:1,700——是語音處理工具中人氣極高的。使用 OpenAI 的 Whisper 模型自動生成日語字幕,廣泛用於影片內容字幕製作。
Julius 相關:
- dictation-kit(Stars:166):使用 Julius 的日語語音辨識套件
- julius4seg(Stars:7):使用 Julius 的分割支援
Hugging Face 上的日語 ASR 模型
在 Hugging Face 的語音辨識(ASR)類別中,Whisper 和 Wav2Vec2 的微調模型是主流。
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| wav2vec2-large-xlsr-53-japanese (jonatasgrosman) | 16M | 119 | 以 Common Voice/CSS10/JSUT 訓練 |
| wav2vec2-large-xlsr-japanese-hiragana (vumichien) | 153k | 11 | 輸出平假名的語音辨識 |
| anime-whisper (litagin) | 33k | 165 | 動漫語音專家;以 5,300 小時訓練 |
| kotoba-whisper-v2.0 (kotoba-tech) | 25k | 103 | 從 Whisper large-v3 蒸餾;6.3 倍速度 |
| kotoba-whisper-v2.2 (kotoba-tech) | 16k | 134 | 說話者辨識 + 自動標點 |
| japanese-wav2vec2-base-rs35kh (reazon-research) | 10k | 3 | 以 ReazonSpeech v2.0 訓練 |
| parakeet-tdt_ctc-0.6b-ja (nvidia) | 7k | 74 | NVIDIA NeMo;帶標點轉錄 |
| kotoba-whisper-bilingual-v1.0 (kotoba-tech) | 4k | 19 | 日英雙語 ASR,6.3 倍速度 |
| reazonspeech-nemo-v2 (reazon-research) | 4k | 41 | 6.19 億參數;處理長音訊 |
wav2vec2-large-xlsr-53-japanese 在 Hugging Face ASR 類別中使用量最大,達 16M 下載數,在全體日語 NLP 模型中亦排名第 1。以 Common Voice、CSS10 及 JSUT 語料庫進行微調。
kotoba-whisper 系列(Kotoba Technologies):從 OpenAI Whisper large-v3 進行知識蒸餾的模型,在保持與教師模型相當的 CER/WER 的同時實現 6.3 倍加速。在 v2.2 中整合了說話者辨識和自動標點功能。
anime-whisper 是在約 5,300 小時動漫風格對話語音上進行微調的專用 ASR 模型,獲得 165 個按讚數。特點包括低幻覺率及非語言聲音的識別。
parakeet-tdt_ctc-0.6b-ja(NVIDIA):基於 FastConformer 的 ASR 模型,擁有 6 億參數,對日語語音進行帶標點的轉錄。
reazonspeech-nemo-v2(Reazon Research):擁有 6.19 億參數的大規模 ASR 模型,擅長處理講座、會議等長時間語音。
模型選擇指南:通用高速轉錄選 kotoba-whisper(比 Whisper 快 6.3 倍);動漫/遊戲音訊選 anime-whisper(支援非語言聲音,低幻覺率);長文本內容選 reazonspeech-nemo-v2;精度優先並需標點選 parakeet-tdt_ctc-0.6b-ja(NVIDIA NeMo)。
13.2 文字轉語音(TTS)
| 工具名 | Stars | 說明 |
|---|---|---|
| VOICEVOX (editor) | 3,300 | 免費文字轉語音軟體 |
| voicevox_engine | 1,800 | VOICEVOX 語音合成引擎 |
| voicevox_core | 1,200 | VOICEVOX 核心函式庫(Rust) |
| pyopenjtalk | 261 | OpenJTalk 的 Python 封裝 |
| tacotron2-japanese | 265 | Tacotron2 的日語實作 |
| j-moshi | 327 | 全雙工語音對話系統 |
| jpreprocess | 61 | OpenJTalk 的 Rust 重寫 |
| piper-plus | 240 | 增強日語支援的 Piper TTS |
VOICEVOX 合計 Stars 超過 6,300(編輯器:3,300 + 引擎:1,800 + 核心:1,200),是目前最受歡迎的日語語音合成工具。作為免費的中等品質文字轉語音軟體,廣泛用於影片製作和遊戲開發。
pyopenjtalk 是 OpenJTalk(日語文字轉語音合成引擎)的 Python 封裝,週間下載 14k,廣泛採用。pyopenjtalk-plus(Stars:69,週間下載 5k):額外改進版本。
j-moshi 是由名古屋大學開發的日語全雙工語音對話系統,Stars:327。是實現即時語音交互的創新專案。
Hugging Face 上的日語語音相關模型
在語音合成和處理領域,以下模型已在 Hugging Face 上發布:
- piper-plus-tsukuyomi-chan(ayousanz):以つくよみちゃん語料庫的 100 條語音微調的日語 TTS 模型。基於 VITS 架構,採用 WavLM 判別器與 A1/A2/A3 韻律特徵,匯出為 61MB 的 ONNX 檔案。下載 2k,11 個按讚數。
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2 模型(聲學模型與 JP-BERT 前端)的 GGUF 轉換版,可透過 TTS.cpp 進行本地 GGML 推論。下載 1k,3 個按讚數。
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):以單一模型同時處理 ASR 與 TTS 的日語語音模型量化 GGUF 版本,附帶面向 llama.cpp 的 CLI/Server 執行器。下載 2k,23 個按讚數。
13.3 聲調估計
MARINE(6gsn/marine):基於多任務學習的日語聲調估計。Stars:38。
marine-plus(tsukumijima/marine-plus):MARINE 的 Windows 增強版本。Stars:9。