音声処理・TTS(Speech Processing)
13.1 音声認識
Whisper日本語ファインチューニング:
- whisper-asr-finetune(Star 32):Whisper ASRモデルの微調整スクリプト
- N46Whisper(Star 1,700):Whisperベースの日本語字幕生成ツール
- llm-jp-asr(Star 9):WhisperのデコーダをLLM-jpに置換した音声認識
- whisper-transcription(Star 20):Whisperによる音声文字起こし
N46WhisperはStar数1,700と音声処理ツール中で非常に高い人気を誇ります。OpenAIのWhisperモデルを活用した日本語字幕の自動生成を行い、動画コンテンツの字幕付けに広く利用されています。
Julius関連:
- dictation-kit(Star 166):Juliusを使用した日本語音声認識キット
- julius4seg(Star 7):Juliusによるセグメンテーション支援
Hugging Faceにおける日本語ASRモデル
Hugging Face上の音声認識(ASR)カテゴリでは、WhisperやWav2Vec2のファインチューニングモデルが充実しています。
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| wav2vec2-large-xlsr-53-japanese (jonatasgrosman) | 16M | 119 | Common Voice/CSS10/JSUTで学習 |
| wav2vec2-large-xlsr-japanese-hiragana (vumichien) | 153k | 11 | ひらがな出力のASR |
| anime-whisper (litagin) | 33k | 165 | アニメ音声特化、5300時間学習 |
| kotoba-whisper-v2.0 (kotoba-tech) | 25k | 103 | Whisper large-v3蒸留、6.3倍速 |
| kotoba-whisper-v2.2 (kotoba-tech) | 16k | 134 | 話者分離+自動句読点 |
| japanese-wav2vec2-base-rs35kh (reazon-research) | 10k | 3 | ReazonSpeech v2.0で学習 |
| parakeet-tdt_ctc-0.6b-ja (nvidia) | 7k | 74 | NVIDIA NeMo、句読点付き文字起こし |
| kotoba-whisper-bilingual-v1.0 (kotoba-tech) | 4k | 19 | 日英バイリンガルASR、6.3倍速 |
| reazonspeech-nemo-v2 (reazon-research) | 4k | 41 | 619Mパラメータ、長文対応 |
wav2vec2-large-xlsr-53-japaneseはHugging FaceのASRカテゴリで16Mダウンロードと最大の利用数を示しており、日本語NLPモデル全体でも1位です。Common Voice、CSS10、JSUTの各コーパスでファインチューニングされています。
kotoba-whisperシリーズ(Kotoba Technologies)はOpenAI Whisper large-v3の知識蒸留モデルであり、教師モデルと同等のCER/WERを維持しつつ6.3倍の高速化を実現しています。v2.2では話者分離と自動句読点機能が統合されています。
anime-whisperはアニメスタイルの対話音声(約5,300時間)で微調整された特化型ASRモデルであり、Like数165と高い注目を集めています。低ハルシネーション・非言語音声の認識が特徴です。
parakeet-tdt_ctc-0.6b-ja(NVIDIA)は0.6BパラメータのFastConformerベースASRモデルであり、日本語音声の句読点付き文字起こしを行います。
reazonspeech-nemo-v2(Reazon Research)は619Mパラメータの大規模ASRモデルであり、長時間音声の処理に優れています。
用途別の選択指針:汎用・高速処理にはkotoba-whisper(Whisper比6.3倍速)、アニメ・ゲーム音声にはanime-whisper(非言語音声対応)、長文・講義の文字起こしにはreazonspeech-nemo-v2(長文対応)、句読点付き精度重視にはparakeet-tdt_ctc-0.6b-ja(NVIDIA NeMoベース)が適しています。
13.2 音声合成(TTS)
| ツール名 | Star数 | 特徴 |
|---|---|---|
| VOICEVOX (エディター) | 3,300 | 無料テキスト読み上げソフト |
| voicevox_engine | 1,800 | VOICEVOX音声合成エンジン |
| voicevox_core | 1,200 | VOICEVOXコアライブラリ(Rust) |
| pyopenjtalk | 261 | OpenJTalkのPythonラッパー |
| tacotron2-japanese | 265 | Tacotron2の日本語実装 |
| j-moshi | 327 | フルデュプレックス音声対話システム |
| jpreprocess | 61 | OpenJTalkのRust書き直し |
| piper-plus | 240 | 日本語対応強化版Piper TTS |
VOICEVOXはStar数合計6,300以上(エディター3,300 + エンジン1,800 + コア1,200)と、日本語音声合成ツールで圧倒的な人気を持っています。無料で使える中品質なテキスト読み上げソフトウェアとして、動画制作やゲーム開発で広く利用されています。
pyopenjtalkはOpenJTalk(日本語テキスト音声合成エンジン)のPythonラッパーであり、週間14kダウンロードと広い普及を示しています。pyopenjtalk-plus(Star 69、週間5k DL)は追加改善版です。
j-moshiは名古屋大学による日本語フルデュプレックス(全二重)音声対話システムであり、Star数327です。リアルタイムの音声対話を実現する革新的なプロジェクトです。
Hugging Faceにおける日本語音声関連モデル
音声合成・音声処理関連では以下のモデルがHugging Faceで公開されています。
- piper-plus-tsukuyomi-chan(ayousanz):つくよみちゃんコーパス100発話でファインチューニングした日本語TTSモデル。VITSアーキテクチャ上でWavLM識別器とA1/A2/A3韻律特徴を利用し、61MBのONNXファイルとして配布されます。2k DL、Like 11。
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2モデル(音響モデル・JP-BERTフロントエンド)のGGUF変換版。TTS.cppによるローカルGGML推論を可能にします。1k DL、Like 3。
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):ASRとTTSを単一モデルで扱う日本語音声モデルの量子化GGUF版。llama.cpp向けのCLI/Serverランナーを同梱します。2k DL、Like 23。
13.3 アクセント推定
MARINE(6gsn/marine):マルチタスク学習に基づく日本語アクセント推定。Star数38。
marine-plus(tsukumijima/marine-plus):MARINEのWindows対応強化版。Star数9。