13

音声処理・TTS(Speech Processing)

13.1 音声認識

Whisper日本語ファインチューニング:

  • whisper-asr-finetune(Star 32):Whisper ASRモデルの微調整スクリプト
  • N46Whisper(Star 1,700):Whisperベースの日本語字幕生成ツール
  • llm-jp-asr(Star 9):WhisperのデコーダをLLM-jpに置換した音声認識
  • whisper-transcription(Star 20):Whisperによる音声文字起こし

N46WhisperはStar数1,700と音声処理ツール中で非常に高い人気を誇ります。OpenAIのWhisperモデルを活用した日本語字幕の自動生成を行い、動画コンテンツの字幕付けに広く利用されています。

Julius関連:

  • dictation-kit(Star 166):Juliusを使用した日本語音声認識キット
  • julius4seg(Star 7):Juliusによるセグメンテーション支援
whisper-asr-finetune
Whisper ASRモデルの微調整スクリプト
32
N46Whisper
Whisperベースの日本語字幕生成ツール
1.7k
llm-jp-asr
WhisperのデコーダをLLM-jpに置換した音声認識
9
whisper-transcription
Whisperによる音声文字起こし
20
dictation-kit
Juliusを使用した日本語音声認識キット
166
julius4seg
Juliusによるセグメンテーション支援
7

Hugging Faceにおける日本語ASRモデル

Hugging Face上の音声認識(ASR)カテゴリでは、WhisperやWav2Vec2のファインチューニングモデルが充実しています。

モデル名 HF DL数 Like数 特徴
wav2vec2-large-xlsr-53-japanese (jonatasgrosman) 16M 119 Common Voice/CSS10/JSUTで学習
wav2vec2-large-xlsr-japanese-hiragana (vumichien) 153k 11 ひらがな出力のASR
anime-whisper (litagin) 33k 165 アニメ音声特化、5300時間学習
kotoba-whisper-v2.0 (kotoba-tech) 25k 103 Whisper large-v3蒸留、6.3倍速
kotoba-whisper-v2.2 (kotoba-tech) 16k 134 話者分離+自動句読点
japanese-wav2vec2-base-rs35kh (reazon-research) 10k 3 ReazonSpeech v2.0で学習
parakeet-tdt_ctc-0.6b-ja (nvidia) 7k 74 NVIDIA NeMo、句読点付き文字起こし
kotoba-whisper-bilingual-v1.0 (kotoba-tech) 4k 19 日英バイリンガルASR、6.3倍速
reazonspeech-nemo-v2 (reazon-research) 4k 41 619Mパラメータ、長文対応

wav2vec2-large-xlsr-53-japaneseはHugging FaceのASRカテゴリで16Mダウンロードと最大の利用数を示しており、日本語NLPモデル全体でも1位です。Common Voice、CSS10、JSUTの各コーパスでファインチューニングされています。

kotoba-whisperシリーズ(Kotoba Technologies)はOpenAI Whisper large-v3の知識蒸留モデルであり、教師モデルと同等のCER/WERを維持しつつ6.3倍の高速化を実現しています。v2.2では話者分離と自動句読点機能が統合されています。

anime-whisperはアニメスタイルの対話音声(約5,300時間)で微調整された特化型ASRモデルであり、Like数165と高い注目を集めています。低ハルシネーション・非言語音声の認識が特徴です。

parakeet-tdt_ctc-0.6b-ja(NVIDIA)は0.6BパラメータのFastConformerベースASRモデルであり、日本語音声の句読点付き文字起こしを行います。

reazonspeech-nemo-v2(Reazon Research)は619Mパラメータの大規模ASRモデルであり、長時間音声の処理に優れています。

用途別の選択指針:汎用・高速処理にはkotoba-whisper(Whisper比6.3倍速)、アニメ・ゲーム音声にはanime-whisper(非言語音声対応)、長文・講義の文字起こしにはreazonspeech-nemo-v2(長文対応)、句読点付き精度重視にはparakeet-tdt_ctc-0.6b-ja(NVIDIA NeMoベース)が適しています。

wav2vec2-large-xlsr-53-japanese (jonatasgrosman)
Common Voice/CSS10/JSUTで学習
16M 119
wav2vec2-large-xlsr-japanese-hiragana (vumichien)
ひらがな出力のASR
153k 11
anime-whisper (litagin)
アニメ音声特化、5300時間学習
33k 165
kotoba-whisper-v2.0 (kotoba-tech)
Whisper large-v3蒸留、6.3倍速
25k 103
kotoba-whisper-v2.2 (kotoba-tech)
話者分離+自動句読点
16k 134
japanese-wav2vec2-base-rs35kh (reazon-research)
ReazonSpeech v2.0で学習
10k 3
parakeet-tdt_ctc-0.6b-ja (nvidia)
NVIDIA NeMo、句読点付き文字起こし
7k 74
kotoba-whisper-bilingual-v1.0 (kotoba-tech)
日英バイリンガルASR、6.3倍速
4k 19
reazonspeech-nemo-v2 (reazon-research)
619Mパラメータ、長文対応
4k 41
kotoba-whisperシリーズ
kotoba-whisperシリーズ(Kotoba Technologies)はOpenAI Whisper large-v3の知識蒸留モデルであり、教師モデルと同等のCER/WERを維持しつつ6.3倍の高速化を実現しています。v2.2では話者分離と自動句読点機能が統合されています。
parakeet-tdt_ctc-0.6b-ja
parakeet-tdt_ctc-0.6b-ja(NVIDIA)は0.6BパラメータのFastConformerベースASRモデルであり、日本語音声の句読点付き文字起こしを行います。
reazonspeech-nemo-v2
reazonspeech-nemo-v2(Reazon Research)は619Mパラメータの大規模ASRモデルであり、長時間音声の処理に優れています。

13.2 音声合成(TTS)

ツール名 Star数 特徴
VOICEVOX (エディター) 3,300 無料テキスト読み上げソフト
voicevox_engine 1,800 VOICEVOX音声合成エンジン
voicevox_core 1,200 VOICEVOXコアライブラリ(Rust)
pyopenjtalk 261 OpenJTalkのPythonラッパー
tacotron2-japanese 265 Tacotron2の日本語実装
j-moshi 327 フルデュプレックス音声対話システム
jpreprocess 61 OpenJTalkのRust書き直し
piper-plus 240 日本語対応強化版Piper TTS

VOICEVOXはStar数合計6,300以上(エディター3,300 + エンジン1,800 + コア1,200)と、日本語音声合成ツールで圧倒的な人気を持っています。無料で使える中品質なテキスト読み上げソフトウェアとして、動画制作やゲーム開発で広く利用されています。

pyopenjtalkはOpenJTalk(日本語テキスト音声合成エンジン)のPythonラッパーであり、週間14kダウンロードと広い普及を示しています。pyopenjtalk-plus(Star 69、週間5k DL)は追加改善版です。

j-moshiは名古屋大学による日本語フルデュプレックス(全二重)音声対話システムであり、Star数327です。リアルタイムの音声対話を実現する革新的なプロジェクトです。

VOICEVOX (エディター)
無料テキスト読み上げソフト
3.3k
voicevox_engine
VOICEVOX音声合成エンジン
1.8k
voicevox_core
VOICEVOXコアライブラリ(Rust)
1.2k
pyopenjtalk
OpenJTalkのPythonラッパー
261
tacotron2-japanese
Tacotron2の日本語実装
265
j-moshi
フルデュプレックス音声対話システム
327
jpreprocess
OpenJTalkのRust書き直し
61
piper-plus
日本語対応強化版Piper TTS
240
pyopenjtalk-plus
pyopenjtalkはOpenJTalk(日本語テキスト音声合成エンジン)のPythonラッパーであり、週間14kダウンロードと広い普及を示しています。pyopenjtalk-plus(Star 69、週間5k DL)は追加改善版です。
69 14k/w

Hugging Faceにおける日本語音声関連モデル

音声合成・音声処理関連では以下のモデルがHugging Faceで公開されています。

  • piper-plus-tsukuyomi-chan(ayousanz):つくよみちゃんコーパス100発話でファインチューニングした日本語TTSモデル。VITSアーキテクチャ上でWavLM識別器とA1/A2/A3韻律特徴を利用し、61MBのONNXファイルとして配布されます。2k DL、Like 11。
  • style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2モデル(音響モデル・JP-BERTフロントエンド)のGGUF変換版。TTS.cppによるローカルGGML推論を可能にします。1k DL、Like 3。
  • LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):ASRとTTSを単一モデルで扱う日本語音声モデルの量子化GGUF版。llama.cpp向けのCLI/Serverランナーを同梱します。2k DL、Like 23。
piper-plus-tsukuyomi-chan
- piper-plus-tsukuyomi-chan(ayousanz):つくよみちゃんコーパス100発話でファインチューニングした日本語TTSモデル。VITSアーキテクチャ上でWavLM識別器とA1/A2/A3韻律特徴を利用し、61MBのONNXファイルとして配布されます。2k DL、Like 11。
style-bert-vits2-gguf
- style-bert-vits2-gguf(kevinzhow):Style-Bert-VITS2モデル(音響モデル・JP-BERTフロントエンド)のGGUF変換版。TTS.cppによるローカルGGML推論を可能にします。1k DL、Like 3。
LFM2.5-Audio-1.5B-JP-GGUF
- LFM2.5-Audio-1.5B-JP-GGUF(LiquidAI):ASRとTTSを単一モデルで扱う日本語音声モデルの量子化GGUF版。llama.cpp向けのCLI/Serverランナーを同梱します。2k DL、Like 23。

13.3 アクセント推定

MARINE(6gsn/marine):マルチタスク学習に基づく日本語アクセント推定。Star数38。

marine-plus(tsukumijima/marine-plus):MARINEのWindows対応強化版。Star数9。


MARINE
MARINE(6gsn/marine):マルチタスク学習に基づく日本語アクセント推定。Star数38。
38
marine-plus
marine-plus(tsukumijima/marine-plus):MARINEのWindows対応強化版。Star数9。
9