学習済みモデル(Pretrained Models)
9.1 Word2Vec・静的埋め込み
| ツール名 | Star数 | 特徴 |
|---|---|---|
| chiVe | 179 | Sudachi + NWJCによる単語埋め込み |
| japanese-words-to-vectors | 87 | Gensim + MeCabによるWord2Vec |
| embedrank | 48 | EmbedRankのPython実装 |
chiVeはWorks Applicationsが提供する日本語の単語埋め込みであり、Sudachiによるトークン化とNINJAL Web Japanese Corpus(NWJC)を学習データとして使用しています。Star数179。
9.2 BERT系モデル
| モデル名 | Star数 | 開発元 | 特徴 |
|---|---|---|---|
| bert-japanese (cl-tohoku) | 551 | 東北大学 | 日本語Wikipedia学習。最も広く使用 |
| bert-japanese (yoheikikuta) | 497 | 個人 | SentencePiece利用 |
| LUKE | 727 | Studio Ousia | エンティティ埋め込み統合 |
| Laboro-BERT-Japanese | 73 | Laboro.AI | Webコーパス学習 |
| DistilBERT-base-jp | 161 | バンダイナムコ研究所 | 軽量化BERT |
| LINE-DistilBERT-Japanese | 47 | LINE | 131GB Webテキスト学習 |
| shiba | 89 | Octanove Labs | CANINE(文字レベルTransformer) |
| AcademicRoBERTa | 10 | 愛媛大学 | 学術論文要約で学習 |
東北大学BERT(bert-japanese) はStar数551と日本語BERTモデルで最も広く利用されています。Whole Word Maskingに対応し、MeCab+WordPieceおよびSudachi+WordPieceの2種類のトークン化が提供されています。Hugging Face上ではtohoku-nlp/bert-base-japanese-whole-word-maskingが週間462kダウンロード(Like 76)と最も高い利用率を示し、ku-nlp/deberta-v2-large-japanese-char-wwmが76k/week(Like 9)、tohoku-nlp/bert-base-japaneseが9k/week(Like 42)と続きます。
LUKEはStudio Ousiaが開発した、知識ベース埋め込みを統合した言語理解モデルであり、Star数727とBERT系モデルで最高の人気を誇ります。エンティティ認識タスクで特に優れた性能を示します。
Hugging Faceにおける日本語BERT系モデル
Hugging Face上では、東北大学BERTの各バリアント、DeBERTa系、RoBERTa系、ModernBERT系など多様なモデルが公開されています。
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| bert-base-japanese (tohoku-nlp) | 9k | 42 | 標準的な日本語BERT |
| bert-base-japanese-whole-word-masking (tohoku-nlp) | 462k | 76 | IPA辞書+全単語マスキング |
| bert-base-japanese-char (tohoku-nlp) | 11k | 8 | 文字レベルトークン化 |
| bert-large-japanese-v2 (tohoku-nlp) | 66k | 14 | CC-100+Wikipedia大規模学習 |
| deberta-v2-large-japanese-char-wwm (ku-nlp) | 76k | 9 | 171GB日本語データで学習 |
| modernbert-ja-130m (sbintuitions) | 12k | 51 | RoPE+ローカル/グローバル注意 |
| modernbert-ja-310m (sbintuitions) | 36k | 32 | 最大8192トークン対応 |
| line-distilbert-base-japanese (LINE) | 14k | 50 | 66Mパラメータ軽量版 |
| jmedroberta-base-sentencepiece-vocab50000 (alabnii) | 1k | 1 | 医学論文で事前学習 |
| deberta-v2-base-japanese (ku-nlp) | 24k | 30 | 171GB日本語データで学習したbase版 |
特筆すべきはModernBERT-Jaシリーズ(sbintuitions)の登場です。RoPEとローカル/グローバル注意機構を組み合わせた最新アーキテクチャであり、最大8,192トークンのシーケンス長をサポートします。30M〜310Mの複数サイズが提供され、Flash Attention 2に最適化されています。
また、医療分野向けBERTとして、jmedroberta-base-sentencepiece(3k/week DL)が約10M件の日本語医学要旨で事前学習されており、専門領域への展開も進んでいます。
9.3 GPT系モデル
| モデル名 | Star数 | 特徴 |
|---|---|---|
| gpt2-japanese | 322 | 日本語GPT-2生成モデル |
| GPTSAN | 119 | 汎用スイッチTransformerベース |
| gpt-ja | 3 | HuggingFace向けGPT-2日本語 |
gpt2-japanese(tanreinama)はStar数322と最も知名度の高い日本語GPT-2モデルであり、テキスト生成タスクに広く利用されています。
GPTSANはスイッチTransformerをベースとした日本語対応モデルであり、日本語と英語の混合テキストに対応します。
Hugging Faceにおける日本語GPT系モデル
Hugging Faceでは、rinnaやCyberAgent、ABEJAなど複数の組織がGPT系モデルを公開しています。
| モデル名 | HF DL数 | Like数 | 開発元 | 特徴 |
|---|---|---|---|---|
| japanese-gpt-neox-small (rinna) | 656k | 15 | rinna | CC-100/C4/Wikipediaで学習 |
| japanese-gpt2-medium (rinna) | 6k | 85 | rinna | 24層1024ユニット |
| japanese-gpt2-small (rinna) | 4k | 30 | rinna | 12層768ユニット |
| gpt-neox-japanese-2.7b (abeja) | 3k | 59 | ABEJA | CC-100/OSCARで学習 |
| open-calm-small (cyberagent) | 1k | 21 | CyberAgent | 160M〜6.8Bの複数サイズ |
OpenCALM(CyberAgent)はデコーダ専用の日本語Transformerモデルスイートであり、160M〜6.8Bパラメータの複数サイズを提供します。CC BY-SA 4.0ライセンスで公開されている点が特徴です。
9.4 T5系モデル
t5-japanese(sonoisa/t5-japanese):日本語T5モデル。Star数118。テキスト生成、要約、質問応答など多様なタスクに適用可能です。
t5-japanese(megagonlabs/t5-japanese):Megagon Labsによる日本語T5モデルの事前学習コード。Star数40。
9.5 LLM関連モデル
| モデル名 | Star数 | 特徴 |
|---|---|---|
| Japanese-Alpaca-LoRA | 141 | LLaMAの日本語LoRAアダプター |
| japanese-llama-experiment | 54 | 日本語LLaMA実験 |
| easylightchatassistant | 48 | 軽量ローカル日本語LLM |
Japanese-Alpaca-LoRAはStanford Alpacaのデータセットを日本語訳してLLaMAをファインチューニングしたLoRAアダプターであり、日本語LLMの初期実験として大きな注目を集めました。
9.6 評価フレームワーク
| ツール名 | Star数 | 特徴 |
|---|---|---|
| JGLUE | 349 | 日本語版GLUE。Yahoo! JAPAN提供 |
| llm-jp-eval | 175 | 多データセット横断自動評価 |
| swallow-evaluation | 26 | Swallowプロジェクトの評価 |
| llm-leaderboard | 95 | W&BによるLLM評価 |
| jmteb | 96 | 日本語テキスト埋め込みベンチマーク |
| japanese-llm-ranking | 50 | ラクダリーダーボード |
| JMMLU | 45 | 日本語マルチタスク言語理解 |
JGLUE(yahoojapan/JGLUE)はYahoo! JAPANが提供する日本語版GLUEベンチマークであり、Star数349と評価フレームワーク中で最も広く利用されています。テキスト分類、文ペア分類、質問応答の各タスクを含んでいます。
llm-jp-evalはLLM-jpプロジェクトによる日本語LLMの自動評価ツールであり、複数のデータセットを横断した評価を行います。Star数175で積極的に更新が続いています(2026年2月時点でも更新あり)。