09

学習済みモデル(Pretrained Models)

9.1 Word2Vec・静的埋め込み

ツール名 Star数 特徴
chiVe 179 Sudachi + NWJCによる単語埋め込み
japanese-words-to-vectors 87 Gensim + MeCabによるWord2Vec
embedrank 48 EmbedRankのPython実装

chiVeはWorks Applicationsが提供する日本語の単語埋め込みであり、Sudachiによるトークン化とNINJAL Web Japanese Corpus(NWJC)を学習データとして使用しています。Star数179。

chiVe
Sudachi + NWJCによる単語埋め込み
179
japanese-words-to-vectors
Gensim + MeCabによるWord2Vec
87
embedrank
EmbedRankのPython実装
48

9.2 BERT系モデル

モデル名 Star数 開発元 特徴
bert-japanese (cl-tohoku) 551 東北大学 日本語Wikipedia学習。最も広く使用
bert-japanese (yoheikikuta) 497 個人 SentencePiece利用
LUKE 727 Studio Ousia エンティティ埋め込み統合
Laboro-BERT-Japanese 73 Laboro.AI Webコーパス学習
DistilBERT-base-jp 161 バンダイナムコ研究所 軽量化BERT
LINE-DistilBERT-Japanese 47 LINE 131GB Webテキスト学習
shiba 89 Octanove Labs CANINE(文字レベルTransformer)
AcademicRoBERTa 10 愛媛大学 学術論文要約で学習

東北大学BERT(bert-japanese) はStar数551と日本語BERTモデルで最も広く利用されています。Whole Word Maskingに対応し、MeCab+WordPieceおよびSudachi+WordPieceの2種類のトークン化が提供されています。Hugging Face上ではtohoku-nlp/bert-base-japanese-whole-word-maskingが週間462kダウンロード(Like 76)と最も高い利用率を示し、ku-nlp/deberta-v2-large-japanese-char-wwmが76k/week(Like 9)、tohoku-nlp/bert-base-japaneseが9k/week(Like 42)と続きます。

LUKEはStudio Ousiaが開発した、知識ベース埋め込みを統合した言語理解モデルであり、Star数727とBERT系モデルで最高の人気を誇ります。エンティティ認識タスクで特に優れた性能を示します。

bert-japanese (cl-tohoku)
日本語Wikipedia学習。最も広く使用
551
bert-japanese (yoheikikuta)
SentencePiece利用
497
LUKE
エンティティ埋め込み統合
727
Laboro-BERT-Japanese
Webコーパス学習
73
DistilBERT-base-jp
軽量化BERT
161
LINE-DistilBERT-Japanese
131GB Webテキスト学習
47
shiba
CANINE(文字レベルTransformer)
89
AcademicRoBERTa
学術論文要約で学習
10

Hugging Faceにおける日本語BERT系モデル

Hugging Face上では、東北大学BERTの各バリアント、DeBERTa系、RoBERTa系、ModernBERT系など多様なモデルが公開されています。

モデル名 HF DL数 Like数 特徴
bert-base-japanese (tohoku-nlp) 9k 42 標準的な日本語BERT
bert-base-japanese-whole-word-masking (tohoku-nlp) 462k 76 IPA辞書+全単語マスキング
bert-base-japanese-char (tohoku-nlp) 11k 8 文字レベルトークン化
bert-large-japanese-v2 (tohoku-nlp) 66k 14 CC-100+Wikipedia大規模学習
deberta-v2-large-japanese-char-wwm (ku-nlp) 76k 9 171GB日本語データで学習
modernbert-ja-130m (sbintuitions) 12k 51 RoPE+ローカル/グローバル注意
modernbert-ja-310m (sbintuitions) 36k 32 最大8192トークン対応
line-distilbert-base-japanese (LINE) 14k 50 66Mパラメータ軽量版
jmedroberta-base-sentencepiece-vocab50000 (alabnii) 1k 1 医学論文で事前学習
deberta-v2-base-japanese (ku-nlp) 24k 30 171GB日本語データで学習したbase版

特筆すべきはModernBERT-Jaシリーズ(sbintuitions)の登場です。RoPEとローカル/グローバル注意機構を組み合わせた最新アーキテクチャであり、最大8,192トークンのシーケンス長をサポートします。30M〜310Mの複数サイズが提供され、Flash Attention 2に最適化されています。

また、医療分野向けBERTとして、jmedroberta-base-sentencepiece(3k/week DL)が約10M件の日本語医学要旨で事前学習されており、専門領域への展開も進んでいます。

bert-base-japanese (tohoku-nlp)
標準的な日本語BERT
9k 42
bert-base-japanese-whole-word-masking (tohoku-nlp)
IPA辞書+全単語マスキング
462k 76
bert-base-japanese-char (tohoku-nlp)
文字レベルトークン化
11k 8
bert-large-japanese-v2 (tohoku-nlp)
CC-100+Wikipedia大規模学習
66k 14
deberta-v2-large-japanese-char-wwm (ku-nlp)
171GB日本語データで学習
76k 9
modernbert-ja-130m (sbintuitions)
RoPE+ローカル/グローバル注意
12k 51
modernbert-ja-310m (sbintuitions)
最大8192トークン対応
36k 32
line-distilbert-base-japanese (LINE)
66Mパラメータ軽量版
14k 50
jmedroberta-base-sentencepiece-vocab50000 (alabnii)
医学論文で事前学習
1k 1
deberta-v2-base-japanese (ku-nlp)
171GB日本語データで学習したbase版
24k 30

9.3 GPT系モデル

モデル名 Star数 特徴
gpt2-japanese 322 日本語GPT-2生成モデル
GPTSAN 119 汎用スイッチTransformerベース
gpt-ja 3 HuggingFace向けGPT-2日本語

gpt2-japanese(tanreinama)はStar数322と最も知名度の高い日本語GPT-2モデルであり、テキスト生成タスクに広く利用されています。

GPTSANはスイッチTransformerをベースとした日本語対応モデルであり、日本語と英語の混合テキストに対応します。

gpt2-japanese
日本語GPT-2生成モデル
322
GPTSAN
汎用スイッチTransformerベース
119
gpt-ja
HuggingFace向けGPT-2日本語
3

Hugging Faceにおける日本語GPT系モデル

Hugging Faceでは、rinnaやCyberAgent、ABEJAなど複数の組織がGPT系モデルを公開しています。

モデル名 HF DL数 Like数 開発元 特徴
japanese-gpt-neox-small (rinna) 656k 15 rinna CC-100/C4/Wikipediaで学習
japanese-gpt2-medium (rinna) 6k 85 rinna 24層1024ユニット
japanese-gpt2-small (rinna) 4k 30 rinna 12層768ユニット
gpt-neox-japanese-2.7b (abeja) 3k 59 ABEJA CC-100/OSCARで学習
open-calm-small (cyberagent) 1k 21 CyberAgent 160M〜6.8Bの複数サイズ

OpenCALM(CyberAgent)はデコーダ専用の日本語Transformerモデルスイートであり、160M〜6.8Bパラメータの複数サイズを提供します。CC BY-SA 4.0ライセンスで公開されている点が特徴です。

japanese-gpt-neox-small (rinna)
CC-100/C4/Wikipediaで学習
656k 15
japanese-gpt2-medium (rinna)
24層1024ユニット
6k 85
japanese-gpt2-small (rinna)
12層768ユニット
4k 30
gpt-neox-japanese-2.7b (abeja)
CC-100/OSCARで学習
3k 59
open-calm-small (cyberagent)
160M〜6.8Bの複数サイズ
1k 21
OpenCALM
OpenCALM(CyberAgent)はデコーダ専用の日本語Transformerモデルスイートであり、160M〜6.8Bパラメータの複数サイズを提供します。CC BY-SA 4.0ライセンスで公開されている点が特徴です。

9.4 T5系モデル

t5-japanese(sonoisa/t5-japanese):日本語T5モデル。Star数118。テキスト生成、要約、質問応答など多様なタスクに適用可能です。

t5-japanese(megagonlabs/t5-japanese):Megagon Labsによる日本語T5モデルの事前学習コード。Star数40。

t5-japanese
t5-japanese(sonoisa/t5-japanese):日本語T5モデル。Star数118。テキスト生成、要約、質問応答など多様なタスクに適用可能です。
118

9.5 LLM関連モデル

モデル名 Star数 特徴
Japanese-Alpaca-LoRA 141 LLaMAの日本語LoRAアダプター
japanese-llama-experiment 54 日本語LLaMA実験
easylightchatassistant 48 軽量ローカル日本語LLM

Japanese-Alpaca-LoRAはStanford Alpacaのデータセットを日本語訳してLLaMAをファインチューニングしたLoRAアダプターであり、日本語LLMの初期実験として大きな注目を集めました。

Japanese-Alpaca-LoRA
LLaMAの日本語LoRAアダプター
141
japanese-llama-experiment
日本語LLaMA実験
54
easylightchatassistant
軽量ローカル日本語LLM
48

9.6 評価フレームワーク

ツール名 Star数 特徴
JGLUE 349 日本語版GLUE。Yahoo! JAPAN提供
llm-jp-eval 175 多データセット横断自動評価
swallow-evaluation 26 Swallowプロジェクトの評価
llm-leaderboard 95 W&BによるLLM評価
jmteb 96 日本語テキスト埋め込みベンチマーク
japanese-llm-ranking 50 ラクダリーダーボード
JMMLU 45 日本語マルチタスク言語理解

JGLUE(yahoojapan/JGLUE)はYahoo! JAPANが提供する日本語版GLUEベンチマークであり、Star数349と評価フレームワーク中で最も広く利用されています。テキスト分類、文ペア分類、質問応答の各タスクを含んでいます。

llm-jp-evalはLLM-jpプロジェクトによる日本語LLMの自動評価ツールであり、複数のデータセットを横断した評価を行います。Star数175で積極的に更新が続いています(2026年2月時点でも更新あり)。


JGLUE
日本語版GLUE。Yahoo! JAPAN提供
349
llm-jp-eval
多データセット横断自動評価
175
swallow-evaluation
Swallowプロジェクトの評価
26
llm-leaderboard
W&BによるLLM評価
95
jmteb
日本語テキスト埋め込みベンチマーク
96
japanese-llm-ranking
ラクダリーダーボード
50
JMMLU
日本語マルチタスク言語理解
45