09

預訓練模型

9.1 Word2Vec 與靜態詞嵌入

工具名 Stars 說明
chiVe 179 使用 Sudachi + NWJC 的詞嵌入
japanese-words-to-vectors 87 使用 Gensim + MeCab 的 Word2Vec
embedrank 48 EmbedRank 的 Python 實作

chiVe 是由 Works Applications 提供的日語詞嵌入,使用 Sudachi 分詞及國立國語研究所網路日語語料庫(NWJC)作為訓練資料。Stars:179。

chiVe
使用 Sudachi + NWJC 的詞嵌入
179
japanese-words-to-vectors
使用 Gensim + MeCab 的 Word2Vec
87
embedrank
EmbedRank 的 Python 實作
48

9.2 BERT 系列模型

模型名 Stars 開發者 說明
bert-japanese (cl-tohoku) 551 東北大學 以日語 Wikipedia 訓練。最廣泛使用
bert-japanese (yoheikikuta) 497 個人 使用 SentencePiece
LUKE 727 Studio Ousia 整合實體嵌入
Laboro-BERT-Japanese 73 Laboro.AI 以網路語料庫訓練
DistilBERT-base-jp 161 萬代南夢宮研究所 輕量版 BERT
LINE-DistilBERT-Japanese 47 LINE 以 131GB 網路文字訓練
shiba 89 Octanove Labs CANINE(字元級 Transformer)
AcademicRoBERTa 10 愛媛大學 以學術論文摘要訓練

東北大學 BERT(bert-japanese) 是最廣泛使用的日語 BERT 模型,Stars:551。支援全詞遮蔽(Whole Word Masking),提供 MeCab+WordPiece 及 Sudachi+WordPiece 兩種分詞變體。在 Hugging Face 上,tohoku-nlp/bert-base-japanese-whole-word-masking 的週間下載達 462k(76 個按讚數)居首,其次是 ku-nlp/deberta-v2-large-japanese-char-wwm 的 76k/週(9 個按讚數)與 tohoku-nlp/bert-base-japanese 的 9k/週(42 個按讚數)。

LUKE 是由 Studio Ousia 開發的整合知識庫嵌入的語言理解模型,Stars:727——是 BERT 系列模型中人氣最高的。在實體識別任務上表現尤為優越。

bert-japanese (cl-tohoku)
以日語 Wikipedia 訓練。最廣泛使用
551
bert-japanese (yoheikikuta)
使用 SentencePiece
497
LUKE
整合實體嵌入
727
Laboro-BERT-Japanese
以網路語料庫訓練
73
DistilBERT-base-jp
輕量版 BERT
161
LINE-DistilBERT-Japanese
以 131GB 網路文字訓練
47
shiba
CANINE(字元級 Transformer)
89
AcademicRoBERTa
以學術論文摘要訓練
10

Hugging Face 上的日語 BERT 系列模型

在 Hugging Face 上,已發布包括東北大學 BERT 各種變體、DeBERTa 系列、RoBERTa 系列及 ModernBERT 系列在內的多樣化模型。

模型名 HF 下載 按讚數 說明
bert-base-japanese (tohoku-nlp) 9k 42 標準日語 BERT
bert-base-japanese-whole-word-masking (tohoku-nlp) 462k 76 IPA 詞典 + 全詞掩蔽
bert-base-japanese-char (tohoku-nlp) 11k 8 字元級分詞
bert-large-japanese-v2 (tohoku-nlp) 66k 14 以 CC-100+Wikipedia 大規模訓練
deberta-v2-large-japanese-char-wwm (ku-nlp) 76k 9 以 171GB 日語資料訓練
modernbert-ja-130m (sbintuitions) 12k 51 RoPE + 局部/全局注意力
modernbert-ja-310m (sbintuitions) 36k 32 支援最多 8192 個 token
line-distilbert-base-japanese (LINE) 14k 50 輕量 66M 參數版本
jmedroberta-base-sentencepiece-vocab50000 (alabnii) 1k 1 以醫學論文摘要預訓練
deberta-v2-base-japanese (ku-nlp) 24k 30 以 171GB 日語資料訓練的 base 版

特別值得注意的是 ModernBERT-Ja 系列(sbintuitions)的出現。它使用結合 RoPE 及局部/全局注意力機制的最新架構,支援最多 8,192 個 token 的序列長度。提供從 30M 到 310M 的多種規模,針對 Flash Attention 2 進行了優化。

此外,作為醫療領域 BERT,jmedroberta-base-sentencepiece(3k/週下載)已在約 1,000 萬篇日語醫學摘要上進行預訓練,展現了向專業領域部署的進展。

bert-base-japanese (tohoku-nlp)
標準日語 BERT
9k 42
bert-base-japanese-whole-word-masking (tohoku-nlp)
IPA 詞典 + 全詞掩蔽
462k 76
bert-base-japanese-char (tohoku-nlp)
字元級分詞
11k 8
bert-large-japanese-v2 (tohoku-nlp)
以 CC-100+Wikipedia 大規模訓練
66k 14
deberta-v2-large-japanese-char-wwm (ku-nlp)
以 171GB 日語資料訓練
76k 9
modernbert-ja-130m (sbintuitions)
RoPE + 局部/全局注意力
12k 51
modernbert-ja-310m (sbintuitions)
支援最多 8192 個 token
36k 32
line-distilbert-base-japanese (LINE)
輕量 66M 參數版本
14k 50
jmedroberta-base-sentencepiece-vocab50000 (alabnii)
以醫學論文摘要預訓練
1k 1
deberta-v2-base-japanese (ku-nlp)
以 171GB 日語資料訓練的 base 版
24k 30

9.3 GPT 系列模型

模型名 Stars 說明
gpt2-japanese 322 日語 GPT-2 生成模型
GPTSAN 119 基於通用目的 Switch Transformer
gpt-ja 3 HuggingFace 用日語 GPT-2

gpt2-japanese(tanreinama)Stars:322,是日語 GPT-2 模型中知名度最高的,廣泛用於文字生成任務。

GPTSAN 是基於 Switch Transformer 的日語相容模型,支援日英混合文字。

gpt2-japanese
日語 GPT-2 生成模型
322
GPTSAN
基於通用目的 Switch Transformer
119
gpt-ja
HuggingFace 用日語 GPT-2
3

Hugging Face 上的日語 GPT 系列模型

在 Hugging Face 上,rinna、CyberAgent、ABEJA 等多個組織已發布 GPT 系列模型。

模型名 HF 下載 按讚數 開發者 說明
japanese-gpt-neox-small (rinna) 656k 15 rinna 以 CC-100/C4/Wikipedia 訓練
japanese-gpt2-medium (rinna) 6k 85 rinna 24 層,1024 個單元
japanese-gpt2-small (rinna) 4k 30 rinna 12 層,768 個單元
gpt-neox-japanese-2.7b (abeja) 3k 59 ABEJA 以 CC-100/OSCAR 訓練
open-calm-small (cyberagent) 1k 21 CyberAgent 提供從 160M 到 6.8B 的多種規模

OpenCALM(CyberAgent):僅解碼器的日語 Transformer 模型套件,提供從 160M 到 6.8B 參數的多種規模。值得注意的是以 CC BY-SA 4.0 授權發布。

japanese-gpt-neox-small (rinna)
以 CC-100/C4/Wikipedia 訓練
656k 15
japanese-gpt2-medium (rinna)
24 層,1024 個單元
6k 85
japanese-gpt2-small (rinna)
12 層,768 個單元
4k 30
gpt-neox-japanese-2.7b (abeja)
以 CC-100/OSCAR 訓練
3k 59
open-calm-small (cyberagent)
提供從 160M 到 6.8B 的多種規模
1k 21
OpenCALM
OpenCALM(CyberAgent):僅解碼器的日語 Transformer 模型套件,提供從 160M 到 6.8B 參數的多種規模。值得注意的是以 CC BY-SA 4.0 授權發布。

9.4 T5 系列模型

t5-japanese(sonoisa/t5-japanese):日語 T5 模型。Stars:118。可應用於包括文字生成、摘要及問答在內的多種任務。

t5-japanese(megagonlabs/t5-japanese):Megagon Labs 的日語 T5 模型預訓練程式碼。Stars:40。

t5-japanese
t5-japanese(sonoisa/t5-japanese):日語 T5 模型。Stars:118。可應用於包括文字生成、摘要及問答在內的多種任務。

9.5 LLM 相關模型

模型名 Stars 說明
Japanese-Alpaca-LoRA 141 LLaMA 的日語 LoRA 轉接器
japanese-llama-experiment 54 日語 LLaMA 實驗
easylightchatassistant 48 輕量本地日語 LLM

Japanese-Alpaca-LoRA 是使用 Stanford Alpaca 資料集的日語翻譯在 LLaMA 上進行微調的 LoRA 轉接器,作為日語 LLM 的早期實驗引起了廣泛關注。

Japanese-Alpaca-LoRA
LLaMA 的日語 LoRA 轉接器
141
japanese-llama-experiment
日語 LLaMA 實驗
54
easylightchatassistant
輕量本地日語 LLM
48

9.6 評估框架

工具名 Stars 說明
JGLUE 349 GLUE 的日語版本。由 Yahoo! JAPAN 提供
llm-jp-eval 175 跨多個資料集的自動評估
swallow-evaluation 26 Swallow 專案評估
llm-leaderboard 95 W&B 的 LLM 評估
jmteb 96 日語文字嵌入基準測試
japanese-llm-ranking 50 Camel 排行榜
JMMLU 45 日語大規模多任務語言理解

JGLUE(yahoojapan/JGLUE)是由 Yahoo! JAPAN 提供的 GLUE 基準測試日語版本,Stars:349,是評估框架中使用最廣泛的。包含涵蓋文字分類、句對分類及問答的任務。

llm-jp-eval 是由 LLM-jp 專案開發的日語 LLM 自動評估工具,能夠跨多個資料集進行評估。Stars:175,持續活躍更新(截至 2026 年 2 月)。


JGLUE
GLUE 的日語版本。由 Yahoo! JAPAN 提供
349
llm-jp-eval
跨多個資料集的自動評估
175
swallow-evaluation
Swallow 專案評估
26
llm-leaderboard
W&B 的 LLM 評估
95
jmteb
日語文字嵌入基準測試
96
japanese-llm-ranking
Camel 排行榜
50
JMMLU
日語大規模多任務語言理解
45