預訓練模型
9.1 Word2Vec 與靜態詞嵌入
| 工具名 | Stars | 說明 |
|---|---|---|
| chiVe | 179 | 使用 Sudachi + NWJC 的詞嵌入 |
| japanese-words-to-vectors | 87 | 使用 Gensim + MeCab 的 Word2Vec |
| embedrank | 48 | EmbedRank 的 Python 實作 |
chiVe 是由 Works Applications 提供的日語詞嵌入,使用 Sudachi 分詞及國立國語研究所網路日語語料庫(NWJC)作為訓練資料。Stars:179。
9.2 BERT 系列模型
| 模型名 | Stars | 開發者 | 說明 |
|---|---|---|---|
| bert-japanese (cl-tohoku) | 551 | 東北大學 | 以日語 Wikipedia 訓練。最廣泛使用 |
| bert-japanese (yoheikikuta) | 497 | 個人 | 使用 SentencePiece |
| LUKE | 727 | Studio Ousia | 整合實體嵌入 |
| Laboro-BERT-Japanese | 73 | Laboro.AI | 以網路語料庫訓練 |
| DistilBERT-base-jp | 161 | 萬代南夢宮研究所 | 輕量版 BERT |
| LINE-DistilBERT-Japanese | 47 | LINE | 以 131GB 網路文字訓練 |
| shiba | 89 | Octanove Labs | CANINE(字元級 Transformer) |
| AcademicRoBERTa | 10 | 愛媛大學 | 以學術論文摘要訓練 |
東北大學 BERT(bert-japanese) 是最廣泛使用的日語 BERT 模型,Stars:551。支援全詞遮蔽(Whole Word Masking),提供 MeCab+WordPiece 及 Sudachi+WordPiece 兩種分詞變體。在 Hugging Face 上,tohoku-nlp/bert-base-japanese-whole-word-masking 的週間下載達 462k(76 個按讚數)居首,其次是 ku-nlp/deberta-v2-large-japanese-char-wwm 的 76k/週(9 個按讚數)與 tohoku-nlp/bert-base-japanese 的 9k/週(42 個按讚數)。
LUKE 是由 Studio Ousia 開發的整合知識庫嵌入的語言理解模型,Stars:727——是 BERT 系列模型中人氣最高的。在實體識別任務上表現尤為優越。
Hugging Face 上的日語 BERT 系列模型
在 Hugging Face 上,已發布包括東北大學 BERT 各種變體、DeBERTa 系列、RoBERTa 系列及 ModernBERT 系列在內的多樣化模型。
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| bert-base-japanese (tohoku-nlp) | 9k | 42 | 標準日語 BERT |
| bert-base-japanese-whole-word-masking (tohoku-nlp) | 462k | 76 | IPA 詞典 + 全詞掩蔽 |
| bert-base-japanese-char (tohoku-nlp) | 11k | 8 | 字元級分詞 |
| bert-large-japanese-v2 (tohoku-nlp) | 66k | 14 | 以 CC-100+Wikipedia 大規模訓練 |
| deberta-v2-large-japanese-char-wwm (ku-nlp) | 76k | 9 | 以 171GB 日語資料訓練 |
| modernbert-ja-130m (sbintuitions) | 12k | 51 | RoPE + 局部/全局注意力 |
| modernbert-ja-310m (sbintuitions) | 36k | 32 | 支援最多 8192 個 token |
| line-distilbert-base-japanese (LINE) | 14k | 50 | 輕量 66M 參數版本 |
| jmedroberta-base-sentencepiece-vocab50000 (alabnii) | 1k | 1 | 以醫學論文摘要預訓練 |
| deberta-v2-base-japanese (ku-nlp) | 24k | 30 | 以 171GB 日語資料訓練的 base 版 |
特別值得注意的是 ModernBERT-Ja 系列(sbintuitions)的出現。它使用結合 RoPE 及局部/全局注意力機制的最新架構,支援最多 8,192 個 token 的序列長度。提供從 30M 到 310M 的多種規模,針對 Flash Attention 2 進行了優化。
此外,作為醫療領域 BERT,jmedroberta-base-sentencepiece(3k/週下載)已在約 1,000 萬篇日語醫學摘要上進行預訓練,展現了向專業領域部署的進展。
9.3 GPT 系列模型
| 模型名 | Stars | 說明 |
|---|---|---|
| gpt2-japanese | 322 | 日語 GPT-2 生成模型 |
| GPTSAN | 119 | 基於通用目的 Switch Transformer |
| gpt-ja | 3 | HuggingFace 用日語 GPT-2 |
gpt2-japanese(tanreinama)Stars:322,是日語 GPT-2 模型中知名度最高的,廣泛用於文字生成任務。
GPTSAN 是基於 Switch Transformer 的日語相容模型,支援日英混合文字。
Hugging Face 上的日語 GPT 系列模型
在 Hugging Face 上,rinna、CyberAgent、ABEJA 等多個組織已發布 GPT 系列模型。
| 模型名 | HF 下載 | 按讚數 | 開發者 | 說明 |
|---|---|---|---|---|
| japanese-gpt-neox-small (rinna) | 656k | 15 | rinna | 以 CC-100/C4/Wikipedia 訓練 |
| japanese-gpt2-medium (rinna) | 6k | 85 | rinna | 24 層,1024 個單元 |
| japanese-gpt2-small (rinna) | 4k | 30 | rinna | 12 層,768 個單元 |
| gpt-neox-japanese-2.7b (abeja) | 3k | 59 | ABEJA | 以 CC-100/OSCAR 訓練 |
| open-calm-small (cyberagent) | 1k | 21 | CyberAgent | 提供從 160M 到 6.8B 的多種規模 |
OpenCALM(CyberAgent):僅解碼器的日語 Transformer 模型套件,提供從 160M 到 6.8B 參數的多種規模。值得注意的是以 CC BY-SA 4.0 授權發布。
9.4 T5 系列模型
t5-japanese(sonoisa/t5-japanese):日語 T5 模型。Stars:118。可應用於包括文字生成、摘要及問答在內的多種任務。
t5-japanese(megagonlabs/t5-japanese):Megagon Labs 的日語 T5 模型預訓練程式碼。Stars:40。
9.5 LLM 相關模型
| 模型名 | Stars | 說明 |
|---|---|---|
| Japanese-Alpaca-LoRA | 141 | LLaMA 的日語 LoRA 轉接器 |
| japanese-llama-experiment | 54 | 日語 LLaMA 實驗 |
| easylightchatassistant | 48 | 輕量本地日語 LLM |
Japanese-Alpaca-LoRA 是使用 Stanford Alpaca 資料集的日語翻譯在 LLaMA 上進行微調的 LoRA 轉接器,作為日語 LLM 的早期實驗引起了廣泛關注。
9.6 評估框架
| 工具名 | Stars | 說明 |
|---|---|---|
| JGLUE | 349 | GLUE 的日語版本。由 Yahoo! JAPAN 提供 |
| llm-jp-eval | 175 | 跨多個資料集的自動評估 |
| swallow-evaluation | 26 | Swallow 專案評估 |
| llm-leaderboard | 95 | W&B 的 LLM 評估 |
| jmteb | 96 | 日語文字嵌入基準測試 |
| japanese-llm-ranking | 50 | Camel 排行榜 |
| JMMLU | 45 | 日語大規模多任務語言理解 |
JGLUE(yahoojapan/JGLUE)是由 Yahoo! JAPAN 提供的 GLUE 基準測試日語版本,Stars:349,是評估框架中使用最廣泛的。包含涵蓋文字分類、句對分類及問答的任務。
llm-jp-eval 是由 LLM-jp 專案開發的日語 LLM 自動評估工具,能夠跨多個資料集進行評估。Stars:175,持續活躍更新(截至 2026 年 2 月)。