09

预训练模型

9.1 Word2Vec 与静态词嵌入

工具名 Stars 说明
chiVe 179 使用 Sudachi + NWJC 的词嵌入
japanese-words-to-vectors 87 使用 Gensim + MeCab 的 Word2Vec
embedrank 48 EmbedRank 的 Python 实作

chiVe 是由 Works Applications 提供的日语词嵌入,使用 Sudachi 分词及国立国语研究所网络日语语料库(NWJC)作为训练数据。Stars:179。

chiVe
使用 Sudachi + NWJC 的词嵌入
179
japanese-words-to-vectors
使用 Gensim + MeCab 的 Word2Vec
87
embedrank
EmbedRank 的 Python 实作
48

9.2 BERT 系列模型

模型名 Stars 开发者 说明
bert-japanese (cl-tohoku) 551 东北大学 以日语 Wikipedia 训练。最广泛使用
bert-japanese (yoheikikuta) 497 个人 使用 SentencePiece
LUKE 727 Studio Ousia 整合实体嵌入
Laboro-BERT-Japanese 73 Laboro.AI 以网络语料库训练
DistilBERT-base-jp 161 万代南梦宫研究所 轻量版 BERT
LINE-DistilBERT-Japanese 47 LINE 以 131GB 网络文字训练
shiba 89 Octanove Labs CANINE(字元级 Transformer)
AcademicRoBERTa 10 爱媛大学 以学术论文摘要训练

东北大学 BERT(bert-japanese) 是最广泛使用的日语 BERT 模型,Stars:551。支援全词掩蔽(Whole Word Masking),提供 MeCab+WordPiece 及 Sudachi+WordPiece 两种分词变体。在 Hugging Face 上,tohoku-nlp/bert-base-japanese-whole-word-masking 的周间下载达 462k(76 个点赞数)居首,其次是 ku-nlp/deberta-v2-large-japanese-char-wwm 的 76k/周(9 个点赞数)与 tohoku-nlp/bert-base-japanese 的 9k/周(42 个点赞数)。

LUKE 是由 Studio Ousia 开发的整合知识库嵌入的语言理解模型,Stars:727——是 BERT 系列模型中人气最高的。在实体识别任务上表现尤为优越。

bert-japanese (cl-tohoku)
以日语 Wikipedia 训练。最广泛使用
551
bert-japanese (yoheikikuta)
使用 SentencePiece
497
LUKE
整合实体嵌入
727
Laboro-BERT-Japanese
以网络语料库训练
73
DistilBERT-base-jp
轻量版 BERT
161
LINE-DistilBERT-Japanese
以 131GB 网络文字训练
47
shiba
CANINE(字元级 Transformer)
89
AcademicRoBERTa
以学术论文摘要训练
10

Hugging Face 上的日语 BERT 系列模型

在 Hugging Face 上,已发布包括东北大学 BERT 各种变体、DeBERTa 系列、RoBERTa 系列及 ModernBERT 系列在内的多样化模型。

模型名 HF 下载 点赞数 说明
bert-base-japanese (tohoku-nlp) 9k 42 标准日语 BERT
bert-base-japanese-whole-word-masking (tohoku-nlp) 462k 76 IPA 词典 + 全词掩蔽
bert-base-japanese-char (tohoku-nlp) 11k 8 字元级分词
bert-large-japanese-v2 (tohoku-nlp) 66k 14 以 CC-100+Wikipedia 大规模训练
deberta-v2-large-japanese-char-wwm (ku-nlp) 76k 9 以 171GB 日语数据训练
modernbert-ja-130m (sbintuitions) 12k 51 RoPE + 局部/全局注意力
modernbert-ja-310m (sbintuitions) 36k 32 支援最多 8192 个 token
line-distilbert-base-japanese (LINE) 14k 50 轻量 66M 参数版本
jmedroberta-base-sentencepiece-vocab50000 (alabnii) 1k 1 以医学论文摘要预训练
deberta-v2-base-japanese (ku-nlp) 24k 30 以 171GB 日语数据训练的 base 版

特别值得注意的是 ModernBERT-Ja 系列(sbintuitions)的出现。它使用结合 RoPE 及局部/全局注意力机制的最新架构,支援最多 8,192 个 token 的序列长度。提供从 30M 到 310M 的多种规模,针对 Flash Attention 2 进行了优化。

此外,作为医疗领域 BERT,jmedroberta-base-sentencepiece(3k/周下载)已在约 1,000 万篇日语医学摘要上进行预训练,展现了向专业领域部署的进展。

bert-base-japanese (tohoku-nlp)
标准日语 BERT
9k 42
bert-base-japanese-whole-word-masking (tohoku-nlp)
IPA 词典 + 全词掩蔽
462k 76
bert-base-japanese-char (tohoku-nlp)
字元级分词
11k 8
bert-large-japanese-v2 (tohoku-nlp)
以 CC-100+Wikipedia 大规模训练
66k 14
deberta-v2-large-japanese-char-wwm (ku-nlp)
以 171GB 日语数据训练
76k 9
modernbert-ja-130m (sbintuitions)
RoPE + 局部/全局注意力
12k 51
modernbert-ja-310m (sbintuitions)
支援最多 8192 个 token
36k 32
line-distilbert-base-japanese (LINE)
轻量 66M 参数版本
14k 50
jmedroberta-base-sentencepiece-vocab50000 (alabnii)
以医学论文摘要预训练
1k 1
deberta-v2-base-japanese (ku-nlp)
以 171GB 日语数据训练的 base 版
24k 30

9.3 GPT 系列模型

模型名 Stars 说明
gpt2-japanese 322 日语 GPT-2 生成模型
GPTSAN 119 基于通用目的 Switch Transformer
gpt-ja 3 HuggingFace 用日语 GPT-2

gpt2-japanese(tanreinama)Stars:322,是日语 GPT-2 模型中知名度最高的,广泛用于文字生成任务。

GPTSAN 是基于 Switch Transformer 的日语相容模型,支援日英混合文字。

gpt2-japanese
日语 GPT-2 生成模型
322
GPTSAN
基于通用目的 Switch Transformer
119
gpt-ja
HuggingFace 用日语 GPT-2
3

Hugging Face 上的日语 GPT 系列模型

在 Hugging Face 上,rinna、CyberAgent、ABEJA 等多个组织已发布 GPT 系列模型。

模型名 HF 下载 点赞数 开发者 说明
japanese-gpt-neox-small (rinna) 656k 15 rinna 以 CC-100/C4/Wikipedia 训练
japanese-gpt2-medium (rinna) 6k 85 rinna 24 层,1024 个单元
japanese-gpt2-small (rinna) 4k 30 rinna 12 层,768 个单元
gpt-neox-japanese-2.7b (abeja) 3k 59 ABEJA 以 CC-100/OSCAR 训练
open-calm-small (cyberagent) 1k 21 CyberAgent 提供从 160M 到 6.8B 的多种规模

OpenCALM(CyberAgent):仅解码器的日语 Transformer 模型套件,提供从 160M 到 6.8B 参数的多种规模。值得注意的是以 CC BY-SA 4.0 授权发布。

japanese-gpt-neox-small (rinna)
以 CC-100/C4/Wikipedia 训练
656k 15
japanese-gpt2-medium (rinna)
24 层,1024 个单元
6k 85
japanese-gpt2-small (rinna)
12 层,768 个单元
4k 30
gpt-neox-japanese-2.7b (abeja)
以 CC-100/OSCAR 训练
3k 59
open-calm-small (cyberagent)
提供从 160M 到 6.8B 的多种规模
1k 21
OpenCALM
OpenCALM(CyberAgent):仅解码器的日语 Transformer 模型套件,提供从 160M 到 6.8B 参数的多种规模。值得注意的是以 CC BY-SA 4.0 授权发布。

9.4 T5 系列模型

t5-japanese(sonoisa/t5-japanese):日语 T5 模型。Stars:118。可应用于包括文字生成、摘要及问答在内的多种任务。

t5-japanese(megagonlabs/t5-japanese):Megagon Labs 的日语 T5 模型预训练程序码。Stars:40。

t5-japanese
t5-japanese(sonoisa/t5-japanese):日语 T5 模型。Stars:118。可应用于包括文字生成、摘要及问答在内的多种任务。

9.5 LLM 相关模型

模型名 Stars 说明
Japanese-Alpaca-LoRA 141 LLaMA 的日语 LoRA 转接器
japanese-llama-experiment 54 日语 LLaMA 实验
easylightchatassistant 48 轻量本地日语 LLM

Japanese-Alpaca-LoRA 是使用 Stanford Alpaca 数据集的日语翻译在 LLaMA 上进行微调的 LoRA 转接器,作为日语 LLM 的早期实验引起了广泛关注。

Japanese-Alpaca-LoRA
LLaMA 的日语 LoRA 转接器
141
japanese-llama-experiment
日语 LLaMA 实验
54
easylightchatassistant
轻量本地日语 LLM
48

9.6 评估框架

工具名 Stars 说明
JGLUE 349 GLUE 的日语版本。由 Yahoo! JAPAN 提供
llm-jp-eval 175 跨多个数据集的自动评估
swallow-evaluation 26 Swallow 专案评估
llm-leaderboard 95 W&B 的 LLM 评估
jmteb 96 日语文字嵌入基准测试
japanese-llm-ranking 50 Camel 排行榜
JMMLU 45 日语大规模多任务语言理解

JGLUE(yahoojapan/JGLUE)是由 Yahoo! JAPAN 提供的 GLUE 基准测试日语版本,Stars:349,是评估框架中使用最广泛的。包含涵盖文字分类、句对分类及问答的任务。

llm-jp-eval 是由 LLM-jp 专案开发的日语 LLM 自动评估工具,能够跨多个数据集进行评估。Stars:175,持续活跃更新(截至 2026 年 2 月)。


JGLUE
GLUE 的日语版本。由 Yahoo! JAPAN 提供
349
llm-jp-eval
跨多个数据集的自动评估
175
swallow-evaluation
Swallow 专案评估
26
llm-leaderboard
W&B 的 LLM 评估
95
jmteb
日语文字嵌入基准测试
96
japanese-llm-ranking
Camel 排行榜
50
JMMLU
日语大规模多任务语言理解
45