预训练模型
9.1 Word2Vec 与静态词嵌入
| 工具名 | Stars | 说明 |
|---|---|---|
| chiVe | 179 | 使用 Sudachi + NWJC 的词嵌入 |
| japanese-words-to-vectors | 87 | 使用 Gensim + MeCab 的 Word2Vec |
| embedrank | 48 | EmbedRank 的 Python 实作 |
chiVe 是由 Works Applications 提供的日语词嵌入,使用 Sudachi 分词及国立国语研究所网络日语语料库(NWJC)作为训练数据。Stars:179。
9.2 BERT 系列模型
| 模型名 | Stars | 开发者 | 说明 |
|---|---|---|---|
| bert-japanese (cl-tohoku) | 551 | 东北大学 | 以日语 Wikipedia 训练。最广泛使用 |
| bert-japanese (yoheikikuta) | 497 | 个人 | 使用 SentencePiece |
| LUKE | 727 | Studio Ousia | 整合实体嵌入 |
| Laboro-BERT-Japanese | 73 | Laboro.AI | 以网络语料库训练 |
| DistilBERT-base-jp | 161 | 万代南梦宫研究所 | 轻量版 BERT |
| LINE-DistilBERT-Japanese | 47 | LINE | 以 131GB 网络文字训练 |
| shiba | 89 | Octanove Labs | CANINE(字元级 Transformer) |
| AcademicRoBERTa | 10 | 爱媛大学 | 以学术论文摘要训练 |
东北大学 BERT(bert-japanese) 是最广泛使用的日语 BERT 模型,Stars:551。支援全词掩蔽(Whole Word Masking),提供 MeCab+WordPiece 及 Sudachi+WordPiece 两种分词变体。在 Hugging Face 上,tohoku-nlp/bert-base-japanese-whole-word-masking 的周间下载达 462k(76 个点赞数)居首,其次是 ku-nlp/deberta-v2-large-japanese-char-wwm 的 76k/周(9 个点赞数)与 tohoku-nlp/bert-base-japanese 的 9k/周(42 个点赞数)。
LUKE 是由 Studio Ousia 开发的整合知识库嵌入的语言理解模型,Stars:727——是 BERT 系列模型中人气最高的。在实体识别任务上表现尤为优越。
Hugging Face 上的日语 BERT 系列模型
在 Hugging Face 上,已发布包括东北大学 BERT 各种变体、DeBERTa 系列、RoBERTa 系列及 ModernBERT 系列在内的多样化模型。
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| bert-base-japanese (tohoku-nlp) | 9k | 42 | 标准日语 BERT |
| bert-base-japanese-whole-word-masking (tohoku-nlp) | 462k | 76 | IPA 词典 + 全词掩蔽 |
| bert-base-japanese-char (tohoku-nlp) | 11k | 8 | 字元级分词 |
| bert-large-japanese-v2 (tohoku-nlp) | 66k | 14 | 以 CC-100+Wikipedia 大规模训练 |
| deberta-v2-large-japanese-char-wwm (ku-nlp) | 76k | 9 | 以 171GB 日语数据训练 |
| modernbert-ja-130m (sbintuitions) | 12k | 51 | RoPE + 局部/全局注意力 |
| modernbert-ja-310m (sbintuitions) | 36k | 32 | 支援最多 8192 个 token |
| line-distilbert-base-japanese (LINE) | 14k | 50 | 轻量 66M 参数版本 |
| jmedroberta-base-sentencepiece-vocab50000 (alabnii) | 1k | 1 | 以医学论文摘要预训练 |
| deberta-v2-base-japanese (ku-nlp) | 24k | 30 | 以 171GB 日语数据训练的 base 版 |
特别值得注意的是 ModernBERT-Ja 系列(sbintuitions)的出现。它使用结合 RoPE 及局部/全局注意力机制的最新架构,支援最多 8,192 个 token 的序列长度。提供从 30M 到 310M 的多种规模,针对 Flash Attention 2 进行了优化。
此外,作为医疗领域 BERT,jmedroberta-base-sentencepiece(3k/周下载)已在约 1,000 万篇日语医学摘要上进行预训练,展现了向专业领域部署的进展。
9.3 GPT 系列模型
| 模型名 | Stars | 说明 |
|---|---|---|
| gpt2-japanese | 322 | 日语 GPT-2 生成模型 |
| GPTSAN | 119 | 基于通用目的 Switch Transformer |
| gpt-ja | 3 | HuggingFace 用日语 GPT-2 |
gpt2-japanese(tanreinama)Stars:322,是日语 GPT-2 模型中知名度最高的,广泛用于文字生成任务。
GPTSAN 是基于 Switch Transformer 的日语相容模型,支援日英混合文字。
Hugging Face 上的日语 GPT 系列模型
在 Hugging Face 上,rinna、CyberAgent、ABEJA 等多个组织已发布 GPT 系列模型。
| 模型名 | HF 下载 | 点赞数 | 开发者 | 说明 |
|---|---|---|---|---|
| japanese-gpt-neox-small (rinna) | 656k | 15 | rinna | 以 CC-100/C4/Wikipedia 训练 |
| japanese-gpt2-medium (rinna) | 6k | 85 | rinna | 24 层,1024 个单元 |
| japanese-gpt2-small (rinna) | 4k | 30 | rinna | 12 层,768 个单元 |
| gpt-neox-japanese-2.7b (abeja) | 3k | 59 | ABEJA | 以 CC-100/OSCAR 训练 |
| open-calm-small (cyberagent) | 1k | 21 | CyberAgent | 提供从 160M 到 6.8B 的多种规模 |
OpenCALM(CyberAgent):仅解码器的日语 Transformer 模型套件,提供从 160M 到 6.8B 参数的多种规模。值得注意的是以 CC BY-SA 4.0 授权发布。
9.4 T5 系列模型
t5-japanese(sonoisa/t5-japanese):日语 T5 模型。Stars:118。可应用于包括文字生成、摘要及问答在内的多种任务。
t5-japanese(megagonlabs/t5-japanese):Megagon Labs 的日语 T5 模型预训练程序码。Stars:40。
9.5 LLM 相关模型
| 模型名 | Stars | 说明 |
|---|---|---|
| Japanese-Alpaca-LoRA | 141 | LLaMA 的日语 LoRA 转接器 |
| japanese-llama-experiment | 54 | 日语 LLaMA 实验 |
| easylightchatassistant | 48 | 轻量本地日语 LLM |
Japanese-Alpaca-LoRA 是使用 Stanford Alpaca 数据集的日语翻译在 LLaMA 上进行微调的 LoRA 转接器,作为日语 LLM 的早期实验引起了广泛关注。
9.6 评估框架
| 工具名 | Stars | 说明 |
|---|---|---|
| JGLUE | 349 | GLUE 的日语版本。由 Yahoo! JAPAN 提供 |
| llm-jp-eval | 175 | 跨多个数据集的自动评估 |
| swallow-evaluation | 26 | Swallow 专案评估 |
| llm-leaderboard | 95 | W&B 的 LLM 评估 |
| jmteb | 96 | 日语文字嵌入基准测试 |
| japanese-llm-ranking | 50 | Camel 排行榜 |
| JMMLU | 45 | 日语大规模多任务语言理解 |
JGLUE(yahoojapan/JGLUE)是由 Yahoo! JAPAN 提供的 GLUE 基准测试日语版本,Stars:349,是评估框架中使用最广泛的。包含涵盖文字分类、句对分类及问答的任务。
llm-jp-eval 是由 LLM-jp 专案开发的日语 LLM 自动评估工具,能够跨多个数据集进行评估。Stars:175,持续活跃更新(截至 2026 年 2 月)。