Japanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
66,000
Hugging Face 点赞数
65
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 37,000 |
| 2026年1月 | 62,000 |
| 2026年2月 | 39,000 |
| 2026年3月 | 71,000 |
| 2026年4月 | 89,000 |
| 2026年5月 | 63,000 |
| 2026年6月 | 72,000 |
| 2026年7月 | 86,000 |
| 2026年8月 | 133,000 |
| 2026年9月 | 43,000 |
| 2026年10月 | 53,000 |
| 2026年11月 | 66,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。
- t5-small-shortretrieva-jp3kT5 v1.1 日语模型,预训练于 mC4/ja 和 Wikipedia,采用 GEGLU 激活函数,预训练期间无 dropout,使用独立的嵌入/分类器层,并且 d_model 较大但头数更少。商业用途许可为 CC‑BY‑SA 4.0。
- bert-large-japanese-char-v2tohoku-nlp2k一款日语 BERT 大模型(24 层,隐藏尺寸 1024,16 个注意力头),在 CC‑100 和 Wikipedia 上使用 Unidic 2.1.2 的词级分词后再进行字符拆分训练,并采用全词掩码进行 MLM,可通过 cl-tohoku/bert-japanese 获取。
研究领域相近的资源
bert-japanesecl-tohoku551用于日语文本的BERT模型。GitHub共同: 表示学习・语言模型
Laboro-BERT-Japaneselaboroai73劳动BERT日语:使用Web语料库预训练的日语BERTGitHub共同: 表示学习・语言模型
language-pretrainingretarfi50PyTorch实现的BERT和ELECTRA模型,适用于日语文本。GitHub共同: 表示学习・语言模型
bert-japanese-aozoraakirakubo41使用UniDic和SudachiPy进行预分词的日语BERT,训练数据来自青空文库和维基百科。GitHub共同: 表示学习・语言模型
albert-japanesealinear-corp33使用SentencePiece的BERT模型用于日语文本。GitHub共同: 表示学习・语言模型
RoBERTa-japanesetanreinama23日语BERT预训练模型GitHub共同: 表示学习・语言模型