一个预训练于约 17 M 条日语维基百科句子(2.6 GB)的 BERT base 模型,使用 IPA 字典和 WordPiece 进行分词,拥有 12 层 / 768‑维隐藏状态 / 12 头,32 000‑token 词汇表,已在 Cloud TPUs 上训练了 1 M 步,并以 CC‑BY‑SA 3.0 许可发布。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
9,000
Hugging Face 点赞数
42
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 66,000 |
| 2026年1月 | 42,000 |
| 2026年2月 | 188,000 |
| 2026年3月 | 242,000 |
| 2026年4月 | 178,000 |
| 2026年5月 | 321,000 |
| 2026年6月 | 250,000 |
| 2026年7月 | 156,000 |
| 2026年8月 | 144,000 |
| 2026年9月 | 162,000 |
| 2026年10月 | 10,000 |
| 2026年11月 | 9,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。
- deberta-v2-large-japanese-char-wwmku-nlp76k日语 DeBERTa V2 大型模型,已在 171 GB 的日语 Wikipedia、CC‑100 与 OSCAR 上训练,使用字符级 SentencePiece 分词和全词掩码,已准备好通过 Hugging Face Transformers 进行下游微调。
- bert-base-japanese-char-v2tohoku-nlp55k一个 BERT‑base 日语模型(12 层,768-维隐藏状态,12 头),在 3000 万条维基百科句子(约 4 GB)上训练,使用 Unidic 2.1.2 词级分词,随后进行字符级分词和全词掩码,使用 512 令牌序列,256 批次,以及 1 M 训练步骤。
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。
- deberta-v2-base-japanese-char-wwmku-nlp24k一款日本DeBERTa‑V2基础模型,已在171 GB的日本维基百科、CC‑100和OSCAR文本上预训练,使用字符级分词、全词掩码,训练耗时20天,使用8块A100 GPU,并已准备好进行下游微调。
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。
研究领域相近的资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。共同: 表示学习・句法文本处理
- bert-base-japanese-chartohoku-nlp11k一个 BERT‑base 日语模型(12 层,768 维隐藏,12 头),使用 MeCab IPA 词级分词后再进行字符级分词生成 4000 词的词表,在约 1700 万句来自日语维基百科(2.6 GB)的句子上预训练,训练代码位于 cl‑tohoku/bert‑japanese,采用 CC BY‑SA 3.0 许可证发布。共同: 表示学习・句法文本处理
- bert-base-japanese-v2tohoku-nlp9kJapanese BERT‑base(12 层,768 隐藏,12 头)在 4 GB 的日语维基百科(≈30 M 句)上预训练,使用 Unidic 2.1.2 词级分词、WordPiece 子词分词和全词遮蔽。共同: 表示学习・句法文本处理
- japanese-roberta-baserinna9kJapanese‑Roberta‑Base 是来自 rinna Co., Ltd. 的预训练掩码语言模型,提供了正确加载、token 预处理、position‑id 处理的准则,以及强调需要前置 [CLS] token 和一致 tokenization 的使用示例。共同: 句法文本处理・文本切分
gector-jajonnyli112520基于BERT的日语GEC标记GitHub共同: 表示学习・句法文本处理- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。共同: 表示学习・语言模型