
提供预训练模型、代码和指南,以在日本维基百科资源上预训练官方ALBERT(https://github.com/google-research/albert)。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
13
±0 (10月13日〜)
最后提交
2023年9月
GitHub 创建日期
2023年6月3日
收录日
2023年6月11日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 13 |
| 2026年1月 | 13 |
| 2026年2月 | 13 |
| 2026年3月 | 13 |
| 2026年4月 | 13 |
| 2026年5月 | 13 |
| 2026年6月 | 13 |
| 2026年7月 | 13 |
| 2026年8月 | 13 |
| 2026年9月 | 13 |
| 2026年10月 | 13 |
| 2026年11月 | 13 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
研究领域相近的资源
jmlm_scoringminhpqn5基于掩码语言模型的日语和越南语评分共同: 文本生成・语言模型
t5_japanese_dialogue_generationJinyamyzk3使用T5生成对话共同: 文本生成・语言模型- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。HF 模型共同: 语言模型・语义文本处理
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。HF 模型共同: 表示学习・语言模型
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。HF 模型共同: 表示学习・语言模型
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。HF 模型共同: 文本生成・语言模型