
DistilBERT模型在131GB的日语网络文本上进行了预训练。教师模型是LINE内部构建的BERT-base模型。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
47
±0 (10月13日〜)
最后提交
2023年3月
GitHub 创建日期
2023年3月9日
收录日
2023年3月18日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 46 |
| 2026年1月 | 46 |
| 2026年2月 | 46 |
| 2026年3月 | 46 |
| 2026年4月 | 46 |
| 2026年5月 | 46 |
| 2026年6月 | 46 |
| 2026年7月 | 46 |
| 2026年8月 | 47 |
| 2026年9月 | 47 |
| 2026年10月 | 47 |
| 2026年11月 | 47 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
lukestudio-ousia727LUKE -- 基于知识嵌入的语言理解
bert-japanesecl-tohoku551用于日语文本的BERT模型。
bert-japaneseyoheikikuta497使用SentencePiece的BERT模型用于日语文本。
gpt2-japanesetanreinama322日本GPT2生成模型
japanese-dialog-transformersnttcslab247NTT有提供用于评估日语预训练模型的代码。
DistilBERT-base-jpBandaiNamcoResearchInc161一个在维基百科上训练的日本DistilBERT预训练模型。
研究领域相近的资源
- line-distilbert-base-japaneseline-corporation14kLINE DistilBERT Japanese 是一个 6600 万参数的 DistilBERT 模型,已在 131 GB 的日语网页文本上使用内部 BERT‑base 教师进行预训练,评估基准为 JGLUE,采用 MeCab Unidic 与 SentencePiece 进行分词,并以 Apache 2.0 许可证发布。HF 模型共同: 表示学习・语言模型
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。HF 模型共同: 表示学习・语言模型
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。HF 模型共同: 表示学习・语言模型
Laboro-BERT-Japaneselaboroai73劳动BERT日语:使用Web语料库预训练的日语BERT共同: 表示学习・语言模型
language-pretrainingretarfi50PyTorch实现的BERT和ELECTRA模型,适用于日语文本。共同: 表示学习・语言模型
bert-japanese-aozoraakirakubo41使用UniDic和SudachiPy进行预分词的日语BERT,训练数据来自青空文库和维基百科。共同: 表示学习・语言模型