一款日语 BERT 大模型(24 层,隐藏尺寸 1024,16 个注意力头),在 CC‑100 和 Wikipedia 上使用 Unidic 2.1.2 的词级分词后再进行字符拆分训练,并采用全词掩码进行 MLM,可通过 cl-tohoku/bert-japanese 获取。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
2,000
Hugging Face 点赞数
2
收录日
2024年5月13日
同分类的热门资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。
- t5-small-shortretrieva-jp3kT5 v1.1 日语模型,预训练于 mC4/ja 和 Wikipedia,采用 GEGLU 激活函数,预训练期间无 dropout,使用独立的嵌入/分类器层,并且 d_model 较大但头数更少。商业用途许可为 CC‑BY‑SA 4.0。
研究领域相近的资源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。共同: BERT 等预训练模型
- deberta-v2-large-japanese-char-wwmku-nlp76k日语 DeBERTa V2 大型模型,已在 171 GB 的日语 Wikipedia、CC‑100 与 OSCAR 上训练,使用字符级 SentencePiece 分词和全词掩码,已准备好通过 Hugging Face Transformers 进行下游微调。共同: BERT 等预训练模型
- bert-base-japanese-char-v2tohoku-nlp55k一个 BERT‑base 日语模型(12 层,768-维隐藏状态,12 头),在 3000 万条维基百科句子(约 4 GB)上训练,使用 Unidic 2.1.2 词级分词,随后进行字符级分词和全词掩码,使用 512 令牌序列,256 批次,以及 1 M 训练步骤。共同: BERT 等预训练模型
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。共同: BERT 等预训练模型
- deberta-v2-base-japanese-char-wwmku-nlp24k一款日本DeBERTa‑V2基础模型,已在171 GB的日本维基百科、CC‑100和OSCAR文本上预训练,使用字符级分词、全词掩码,训练耗时20天,使用8块A100 GPU,并已准备好进行下游微调。共同: BERT 等预训练模型
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。共同: BERT 等预训练模型