一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
17,000
Hugging Face 点赞数
11
收录日
—
自页面创建时收录
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 15,000 |
| 2026年1月 | 14,000 |
| 2026年2月 | 13,000 |
| 2026年3月 | 16,000 |
| 2026年4月 | 15,000 |
| 2026年5月 | 15,000 |
| 2026年6月 | 16,000 |
| 2026年7月 | 16,000 |
| 2026年8月 | 17,000 |
| 2026年9月 | 17,000 |
| 2026年10月 | 15,000 |
| 2026年11月 | 17,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。
- t5-small-shortretrieva-jp3kT5 v1.1 日语模型,预训练于 mC4/ja 和 Wikipedia,采用 GEGLU 激活函数,预训练期间无 dropout,使用独立的嵌入/分类器层,并且 d_model 较大但头数更少。商业用途许可为 CC‑BY‑SA 4.0。
- bert-large-japanese-char-v2tohoku-nlp2k一款日语 BERT 大模型(24 层,隐藏尺寸 1024,16 个注意力头),在 CC‑100 和 Wikipedia 上使用 Unidic 2.1.2 的词级分词后再进行字符拆分训练,并采用全词掩码进行 MLM,可通过 cl-tohoku/bert-japanese 获取。
研究领域相近的资源
gpt2-japanesetanreinama322日本GPT2生成模型GitHub共同: 文本生成・语言模型- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。共同: 语言模型・语义文本处理
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。共同: 语言模型・语义文本处理
- modernbert-ja-130msbintuitions12k这是一款 1.32 亿参数的日语 ModernBERT 模型,融合了 local‑global 与 RoPE 注意力机制,训练于 4.39 T 词条(日语/英语),词表大小 102k,最大序列长度 8,192,针对 Flash Attention 2 做了优化。共同: 语言模型・语义文本处理
t5-japanesemegagonlabs39用于预训练日语T5模型的代码GitHub共同: 文本生成・语言模型
GPTSANtanreinama119通用开关变压器基于日语模式GitHub共同: 语言模型・语义文本处理