T5 v1.1 日语模型,预训练于 mC4/ja 和 Wikipedia,采用 GEGLU 激活函数,预训练期间无 dropout,使用独立的嵌入/分类器层,并且 d_model 较大但头数更少。商业用途许可为 CC‑BY‑SA 4.0。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
3,000
Hugging Face 点赞数
3
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | 1,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | — |
| 2026年7月 | 6,000 |
| 2026年8月 | 2,000 |
| 2026年9月 | 10,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 3,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。
- japanese-splade-v2hotchpotch4k高性能的日本 SPLADE v2 通过 WebUI demo 实现稀疏向量转换和推理,使用 YAST 进行训练,提供 YASEM 嵌入,并报告 JMTEB benchmark 结果。
研究领域相近的资源
- ruri-v3-310mcl-nagoya634kRuri v3 是基于 ModernBERT‑Ja 的先进日语文本嵌入模型,支持多达 8,192 词元输入,100K 词元词汇表,FlashAttention 加速推理,并提供多种尺寸变体,便于快速使用 sentence‑transformer。共同: 嵌入、检索与 RAG・BERT 等预训练模型
- ruri-v3-reranker-310mcl-nagoya137kRuri‑v3 Reranker 是一个基于 ModernBERT‑Ja 构建的稳健日语文本重排器,支持最高 8,192‑token 序列、100k‑token 词汇表、FlashAttention 以及 SentencePiece 分词器,并可通过 sentence‑transformers 使用。共同: 嵌入、检索与 RAG・BERT 等预训练模型
- ruri-v3-30mcl-nagoya126kRuri v3是一个最先进的日语文本嵌入模型,基于ModernBERT‑Ja构建,支持最多8,192个标记,拥有100 k词汇量,支持FlashAttention加速,并提供多种规模,从37 M到315 M参数。共同: 嵌入、检索与 RAG・BERT 等预训练模型
- ruri-v3-130mcl-nagoya93kRuri v3 是基于 ModernBERT‑Ja 的前沿日语文本嵌入模型,支持最多 8192 token 序列、100K token 词汇量、FlashAttention,并以 30 M 至 310 M 参数规模发布,供 sentence‑transformers 使用。共同: 嵌入、检索与 RAG・BERT 等预训练模型
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k一款在 cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking 上使用 MultipleNegativesRankingLoss 细调的 Japanese Sentence‑BERT v2,较 v1 提升了约 1.5–2 %的准确率,并以 sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 发布。共同: 嵌入、检索与 RAG・BERT 等预训练模型
- transformers-ud-japanese-electra-base-ginza-510megagonlabs22kja_ginza_electra 是一个 spaCy v3 Python 包,提供一个在 mC4 和 UD_Japanese_BCCWJ r2.8(基于 megagonlabs/transformers‑ud‑japanese‑electra‑base‑discrimininator)上微调的日语 ELECTRA 模型,并配有自定义 bunsetu‑phrase 检测功能,按 MIT license 分发。共同: 嵌入、检索与 RAG・BERT 等预训练模型