一个Japanese‑language T5 model,在约100 GB的Wikipedia和OSCAR数据上使用SentencePiece tokenization进行预训练,超越了Google’s multilingual T5在news‑classification benchmark上的表现,但需要fine‑tuning,并可能产生biased outputs.
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
1,000
Hugging Face 点赞数
57
收录日
—
自页面创建时收录
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 3,000 |
| 2026年1月 | 2,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 2,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 81,000 |
| 2026年7月 | 204,000 |
| 2026年8月 | 216,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 1,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k一款在 cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking 上使用 MultipleNegativesRankingLoss 细调的 Japanese Sentence‑BERT v2,较 v1 提升了约 1.5–2 %的准确率,并以 sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 发布。
- clip-japanese-baseline-corporation34kLY Corporation的clip‑japanese‑base 是一个日语 CLIP 模型,在约10亿对图像‑文本对上训练,使用 Eva02‑B transformer 图像编码器和 12 层 BERT 文本编码器,在 STAIR 上实现 R@1 0.30,在 Recruit 上得到 0.89 的准确率,在 ImageNet‑1K 上得到 0.58 的准确率,并支持 zero‑shot 图像分类和检索。
- transformers-ud-japanese-electra-base-ginza-510megagonlabs22kja_ginza_electra 是一个 spaCy v3 Python 包,提供一个在 mC4 和 UD_Japanese_BCCWJ r2.8(基于 megagonlabs/transformers‑ud‑japanese‑electra‑base‑discrimininator)上微调的日语 ELECTRA 模型,并配有自定义 bunsetu‑phrase 检测功能,按 MIT license 分发。
- sentence-bert-base-ja-mean-tokenssonoisa14k用于生成句子嵌入的 Japanese Sentence‑BERT (v1) 模型,已提供改进版 v2,并通过 Hugging Face Transformers 以及自定义的 SentenceBertJapanese 类进行示例使用。
- sentence-luke-japanese-base-litesonoisa10kJapanese Sentence‑LUKE 模型在与 Sentence‑BERT 同一数据集上训练,表现超过或匹配其性能,基于 studio‑ousia/luke‑japanese‑base‑lite 构建,并通过 Hugging Face Transformers 的 MLukeTokenizer 与 LukeModel 进行使用。
- clip-japanese-base-v2line-corporation2k日本CLIP模型 clip‑japanese‑base‑v2,升级后约20亿图像‑文本对并采用蒸馏,配合 Eva02‑B 图像编码器和 12 层 BERT 文本编码器,将 ImageNet‑1k 准确率提升至 0.708,超过前代模型。
研究领域相近的资源
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。共同: 文本生成・语言模型
gpt2-japanesetanreinama322日本GPT2生成模型GitHub共同: 文本生成・语言模型
t5-japanesemegagonlabs39用于预训练日语T5模型的代码GitHub共同: 文本生成・语言模型- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。共同: 语言模型・语义文本处理
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。共同: 语言模型・语义文本处理
- modernbert-ja-130msbintuitions12k这是一款 1.32 亿参数的日语 ModernBERT 模型,融合了 local‑global 与 RoPE 注意力机制,训练于 4.39 T 词条(日语/英语),词表大小 102k,最大序列长度 8,192,针对 Flash Attention 2 做了优化。共同: 语言模型・语义文本处理