Japanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
13,000
Hugging Face 点赞数
21
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 16,000 |
| 2026年1月 | 13,000 |
| 2026年2月 | 6,000 |
| 2026年3月 | 3,000 |
| 2026年4月 | 21,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 5,000 |
| 2026年7月 | 10,000 |
| 2026年8月 | 4,000 |
| 2026年9月 | 5,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 13,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-char-v3tohoku-nlp130k日本语言 BERT‑Base(12 层,768 维,12 头)使用 Unidic 基于词级加字符级分词和全词掩码在 CC‑100 及 2023 Wikipedia 上进行预训练,产生 7,027 名词表。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上训练,使用 Unidic‑lite 单词级标记化配合 WordPiece 子词和全词掩码(24 层,1024 维隐藏层,16 头,32k 词表),预训练代码在 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12层,768维隐藏层,12头,32 k词汇表)在 CC‑100 和 2023‑Jan Wikipedia 上使用全词遮蔽预训练,采用 Unidic 2.1.2 词级分词加 WordPiece,训练 200 万步。
- t5-base-japanese-v1.1sonoisa17k一个预训练在≈100 GB的维基百科和 OS CC‑100 数据(SentencePiece 采用 10:1 混合且带 byte‑fallback)的日文 T5‑v1.1 模型,需要微调以适用于下游任务,包含迁移学习示例代码,指出输出中的潜在偏差,并遵循 CC‑BY‑SA 4.0 许可。
- Llama-3.1-Swallow-8B-Instruct-v0.5-ggufmmnga7k由 tokyotech‑llm 完成的 Llama‑3.1‑Swallow‑8B‑Instruct‑v0.5 的 GGUF 转换,结合 TFMC/imatrix‑dataset‑for‑japanese‑LLM,附带用于 llama.cpp 的 Build/Run 指令。
- sarashina2.2-3b-instruct-v0.1-ggufmmnga4k一个 GGUF 格式的 sbintuitions 的 sarashina2.2-3b-instruct-v0.1 模型转换,使用 TFMC/imatrix-dataset-for-japanese-llm 构建,准备通过 llama.cpp 进行 CUDA 启用推理。
研究领域相近的资源
- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。共同: 语言模型・语义文本处理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。共同: 语言模型・语义文本处理
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。共同: 语言模型・语义文本处理
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。共同: 语言模型・语义文本处理
- modernbert-ja-130msbintuitions12k这是一款 1.32 亿参数的日语 ModernBERT 模型,融合了 local‑global 与 RoPE 注意力机制,训练于 4.39 T 词条(日语/英语),词表大小 102k,最大序列长度 8,192,针对 Flash Attention 2 做了优化。共同: 语言模型・语义文本处理
GPTSANtanreinama119通用开关变压器基于日语模式GitHub共同: 语言模型・语义文本处理