Japanese DeBERTa V2 tiny,在约171 GB的日本维基百科、CC‑100 与 OSCAR 语料库上预训练,需使用 Juman++ 词分割,训练耗时 33 小时,使用8块 NVIDIA A100 GPU,并可用于下游任务的微调。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
14,000
Hugging Face 点赞数
5
收录日
—
自页面创建时收录
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 7,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 7,000 |
| 2026年4月 | 7,000 |
| 2026年5月 | 9,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 11,000 |
| 2026年8月 | 5,000 |
| 2026年9月 | 19,000 |
| 2026年10月 | 12,000 |
| 2026年11月 | 14,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。
- deberta-v2-large-japanese-char-wwmku-nlp76k日语 DeBERTa V2 大型模型,已在 171 GB 的日语 Wikipedia、CC‑100 与 OSCAR 上训练,使用字符级 SentencePiece 分词和全词掩码,已准备好通过 Hugging Face Transformers 进行下游微调。
- bert-base-japanese-char-v2tohoku-nlp55k一个 BERT‑base 日语模型(12 层,768-维隐藏状态,12 头),在 3000 万条维基百科句子(约 4 GB)上训练,使用 Unidic 2.1.2 词级分词,随后进行字符级分词和全词掩码,使用 512 令牌序列,256 批次,以及 1 M 训练步骤。
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。
- deberta-v2-base-japanese-char-wwmku-nlp24k一款日本DeBERTa‑V2基础模型,已在171 GB的日本维基百科、CC‑100和OSCAR文本上预训练,使用字符级分词、全词掩码,训练耗时20天,使用8块A100 GPU,并已准备好进行下游微调。
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。
研究领域相近的资源
rinna_gpt-neox_ggml-lorayukaryavka19该存储库包含已修改的脚本和合并脚本,用于适应Alpaca-Lora适配器的LoRA调谐,假设使用转换为ggml的"gpt-neox"模型的"rinna/japanese-gpt-neox..."。
该存储库包含已修改的脚本和合并脚本,用于适应Alpaca-Lora适配器的LoRA调谐,假设使用转换为ggml的"gpt-neox"模型的"rinna/japanese-gpt-neox..."。GitHub共同: 句法文本处理・语言模型
aMLP-japanesetanreinama16用于日语的aMLP Transformer模型GitHub共同: 句法文本处理・语言模型- japanese-roberta-baserinna9kJapanese‑Roberta‑Base 是来自 rinna Co., Ltd. 的预训练掩码语言模型,提供了正确加载、token 预处理、position‑id 处理的准则,以及强调需要前置 [CLS] token 和一致 tokenization 的使用示例。共同: 句法文本处理・语言模型
- modernbert-ja-130msbintuitions12k这是一款 1.32 亿参数的日语 ModernBERT 模型,融合了 local‑global 与 RoPE 注意力机制,训练于 4.39 T 词条(日语/英语),词表大小 102k,最大序列长度 8,192,针对 Flash Attention 2 做了优化。共同: 语言模型・语义文本处理
GPTSANtanreinama119通用开关变压器基于日语模式GitHub共同: 语言模型・语义文本处理
bertinformatix-inc28该存储库提供了使用RoBERTa在日语语料库上预训练的代码片段。我们的数据集包括日语维基百科和网络滚动文章,总共25GB。发布的模型是基于HuggingFace的模型构建的。GitHub共同: 语言模型・语义文本处理