一个6层、512隐藏单元的Transformer,称为Japanese GPT‑2 xSmall,在Japanese CC‑100和Wikipedia上使用SentencePiece分词训练,于2021年8月25日以MIT许可发布,并托管在Hugging Face(rinna/japanese‑gpt2‑xsmall)上,在arXiv 2404.01657中被引用。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
3,000
Hugging Face 点赞数
16
收录日
—
自页面创建时收录
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | 2,000 |
| 2026年3月 | 1,000 |
| 2026年4月 | 5,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 2,000 |
| 2026年7月 | 1,000 |
| 2026年8月 | — |
| 2026年9月 | 2,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 3,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。
- Spark-X2.5-4B-Heretic-jp-ggufsoyaakinohara589k日语适配版 Spark‑X2.5‑4B 模型(Heretic JP),具备拒绝衰减、预训练、指令调优和工具调用修复功能,可在 BF16 至 Q4_K_M 的 GGUF 量化版本中使用,约 2.5 GiB,支持 llama.cpp 的 1,048,576‑token 上下文。
- llm-jp-4-33b-thinking-ggufllm-jp271kLLM‑jp‑4‑33b‑thinking‑gguf 是日本国立信息学研究所的 33 B 日语语言模型,已使用 SFT 和 DPO(无 RL)预训练,可通过 LLM‑jp fork 在 llama.cpp 上使用,并在其 cookbook 中提供详细使用说明。
- llm-jp-4.1-8b-thinkingllm-jp80kLLM‑jp‑4.1‑8b‑thinking 是日本国立信息学研究所(NII)LLM 研发中心的一个 33 B Transformer 语言模型,采用中途预训练方式,并通过 SFT/DPO 对齐(无 RL),旨在用于日语 NLP 任务,并已在菜谱和技术博客中进行记录。
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。
- llm-jp-4-8b-instructllm-jp49kllm‑jp‑4‑8b‑instruct 是 NII 的 LLM‑jp‑4 系列 4.1 B 参数的日语 LLM,先在大型语料库上预训练,随后仅使用监督指令数据进行微调(不使用 DPO/REINFORCE),并附带类似食谱的使用指南和 byte‑fallback unigram tokenizer。
研究领域相近的资源
- japanese-gpt2-mediumrinna6kRinna 的 24 层、1024 隐藏单元的日语 GPT‑2‑medium 模型,基于 CC‑100 和维基百科训练,采用 SentencePiece 分词,已在 rinna/japanese‑pretrained‑models 仓库公开(MIT 许可证,2021 年 4 月 7 日发布,2021 年 8 月 25 日更新)。共同: 句法文本处理・文本切分
- japanese-gpt2-smallrinna4krinna 的日语 GPT‑2 small 是一个 12 层、768 维隐藏层的 Transformer,训练于日语 CC‑100 和 Wikipedia,使用 SentencePiece 进行分词,发布于 2021 年 8 月 25 日,遵循 MIT 协议(Hugging Face: rinna/japanese‑gpt2‑small,参见 https://arxiv.org/abs/2404.01657)。共同: 句法文本处理・文本切分
- open-calm-smallcyberagent1kOpenCALM 是 CyberAgent 开发的日本解码器(decoder‑only)Transformers 语言模型系列(160 M–6.8 B 参数),基于日本维基百科和 Common Crawl 训练,并以 CC BY‑SA 4.0 许可证发布。共同: 句法文本处理・文本切分
- llm-jp-3-1.8bllm-jp3k来自 NII 研发中心的日本大型语言模型集合(1.8 b 至 172 b beta1,含 instruct 版本),以 Hugging Face Transformers 格式打包,并在混合日语、英语与网络语料库(总计>1万亿个标记)上预训练。需要 torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29 以及 flash‑attn ≥ 2.5。共同: 语言模型・语义文本处理
- ELYZA-japanese-Llama-2-7b-instructelyza3kELYZA‑japanese‑Llama‑2‑7b 是 Meta 的 Llama‑2 模型的 6.27 B 参数扩展版,已在包含 instruct 和 fast 变体的日语数据上预训练,可通过 Hugging Face Transformers 使用。共同: 句法文本处理・语言模型
- japanese-gpt-1brinna2k一款 1.3‑B‑parameter、24‑layer transformer GPT‑1B,使用 Japanese C4、CC‑100 和 Wikipedia 进行训练,于 2022 年 1 月 26 日由 rinna Co. 发布,并在 MIT license 下公开。共同: 语言模型・语义文本处理