大型语言模型(LLM)与 ChatGPT 相关
10.1 LLM 开发专案
近年来,支援日语的大型语言模型开发日趋活跃,多个大型专案正在进行中。
LLM-jp 专案:以国立信息学研究所(NII)为核心的 LLM 研究会的成果。
- llm-jp-eval(Stars:175):LLM 自动评估工具
- llm-jp-sft(Stars:66):监督式微调
- llm-jp-tokenizer(Stars:54):LLM 分词器
- llm-jp-corpus(Stars:49):训练语料库
- llm-jp-eval-mm(Stars:44):多模态 LLM 评估
- llm-jp-judge(Stars:64):自动生成评估
- llm-jp-vila(Stars:10):基于 VILA 的 VLM 训练
Swallow 专案:以东京工业大学为核心的日语 LLM 开发专案。
- swallow-evaluation(Stars:26):评估脚本
- swallow-evaluation-instruct(Stars:34):训练后模型评估
- swallow-corpus(Stars 未列出):大规模日语网络语料库
shisa-v2(shisa-ai/shisa-v2):日英双语 LLM。Stars:35。
OneCompression(FujitsuResearch/OneCompression,Stars:445):富士通研究所推出的 LLM 专用后训练量化(PTQ)流程,集成了 QEP(NeurIPS 2025)、ILP 混合精度、旋转前处理、vLLM 插件,为高效本地 LLM 推理提供一站式解决方案。
Hugging Face 上的日语 LLM
在 Hugging Face 的文字生成类别中,已发布众多日语 LLM。下面列出下载数最高的模型。
| 模型名 | HF 下载 | 点赞数 | 开发者 | 说明 |
|---|---|---|---|---|
| llm-jp-4.1-8b-thinking | 80k | 18 | NII/LLM-jp | llm-jp-4.1 系列的 8B 推理模型 |
| llm-jp-4-8b-instruct | 49k | 16 | NII/LLM-jp | llm-jp-4 系列 8B 指令微调模型 |
| sarashina2.2-3b-instruct-v0.1 | 16k | 39 | SB Intuitions | 自回归日语模型 |
| Llama-3-Swallow-8B-Instruct-v0.1 | 9k | 21 | 东京工业大学 | Meta Llama 3 日语扩充 |
| Llama-3.1-Swallow-8B-Instruct-v0.5 | 7k | 20 | 东京工业大学 | 以合成日语数据训练 |
| Mistral-Nemo-Japanese-Instruct-2408 | 6k | 49 | CyberAgent | Mistral-Nemo 日语版 |
| LFM2.5-1.2B-JP-202606 | 4k | 82 | Liquid AI | 混合架构 |
| Llama-3-ELYZA-JP-8B | 4k | 150 | ELYZA | 150 个点赞数的高人气 |
| llm-jp-4-8b-thinking | 3k | 52 | NII/LLM-jp | 支援推理轨迹生成的 8B 模型 |
| NVIDIA-Nemotron-Nano-9B-v2-Japanese | 3k | 146 | NVIDIA | Mamba-2/MLP/Attention 混合 |
| llm-jp-4-32b-a3b-thinking | 2k | 40 | NII/LLM-jp | MoE 架构的 32B 推理模型 |
| TinySwallow-1.5B-Instruct | 2k | 61 | Sakana AI | 透过 TAID 蒸馏的轻量模型 |
向推理(thinking)系模型的转移持续进行。新发布的 llm-jp-4.1-8b-thinking(80k/周)成为本表首位,GGUF 格式的 llm-jp-4-33b-thinking-gguf(271k/周,全日语 NLP 模型第 10 名)也大幅成长。另一方面,上次居前的 llm-jp-4-8b-thinking(21k→3k/周)与 llm-jp-4-32b-a3b-thinking(16k→2k/周)随 4.1 系列登场而减少,指令微调版 llm-jp-4-8b-instruct(49k/周)则表现稳健。NVIDIA-Nemotron-Nano-9B-v2-Japanese 维持在 3k/周,但其 146 个点赞数依然处于高水准。
Swallow 专案在 Hugging Face 上也极为活跃,将 Llama 3/3.1、Gemma 2、GPT-OSS、Qwen3 等多样化基础模型扩展到日语。特别是 GPT-OSS-Swallow 提供 20B 及 120B 参数的大型模型,在强化日语能力的同时维持数学和程序设计能力。
ELYZA 系列获得社群的强力支持,点赞数高(Llama-3-ELYZA-JP-8B:150 个点赞,ELYZA-japanese-Llama-2-7b-instruct:75 个点赞)。
TinySwallow-1.5B(Sakana AI)是使用 TAID 蒸馏技术从 Qwen2.5-32B-Instruct 蒸馏而来的模型,展示了小巧但高效能日语模型的可能性。
LFM2.5-1.2B-JP(Liquid AI):采用结合 Mamba-2 和 MLP 的混合架构,实现 JMMLU 50.7、M-IFEval 58.1、GSM8K 56.0 的成绩。2026 年 6 月版(LFM2.5-1.2B-JP-202606)为 4k/周(82 个点赞数),并同时提供 ONNX 与 GGUF 格式,其中 GGUF 版以 8k/周的下载量超过原版。
10.2 ChatGPT/LLM 应用
ChatGPT 和 LLM 的日语应用涵盖广泛范围。
对话 / 聊天机器人:
- ChatdollKit(Stars:1,300):将 3D 模型转换为聊天机器人的 Unity 工具包
- aiavatarkit(Stars:704):建构基于 AI 的对话虚拟角色
- chatvrm(Stars:848):pixiv 的 VRM 角色对话示范
VTuber / 虚拟角色:
- gptuber-by-langchain(Stars:63):让 GPT 扮演 YouTuber 的系统
- VRChatGPT(Stars:15):在 VRChat 上的对话
- AITuberDegikkoMirii(Stars:5):AITuber 平台
RAG(检索增强生成):
- RAG-Japanese / rag-japanese(Stars:10):日语 LLM 的 RAG
- azure-search-openai-demo(Stars:46):RAG 模式的日语实作
- wikipedia-japanese-open-rag:使用日语 Wikipedia 的 RAG
提示工程:
- chatgpt-prompt-sample-japanese(Stars:431):日语提示范例
10.3 评估基准测试
- IgakuQA(Stars:52):GPT-4/ChatGPT 在日本医师执照考试上的评估
- Japanese-RP-Bench:日语角色扮演能力基准测试
- japanese-llm-roleplay-benchmark(Stars:42):LLM 角色扮演评估
- pfmt-bench-fin-ja(Stars:9):日语金融基准测试
- igakuqa119(Stars:10):第 119 次日本医师执照考试的 LLM 评估
- jmle2026-bench(Stars:11):第 120 届日本医师执照考试 LLM 基准测试(2026 年 2 月举行)
- japanese-hr-niah(kufu):日语人事劳务领域长文本 LLM 性能评估(Needle-In-A-Haystack 形式)
- Doppelganger-JC:中日跨语言同形异义词误用基准测试
- JMultiWOZ-TC(llm-jp):多轮对话场景中的代理 Function Calling 评估