10

大型语言模型(LLM)与 ChatGPT 相关

10.1 LLM 开发专案

近年来,支援日语的大型语言模型开发日趋活跃,多个大型专案正在进行中。

LLM-jp 专案:以国立信息学研究所(NII)为核心的 LLM 研究会的成果。

  • llm-jp-eval(Stars:175):LLM 自动评估工具
  • llm-jp-sft(Stars:66):监督式微调
  • llm-jp-tokenizer(Stars:54):LLM 分词器
  • llm-jp-corpus(Stars:49):训练语料库
  • llm-jp-eval-mm(Stars:44):多模态 LLM 评估
  • llm-jp-judge(Stars:64):自动生成评估
  • llm-jp-vila(Stars:10):基于 VILA 的 VLM 训练

Swallow 专案:以东京工业大学为核心的日语 LLM 开发专案。

  • swallow-evaluation(Stars:26):评估脚本
  • swallow-evaluation-instruct(Stars:34):训练后模型评估
  • swallow-corpus(Stars 未列出):大规模日语网络语料库

shisa-v2(shisa-ai/shisa-v2):日英双语 LLM。Stars:35。

OneCompression(FujitsuResearch/OneCompression,Stars:445):富士通研究所推出的 LLM 专用后训练量化(PTQ)流程,集成了 QEP(NeurIPS 2025)、ILP 混合精度、旋转前处理、vLLM 插件,为高效本地 LLM 推理提供一站式解决方案。

llm-jp-eval
LLM 自动评估工具
175
llm-jp-sft
监督式微调
66
llm-jp-tokenizer
LLM 分词器
54
llm-jp-corpus
训练语料库
49
llm-jp-eval-mm
多模态 LLM 评估
44
llm-jp-judge
自动生成评估
64
llm-jp-vila
基于 VILA 的 VLM 训练
10
swallow-evaluation
评估脚本
26
swallow-evaluation-instruct
训练后模型评估
34
shisa-v2
shisa-v2(shisa-ai/shisa-v2):日英双语 LLM。Stars:35。
OneCompression
OneCompression(FujitsuResearch/OneCompression,Stars:445):富士通研究所推出的 LLM 专用后训练量化(PTQ)流程,集成了 QEP(NeurIPS 2025)、ILP 混合精度、旋转前处理、vLLM 插件,为高效本地 LLM 推理提供一站式解决方案。

Hugging Face 上的日语 LLM

在 Hugging Face 的文字生成类别中,已发布众多日语 LLM。下面列出下载数最高的模型。

模型名 HF 下载 点赞数 开发者 说明
llm-jp-4.1-8b-thinking 80k 18 NII/LLM-jp llm-jp-4.1 系列的 8B 推理模型
llm-jp-4-8b-instruct 49k 16 NII/LLM-jp llm-jp-4 系列 8B 指令微调模型
sarashina2.2-3b-instruct-v0.1 16k 39 SB Intuitions 自回归日语模型
Llama-3-Swallow-8B-Instruct-v0.1 9k 21 东京工业大学 Meta Llama 3 日语扩充
Llama-3.1-Swallow-8B-Instruct-v0.5 7k 20 东京工业大学 以合成日语数据训练
Mistral-Nemo-Japanese-Instruct-2408 6k 49 CyberAgent Mistral-Nemo 日语版
LFM2.5-1.2B-JP-202606 4k 82 Liquid AI 混合架构
Llama-3-ELYZA-JP-8B 4k 150 ELYZA 150 个点赞数的高人气
llm-jp-4-8b-thinking 3k 52 NII/LLM-jp 支援推理轨迹生成的 8B 模型
NVIDIA-Nemotron-Nano-9B-v2-Japanese 3k 146 NVIDIA Mamba-2/MLP/Attention 混合
llm-jp-4-32b-a3b-thinking 2k 40 NII/LLM-jp MoE 架构的 32B 推理模型
TinySwallow-1.5B-Instruct 2k 61 Sakana AI 透过 TAID 蒸馏的轻量模型

向推理(thinking)系模型的转移持续进行。新发布的 llm-jp-4.1-8b-thinking(80k/周)成为本表首位,GGUF 格式的 llm-jp-4-33b-thinking-gguf(271k/周,全日语 NLP 模型第 10 名)也大幅成长。另一方面,上次居前的 llm-jp-4-8b-thinking(21k→3k/周)与 llm-jp-4-32b-a3b-thinking(16k→2k/周)随 4.1 系列登场而减少,指令微调版 llm-jp-4-8b-instruct(49k/周)则表现稳健。NVIDIA-Nemotron-Nano-9B-v2-Japanese 维持在 3k/周,但其 146 个点赞数依然处于高水准。

Swallow 专案在 Hugging Face 上也极为活跃,将 Llama 3/3.1、Gemma 2、GPT-OSS、Qwen3 等多样化基础模型扩展到日语。特别是 GPT-OSS-Swallow 提供 20B 及 120B 参数的大型模型,在强化日语能力的同时维持数学和程序设计能力。

ELYZA 系列获得社群的强力支持,点赞数高(Llama-3-ELYZA-JP-8B:150 个点赞,ELYZA-japanese-Llama-2-7b-instruct:75 个点赞)。

TinySwallow-1.5B(Sakana AI)是使用 TAID 蒸馏技术从 Qwen2.5-32B-Instruct 蒸馏而来的模型,展示了小巧但高效能日语模型的可能性。

LFM2.5-1.2B-JP(Liquid AI):采用结合 Mamba-2 和 MLP 的混合架构,实现 JMMLU 50.7、M-IFEval 58.1、GSM8K 56.0 的成绩。2026 年 6 月版(LFM2.5-1.2B-JP-202606)为 4k/周(82 个点赞数),并同时提供 ONNX 与 GGUF 格式,其中 GGUF 版以 8k/周的下载量超过原版。

llm-jp-4.1-8b-thinking
llm-jp-4.1 系列的 8B 推理模型
80k 18
llm-jp-4-8b-instruct
llm-jp-4 系列 8B 指令微调模型
49k 16
sarashina2.2-3b-instruct-v0.1
自回归日语模型
16k 39
Llama-3-Swallow-8B-Instruct-v0.1
Meta Llama 3 日语扩充
9k 21
Llama-3.1-Swallow-8B-Instruct-v0.5
以合成日语数据训练
7k 20
Mistral-Nemo-Japanese-Instruct-2408
Mistral-Nemo 日语版
6k 49
LFM2.5-1.2B-JP-202606
混合架构
4k 82
Llama-3-ELYZA-JP-8B
150 个点赞数的高人气
4k 150
llm-jp-4-8b-thinking
支援推理轨迹生成的 8B 模型
3k 52
NVIDIA-Nemotron-Nano-9B-v2-Japanese
Mamba-2/MLP/Attention 混合
3k 146
llm-jp-4-32b-a3b-thinking
MoE 架构的 32B 推理模型
2k 40
TinySwallow-1.5B-Instruct
透过 TAID 蒸馏的轻量模型
2k 61
LFM2.5-1.2B-JP
LFM2.5-1.2B-JP(Liquid AI):采用结合 Mamba-2 和 MLP 的混合架构,实现 JMMLU 50.7、M-IFEval 58.1、GSM8K 56.0 的成绩。2026 年 6 月版(LFM2.5-1.2B-JP-202606)为 4k/周(82 个点赞数),并同时提供 ONNX 与 GGUF 格式,其中 GGUF 版以 8k/周的下载量超过原版。

10.2 ChatGPT/LLM 应用

ChatGPT 和 LLM 的日语应用涵盖广泛范围。

对话 / 聊天机器人:

  • ChatdollKit(Stars:1,300):将 3D 模型转换为聊天机器人的 Unity 工具包
  • aiavatarkit(Stars:704):建构基于 AI 的对话虚拟角色
  • chatvrm(Stars:848):pixiv 的 VRM 角色对话示范

VTuber / 虚拟角色:

  • gptuber-by-langchain(Stars:63):让 GPT 扮演 YouTuber 的系统
  • VRChatGPT(Stars:15):在 VRChat 上的对话
  • AITuberDegikkoMirii(Stars:5):AITuber 平台

RAG(检索增强生成):

  • RAG-Japanese / rag-japanese(Stars:10):日语 LLM 的 RAG
  • azure-search-openai-demo(Stars:46):RAG 模式的日语实作
  • wikipedia-japanese-open-rag:使用日语 Wikipedia 的 RAG

提示工程:

  • chatgpt-prompt-sample-japanese(Stars:431):日语提示范例
ChatdollKit
将 3D 模型转换为聊天机器人的 Unity 工具包
1.3k
aiavatarkit
建构基于 AI 的对话虚拟角色
704
chatvrm
pixiv 的 VRM 角色对话示范
848
gptuber-by-langchain
让 GPT 扮演 YouTuber 的系统
63
VRChatGPT
在 VRChat 上的对话
15
AITuberDegikkoMirii
AITuber 平台
5
azure-search-openai-demo
RAG 模式的日语实作
46
chatgpt-prompt-sample-japanese
日语提示范例
431

10.3 评估基准测试

  • IgakuQA(Stars:52):GPT-4/ChatGPT 在日本医师执照考试上的评估
  • Japanese-RP-Bench:日语角色扮演能力基准测试
  • japanese-llm-roleplay-benchmark(Stars:42):LLM 角色扮演评估
  • pfmt-bench-fin-ja(Stars:9):日语金融基准测试
  • igakuqa119(Stars:10):第 119 次日本医师执照考试的 LLM 评估
  • jmle2026-bench(Stars:11):第 120 届日本医师执照考试 LLM 基准测试(2026 年 2 月举行)
  • japanese-hr-niah(kufu):日语人事劳务领域长文本 LLM 性能评估(Needle-In-A-Haystack 形式)
  • Doppelganger-JC:中日跨语言同形异义词误用基准测试
  • JMultiWOZ-TC(llm-jp):多轮对话场景中的代理 Function Calling 评估

IgakuQA
GPT-4/ChatGPT 在日本医师执照考试上的评估
52
japanese-llm-roleplay-benchmark
LLM 角色扮演评估
42
pfmt-bench-fin-ja
日语金融基准测试
9
igakuqa119
第 119 次日本医师执照考试的 LLM 评估
10
jmle2026-bench
第 120 届日本医师执照考试 LLM 基准测试(2026 年 2 月举行)
11