结论
本调查以 awesome-japanese-nlp-resources 储存库为基础,系统性地调查并分类了日本语 NLP 领域的 898 个 GitHub 储存库和 497 个 Hugging Face 储存库(282 个模型和 215 个数据集)。主要发现摘要如下。
形态素分析仍由 MeCab 家族主导,但随着 SudachiPy(436k/周下载)的成长、Rust 实作的崛起及神经方法的出现,多样化正在推进。
在句法解析中,UD 相容分析正以 GiNZA(Stars:878)为中心实现标准化,使与多语言 NLP 的整合更加容易。
在 OCR 领域,manga-ocr(Stars:2,800)和 donut(Stars:6,900)等基于 Transformer 的创新方法引起了广泛关注。
在语音合成中,VOICEVOX(合计 Stars:6,300+) 压倒性地受欢迎,已成为日本内容创作生态系的重要组成部分。
在 LLM 开发中,以 LLM-jp 专案和 Swallow 专案为核心,国内日语 LLM 的开发基础设施正在快速建立。
评估基准测试正在发展,JGLUE(Stars:349)、llm-jp-eval(Stars:175)、JMMLU(Stars:45)等工具实现了多面向评估。
与日本流行文化——漫画、游戏、VTuber——的融合,已成为日本语 NLP 的独特发展方向。
Hugging Face 已成长为日语模型的主要中心,已发布 282 个模型和 215 个数据集,由 wav2vec2-large-xlsr-53-japanese(16M 下载)、japanese-gpt-neox-small(656k 下载)、ruri-v3-310m(634k 下载)、plamo-embedding-1b(486k 下载)领衔。语音识别需求持续高涨,在文字嵌入领域,Ruri 系列已成为标准选择。
透过 GGUF 量化的本地 LLM 执行正在普及,许多日语 LLM 以 llama.cpp 相容格式提供。
日本语 NLP 正处于传统语言处理技术与以 LLM 为代表的最新深度学习技术并存的过渡期。虽然形态素分析等基础技术将继续发挥重要作用,但预计与 LLM 的整合及向多模态处理的扩展将持续推进。开源社群的积极活动持续支撑着这一领域的不断发展。