結論
本調查以 awesome-japanese-nlp-resources 儲存庫為基礎,系統性地調查並分類了日本語 NLP 領域的 898 個 GitHub 儲存庫和 497 個 Hugging Face 儲存庫(282 個模型和 215 個資料集)。主要發現摘要如下。
形態素分析仍由 MeCab 家族主導,但隨著 SudachiPy(436k/週下載)的成長、Rust 實作的崛起及神經方法的出現,多樣化正在推進。
在句法剖析中,UD 相容分析正以 GiNZA(Stars:878)為中心實現標準化,使與多語言 NLP 的整合更加容易。
在 OCR 領域,manga-ocr(Stars:2,800)和 donut(Stars:6,900)等基於 Transformer 的創新方法引起了廣泛關注。
在語音合成中,VOICEVOX(合計 Stars:6,300+) 壓倒性地受歡迎,已成為日本內容創作生態系的重要組成部分。
在 LLM 開發中,以 LLM-jp 專案和 Swallow 專案為核心,國內日語 LLM 的開發基礎設施正在快速建立。
評估基準測試正在發展,JGLUE(Stars:349)、llm-jp-eval(Stars:175)、JMMLU(Stars:45)等工具實現了多面向評估。
與日本流行文化——漫畫、遊戲、VTuber——的融合,已成為日本語 NLP 的獨特發展方向。
Hugging Face 已成長為日語模型的主要中心,已發布 282 個模型和 215 個資料集,由 wav2vec2-large-xlsr-53-japanese(16M 下載)、japanese-gpt-neox-small(656k 下載)、ruri-v3-310m(634k 下載)、plamo-embedding-1b(486k 下載)領銜。語音辨識需求持續高漲,在文字嵌入領域,Ruri 系列已成為標準選擇。
透過 GGUF 量化的本地 LLM 執行正在普及,許多日語 LLM 以 llama.cpp 相容格式提供。
日本語 NLP 正處於傳統語言處理技術與以 LLM 為代表的最新深度學習技術並存的過渡期。雖然形態素分析等基礎技術將繼續發揮重要作用,但預計與 LLM 的整合及向多模態處理的擴展將持續推進。開源社群的積極活動持續支撐著這一領域的不斷發展。