句法解析
句法解析是厘清句子结构及词语间依存关系的过程。在日本语 NLP 中,传统的依存句法分析与较新的通用依存关系(Universal Dependencies,UD)框架分析两种方法并存。
3.1 依存句法分析
CaboCha(taku910/cabocha):由 MeCab 的同一作者工藤拓开发的日语依存句法分析器,基于 SVM(支持向量机)。Stars:121。以 C++ 实作,亦提供 Python 绑定。
KNP(ku-nlp/knp):由京都大学开发的日语句法、格关系及指代消解分析系统。与 Juman++ 搭配使用。Stars:35。能进行格关系分析及指代消解是其显著特点。
J.DepP(jdepp-python、jdeppy):快速日语依存句法分析器的 Python 绑定。
3.2 通用依存关系支援
通用依存关系(UD)是一个跨语言的依存结构框架,已成为多语言 NLP 的标准。
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| GiNZA | 11k | 3M | 878 | 基于 spaCy 的 UD 相容管线 |
| UniDic2UD | 72 | 342k | 38 | 使用 UniDic 词典进行 UD 转换 |
| esupar | 384 | 189k | 56 | 基于 BERT/RoBERTa/DeBERTa |
| SuPar-UniDic | 145 | 126k | 21 | 使用 BERT 模型进行 UD 解析 |
GiNZA 是建构于 spaCy 框架上的日语 NLP 函式库,提供 UD 相容的依存句法分析。Stars:878,是解析工具中最高的,18k 周间下载数彰显其广泛采用。由 Megagon Labs(Recruit Institute of Technology)开发并维护。
esupar(由安冈素显开发)是利用 BERT/RoBERTa/DeBERTa 模型的分词器、词性标注器及依存句法分析器,亦支援日语以外的语言。持续活跃更新。
3.3 CCG 解析器
组合范畴文法(CCG)是基于形式文法理论的解析框架。
depccg(masashi-y/depccg):配备超标记(supertag)和依存因子化(dependency factoring)模型的 A* CCG 解析器。Stars:104。
lightblue(daisukebekki/lightblue):使用 DTS(依赖类型语义学)表示的 CCG 解析器。Stars:29。截至 2026 年 2 月仍持续更新。
3.4 基于 BERT 的解析
bertknp(ku-nlp/bertknp):基于 BERT 的日语依存句法分析器,以 BERT 扩展了 KNP 方法。Stars:23。
KWJA(ku-nlp/kwja):来自京都大学的统一日语分析器,整合了形态素分析、句法解析、谓词论元结构分析等功能。Stars:150。周间下载:612。