形态素分析
形态素分析是日本语 NLP 的核心技术——将文字切分为单字(语素)并为每个语素附加词性、原形及读音等信息的过程。由于日文文字之间不以空格分隔,这道处理不可或缺。
2.1 MeCab 家族
MeCab 是一个基于条件随机场(CRF)的开源形态素分析器,由工藤拓(Taku Kudo)开发并以 C++ 实作。因其速度与精确度,长期以来一直是日本语 NLP 的事实标准。
MeCab core(taku910/mecab):原始 C++ 实作。Stars:1,100。于 2025 年 2 月最后更新,展现其长期稳定性。
Python 绑定:有多种绑定可供从 Python 使用 MeCab,各具不同特性。
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| mecab-python3 | 174k | 43M | 581 | 最标准的 Python 绑定 |
| natto-py | 2k | 34M | 95 | 基于 ctypes 的绑定;需另行安装 MeCab |
| fugashi | 206k | 20M | 538 | Cython 实作;快速且符合 Python 惯例 |
mecab-python3 的周间下载数最高,达 174k,累计下载数以 43M 居首,Stars:581。fugashi 采用 Cython 加速,周间下载 206k、Stars 538。natto-py 维持周间 2k 下载,累计 34M。
2.2 Sudachi 家族
Sudachi 是由 Works Applications 开发的日语形态素分析器,设计时以商业应用场景为重点。其最具特色的功能是可在三个层级选择切分单位:A(短单位)、B(中单位)和 C(长单位)。
SudachiPy/sudachi.rs:最初为纯 Python 实作(SudachiPy),但自 0.6 版起已迁移至 Rust 实作(sudachi.rs),实现了显著的速度提升。其周间下载数 436k 是形态素分析类别中最高的,累计下载 70M 彰显其广泛采用。Stars:442。
SudachiDict(SudachiDict):Sudachi 的词典套件。提供 small、core 及 full 三种类型。Stars:318。持续定期更新。
Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 实作。Stars:1,000。用于与 Elasticsearch 及 Solr 整合。
2.3 Juman++ 家族
Juman++ 是由京都大学黑桥・柴田・村胁研究室开发的形态素分析器,采用循环神经网络语言模型(RNNLM)进行高精度分析。
| 工具名 | Stars | 语言 | 说明 |
|---|---|---|---|
| jumanpp | 413 | C++ | 核心程序。使用 RNNLM 进行高精度分析 |
| juman | 12 | C++ | 旧版本 |
| pyknp | 93 | Python | Juman++/KNP 的 Python 模块(2k/周下载) |
| rhoknp | 40 | Python | Juman++/KNP 的新绑定(28k/周下载) |
rhoknp 的周间下载数达 28k,超越 pyknp(2k/周)。持续活跃更新(最后更新于 2026 年 1 月)。
2.4 其他形态素分析工具
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| Janome | 66k | 14M | 922 | 纯 Python 实作。安装简便 |
| nagisa | 62k | 11M | 424 | 基于 RNN。内建含词性标记的预训练模型 |
| konoha | 28k | 7M | 266 | 多种分词器的统一封装 |
| Mykytea-python | 4k | 597k | 36 | KyTea 的 Python 封装 |
Janome 拥有 922 Stars,是形态素分析工具中最高的,以纯 Python 实作的易用性受到重视。仅需 pip 安装且无外部依赖,适合教育用途及原型开发。
nagisa 是一个基于 RNN 的分词器,采用 BLSTM 进行词性估计。每周稳定达 62k 下载。
2.5 多语言实作比较
形态素分析已以多种程序语言实作,可根据使用场景选择。
Rust 实作
| 工具名 | 累计下载 | Stars | 说明 |
|---|---|---|---|
| lindera | 3.5M | 708 | MeCab 相容。强大的搜索引擎整合 |
| vibrato | 115k | 430 | 基于 Viterbi 的高速分词器 |
| vaporetto | 379k | 302 | 基于逐点预测 |
| kanpyo | 2.5k | 108 | 纯 Rust 形态素分析器 |
| goya | 12k | 84 | Rust 形态素分析 |
Rust 实作近年来发展迅速,其中 lindera(Stars:708)最受欢迎。亦提供与 Tantivy 搜索引擎的整合(lindera-tantivy)。vibrato 和 vaporetto 是 daac-tools 群组的高效能实作,各自亦提供 Python 封装(python-vibrato、python-vaporetto)。
Go 实作
kagome(ikawaha/kagome):以纯 Go 撰写的自给自足形态素分析器,Stars:988——对于 Go 语言的 NLP 工具而言极为受欢迎。无需外部依赖,易于嵌入 Go 应用程序中。
Java 实作
kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 采用的 Java 形态素分析器,Stars:1,100,知名度高。在搜索引擎整合方面具有优势。
JavaScript 实作
kuromoji.js(takuyaa/kuromoji.js):JavaScript 实作,周间下载 319k,累计下载 11M,广泛用于浏览器及 Node.js 环境。Stars:1,000。
2.6 形态素分析工具的整体趋势
从形态素分析工具的使用模式可以读出以下趋势:
- MeCab 家族仍占最大份额:MeCab 相关绑定(mecab-python3、natto-py、fugashi)的合计周间下载数达 424k,维持压倒性的市场份额。
- SudachiPy 快速成长:其 436k/周下载数略微超越了各个 MeCab 工具总和,这得益于 Rust 迁移带来的效能提升及三层切分的灵活性。
- Rust 实作的崛起:lindera、vibrato、vaporetto 等 Rust 实作正被积极开发,在优先考虑效能和内存效率的使用场景中越来越多地被采用。
- 神经方法的出现:nagisa(BLSTM)和 Mecari(GNN)等基于深度学习的方法也在出现并被积极开发。