02

形态素分析

形态素分析是日本语 NLP 的核心技术——将文字切分为单字(语素)并为每个语素附加词性、原形及读音等信息的过程。由于日文文字之间不以空格分隔,这道处理不可或缺。

2.1 MeCab 家族

MeCab 是一个基于条件随机场(CRF)的开源形态素分析器,由工藤拓(Taku Kudo)开发并以 C++ 实作。因其速度与精确度,长期以来一直是日本语 NLP 的事实标准。

MeCab core(taku910/mecab):原始 C++ 实作。Stars:1,100。于 2025 年 2 月最后更新,展现其长期稳定性。

Python 绑定:有多种绑定可供从 Python 使用 MeCab,各具不同特性。

工具名 周间下载 累计下载 Stars 说明
mecab-python3 174k 43M 581 最标准的 Python 绑定
natto-py 2k 34M 95 基于 ctypes 的绑定;需另行安装 MeCab
fugashi 206k 20M 538 Cython 实作;快速且符合 Python 惯例

mecab-python3 的周间下载数最高,达 174k,累计下载数以 43M 居首,Stars:581。fugashi 采用 Cython 加速,周间下载 206k、Stars 538。natto-py 维持周间 2k 下载,累计 34M。

mecab-python3
最标准的 Python 绑定
581 174k/w
natto-py
基于 ctypes 的绑定;需另行安装 MeCab
95 2k/w
fugashi
Cython 实作;快速且符合 Python 惯例
538 206k/w
MeCab core
MeCab core(taku910/mecab):原始 C++ 实作。Stars:1,100。于 2025 年 2 月最后更新,展现其长期稳定性。

2.2 Sudachi 家族

Sudachi 是由 Works Applications 开发的日语形态素分析器,设计时以商业应用场景为重点。其最具特色的功能是可在三个层级选择切分单位:A(短单位)、B(中单位)和 C(长单位)。

SudachiPy/sudachi.rs:最初为纯 Python 实作(SudachiPy),但自 0.6 版起已迁移至 Rust 实作(sudachi.rs),实现了显著的速度提升。其周间下载数 436k 是形态素分析类别中最高的,累计下载 70M 彰显其广泛采用。Stars:442。

SudachiDict(SudachiDict):Sudachi 的词典套件。提供 small、core 及 full 三种类型。Stars:318。持续定期更新。

Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 实作。Stars:1,000。用于与 Elasticsearch 及 Solr 整合。

SudachiDict
SudachiDict(SudachiDict):Sudachi 的词典套件。提供 small、core 及 full 三种类型。Stars:318。持续定期更新。
Sudachi(Java 版本)
Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 实作。Stars:1,000。用于与 Elasticsearch 及 Solr 整合。

2.3 Juman++ 家族

Juman++ 是由京都大学黑桥・柴田・村胁研究室开发的形态素分析器,采用循环神经网络语言模型(RNNLM)进行高精度分析。

工具名 Stars 语言 说明
jumanpp 413 C++ 核心程序。使用 RNNLM 进行高精度分析
juman 12 C++ 旧版本
pyknp 93 Python Juman++/KNP 的 Python 模块(2k/周下载)
rhoknp 40 Python Juman++/KNP 的新绑定(28k/周下载)

rhoknp 的周间下载数达 28k,超越 pyknp(2k/周)。持续活跃更新(最后更新于 2026 年 1 月)。

jumanpp
核心程序。使用 RNNLM 进行高精度分析
413
juman
旧版本
12
pyknp
Juman++/KNP 的 Python 模块(2k/周下载)
93
rhoknp
Juman++/KNP 的新绑定(28k/周下载)
40

2.4 其他形态素分析工具

工具名 周间下载 累计下载 Stars 说明
Janome 66k 14M 922 纯 Python 实作。安装简便
nagisa 62k 11M 424 基于 RNN。内建含词性标记的预训练模型
konoha 28k 7M 266 多种分词器的统一封装
Mykytea-python 4k 597k 36 KyTea 的 Python 封装

Janome 拥有 922 Stars,是形态素分析工具中最高的,以纯 Python 实作的易用性受到重视。仅需 pip 安装且无外部依赖,适合教育用途及原型开发。

nagisa 是一个基于 RNN 的分词器,采用 BLSTM 进行词性估计。每周稳定达 62k 下载。

Janome
纯 Python 实作。安装简便
922 66k/w
nagisa
基于 RNN。内建含词性标记的预训练模型
424 62k/w
konoha
多种分词器的统一封装
266 28k/w
Mykytea-python
KyTea 的 Python 封装
36 4k/w

2.5 多语言实作比较

形态素分析已以多种程序语言实作,可根据使用场景选择。

Rust 实作

工具名 累计下载 Stars 说明
lindera 3.5M 708 MeCab 相容。强大的搜索引擎整合
vibrato 115k 430 基于 Viterbi 的高速分词器
vaporetto 379k 302 基于逐点预测
kanpyo 2.5k 108 纯 Rust 形态素分析器
goya 12k 84 Rust 形态素分析

Rust 实作近年来发展迅速,其中 lindera(Stars:708)最受欢迎。亦提供与 Tantivy 搜索引擎的整合(lindera-tantivy)。vibrato 和 vaporetto 是 daac-tools 群组的高效能实作,各自亦提供 Python 封装(python-vibrato、python-vaporetto)。

lindera
MeCab 相容。强大的搜索引擎整合
708
vibrato
基于 Viterbi 的高速分词器
430
vaporetto
基于逐点预测
302
kanpyo
纯 Rust 形态素分析器
108
goya
Rust 形态素分析
84

Go 实作

kagome(ikawaha/kagome):以纯 Go 撰写的自给自足形态素分析器,Stars:988——对于 Go 语言的 NLP 工具而言极为受欢迎。无需外部依赖,易于嵌入 Go 应用程序中。

kagome
kagome(ikawaha/kagome):以纯 Go 撰写的自给自足形态素分析器,Stars:988——对于 Go 语言的 NLP 工具而言极为受欢迎。无需外部依赖,易于嵌入 Go 应用程序中。

Java 实作

kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 采用的 Java 形态素分析器,Stars:1,100,知名度高。在搜索引擎整合方面具有优势。

kuromoji
kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 采用的 Java 形态素分析器,Stars:1,100,知名度高。在搜索引擎整合方面具有优势。

JavaScript 实作

kuromoji.js(takuyaa/kuromoji.js):JavaScript 实作,周间下载 319k,累计下载 11M,广泛用于浏览器及 Node.js 环境。Stars:1,000。

kuromoji.js
kuromoji.js(takuyaa/kuromoji.js):JavaScript 实作,周间下载 319k,累计下载 11M,广泛用于浏览器及 Node.js 环境。Stars:1,000。

2.6 形态素分析工具的整体趋势

从形态素分析工具的使用模式可以读出以下趋势:

  1. MeCab 家族仍占最大份额:MeCab 相关绑定(mecab-python3、natto-py、fugashi)的合计周间下载数达 424k,维持压倒性的市场份额。
  2. SudachiPy 快速成长:其 436k/周下载数略微超越了各个 MeCab 工具总和,这得益于 Rust 迁移带来的效能提升及三层切分的灵活性。
  3. Rust 实作的崛起:lindera、vibrato、vaporetto 等 Rust 实作正被积极开发,在优先考虑效能和内存效率的使用场景中越来越多地被采用。
  4. 神经方法的出现:nagisa(BLSTM)和 Mecari(GNN)等基于深度学习的方法也在出现并被积极开发。