02

形態素分析

形態素分析是日本語 NLP 的核心技術——將文字切分為單字(語素)並為每個語素附加詞性、原形及讀音等資訊的過程。由於日文文字之間不以空格分隔,這道處理不可或缺。

2.1 MeCab 家族

MeCab 是一個基於條件隨機場(CRF)的開源形態素分析器,由工藤拓(Taku Kudo)開發並以 C++ 實作。因其速度與精確度,長期以來一直是日本語 NLP 的事實標準。

MeCab core(taku910/mecab):原始 C++ 實作。Stars:1,100。於 2025 年 2 月最後更新,展現其長期穩定性。

Python 綁定:有多種綁定可供從 Python 使用 MeCab,各具不同特性。

工具名 週間下載 累計下載 Stars 說明
mecab-python3 174k 43M 581 最標準的 Python 綁定
natto-py 2k 34M 95 基於 ctypes 的綁定;需另行安裝 MeCab
fugashi 206k 20M 538 Cython 實作;快速且符合 Python 慣例

mecab-python3 的週間下載數最高,達 174k,累計下載數以 43M 居首,Stars:581。fugashi 採用 Cython 加速,週間下載 206k、Stars 538。natto-py 維持週間 2k 下載,累計 34M。

mecab-python3
最標準的 Python 綁定
581 174k/w
natto-py
基於 ctypes 的綁定;需另行安裝 MeCab
95 2k/w
fugashi
Cython 實作;快速且符合 Python 慣例
538 206k/w
MeCab core
MeCab core(taku910/mecab):原始 C++ 實作。Stars:1,100。於 2025 年 2 月最後更新,展現其長期穩定性。

2.2 Sudachi 家族

Sudachi 是由 Works Applications 開發的日語形態素分析器,設計時以商業應用場景為重點。其最具特色的功能是可在三個層級選擇切分單位:A(短單位)、B(中單位)和 C(長單位)。

SudachiPy/sudachi.rs:最初為純 Python 實作(SudachiPy),但自 0.6 版起已遷移至 Rust 實作(sudachi.rs),實現了顯著的速度提升。其週間下載數 436k 是形態素分析類別中最高的,累計下載 70M 彰顯其廣泛採用。Stars:442。

SudachiDict(SudachiDict):Sudachi 的詞典套件。提供 small、core 及 full 三種類型。Stars:318。持續定期更新。

Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 實作。Stars:1,000。用於與 Elasticsearch 及 Solr 整合。

SudachiDict
SudachiDict(SudachiDict):Sudachi 的詞典套件。提供 small、core 及 full 三種類型。Stars:318。持續定期更新。
Sudachi(Java 版本)
Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 實作。Stars:1,000。用於與 Elasticsearch 及 Solr 整合。

2.3 Juman++ 家族

Juman++ 是由京都大學黑橋・柴田・村脇研究室開發的形態素分析器,採用循環神經網路語言模型(RNNLM)進行高精度分析。

工具名 Stars 語言 說明
jumanpp 413 C++ 核心程式。使用 RNNLM 進行高精度分析
juman 12 C++ 舊版本
pyknp 93 Python Juman++/KNP 的 Python 模組(2k/週下載)
rhoknp 40 Python Juman++/KNP 的新綁定(28k/週下載)

rhoknp 的週間下載數達 28k,超越 pyknp(2k/週)。持續活躍更新(最後更新於 2026 年 1 月)。

jumanpp
核心程式。使用 RNNLM 進行高精度分析
413
juman
舊版本
12
pyknp
Juman++/KNP 的 Python 模組(2k/週下載)
93
rhoknp
Juman++/KNP 的新綁定(28k/週下載)
40

2.4 其他形態素分析工具

工具名 週間下載 累計下載 Stars 說明
Janome 66k 14M 922 純 Python 實作。安裝簡便
nagisa 62k 11M 424 基於 RNN。內建含詞性標記的預訓練模型
konoha 28k 7M 266 多種分詞器的統一封裝
Mykytea-python 4k 597k 36 KyTea 的 Python 封裝

Janome 擁有 922 Stars,是形態素分析工具中最高的,以純 Python 實作的易用性受到重視。僅需 pip 安裝且無外部依賴,適合教育用途及原型開發。

nagisa 是一個基於 RNN 的分詞器,採用 BLSTM 進行詞性估計。每週穩定達 62k 下載。

Janome
純 Python 實作。安裝簡便
922 66k/w
nagisa
基於 RNN。內建含詞性標記的預訓練模型
424 62k/w
konoha
多種分詞器的統一封裝
266 28k/w
Mykytea-python
KyTea 的 Python 封裝
36 4k/w

2.5 多語言實作比較

形態素分析已以多種程式語言實作,可根據使用場景選擇。

Rust 實作

工具名 累計下載 Stars 說明
lindera 3.5M 708 MeCab 相容。強大的搜尋引擎整合
vibrato 115k 430 基於 Viterbi 的高速分詞器
vaporetto 379k 302 基於逐點預測
kanpyo 2.5k 108 純 Rust 形態素分析器
goya 12k 84 Rust 形態素分析

Rust 實作近年來發展迅速,其中 lindera(Stars:708)最受歡迎。亦提供與 Tantivy 搜尋引擎的整合(lindera-tantivy)。vibrato 和 vaporetto 是 daac-tools 群組的高效能實作,各自亦提供 Python 封裝(python-vibrato、python-vaporetto)。

lindera
MeCab 相容。強大的搜尋引擎整合
708
vibrato
基於 Viterbi 的高速分詞器
430
vaporetto
基於逐點預測
302
kanpyo
純 Rust 形態素分析器
108
goya
Rust 形態素分析
84

Go 實作

kagome(ikawaha/kagome):以純 Go 撰寫的自給自足形態素分析器,Stars:988——對於 Go 語言的 NLP 工具而言極為受歡迎。無需外部依賴,易於嵌入 Go 應用程式中。

kagome
kagome(ikawaha/kagome):以純 Go 撰寫的自給自足形態素分析器,Stars:988——對於 Go 語言的 NLP 工具而言極為受歡迎。無需外部依賴,易於嵌入 Go 應用程式中。

Java 實作

kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 採用的 Java 形態素分析器,Stars:1,100,知名度高。在搜尋引擎整合方面具有優勢。

kuromoji
kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 採用的 Java 形態素分析器,Stars:1,100,知名度高。在搜尋引擎整合方面具有優勢。

JavaScript 實作

kuromoji.js(takuyaa/kuromoji.js):JavaScript 實作,週間下載 319k,累計下載 11M,廣泛用於瀏覽器及 Node.js 環境。Stars:1,000。

kuromoji.js
kuromoji.js(takuyaa/kuromoji.js):JavaScript 實作,週間下載 319k,累計下載 11M,廣泛用於瀏覽器及 Node.js 環境。Stars:1,000。

2.6 形態素分析工具的整體趨勢

從形態素分析工具的使用模式可以讀出以下趨勢:

  1. MeCab 家族仍佔最大份額:MeCab 相關綁定(mecab-python3、natto-py、fugashi)的合計週間下載數達 424k,維持壓倒性的市場份額。
  2. SudachiPy 快速成長:其 436k/週下載數略微超越了各個 MeCab 工具總和,這得益於 Rust 遷移帶來的效能提升及三層切分的靈活性。
  3. Rust 實作的崛起:lindera、vibrato、vaporetto 等 Rust 實作正被積極開發,在優先考慮效能和記憶體效率的使用場景中越來越多地被採用。
  4. 神經方法的出現:nagisa(BLSTM)和 Mecari(GNN)等基於深度學習的方法也在出現並被積極開發。