形態素分析
形態素分析是日本語 NLP 的核心技術——將文字切分為單字(語素)並為每個語素附加詞性、原形及讀音等資訊的過程。由於日文文字之間不以空格分隔,這道處理不可或缺。
2.1 MeCab 家族
MeCab 是一個基於條件隨機場(CRF)的開源形態素分析器,由工藤拓(Taku Kudo)開發並以 C++ 實作。因其速度與精確度,長期以來一直是日本語 NLP 的事實標準。
MeCab core(taku910/mecab):原始 C++ 實作。Stars:1,100。於 2025 年 2 月最後更新,展現其長期穩定性。
Python 綁定:有多種綁定可供從 Python 使用 MeCab,各具不同特性。
| 工具名 | 週間下載 | 累計下載 | Stars | 說明 |
|---|---|---|---|---|
| mecab-python3 | 174k | 43M | 581 | 最標準的 Python 綁定 |
| natto-py | 2k | 34M | 95 | 基於 ctypes 的綁定;需另行安裝 MeCab |
| fugashi | 206k | 20M | 538 | Cython 實作;快速且符合 Python 慣例 |
mecab-python3 的週間下載數最高,達 174k,累計下載數以 43M 居首,Stars:581。fugashi 採用 Cython 加速,週間下載 206k、Stars 538。natto-py 維持週間 2k 下載,累計 34M。
2.2 Sudachi 家族
Sudachi 是由 Works Applications 開發的日語形態素分析器,設計時以商業應用場景為重點。其最具特色的功能是可在三個層級選擇切分單位:A(短單位)、B(中單位)和 C(長單位)。
SudachiPy/sudachi.rs:最初為純 Python 實作(SudachiPy),但自 0.6 版起已遷移至 Rust 實作(sudachi.rs),實現了顯著的速度提升。其週間下載數 436k 是形態素分析類別中最高的,累計下載 70M 彰顯其廣泛採用。Stars:442。
SudachiDict(SudachiDict):Sudachi 的詞典套件。提供 small、core 及 full 三種類型。Stars:318。持續定期更新。
Sudachi(Java 版本)(WorksApplications/Sudachi):原始 Java 實作。Stars:1,000。用於與 Elasticsearch 及 Solr 整合。
2.3 Juman++ 家族
Juman++ 是由京都大學黑橋・柴田・村脇研究室開發的形態素分析器,採用循環神經網路語言模型(RNNLM)進行高精度分析。
| 工具名 | Stars | 語言 | 說明 |
|---|---|---|---|
| jumanpp | 413 | C++ | 核心程式。使用 RNNLM 進行高精度分析 |
| juman | 12 | C++ | 舊版本 |
| pyknp | 93 | Python | Juman++/KNP 的 Python 模組(2k/週下載) |
| rhoknp | 40 | Python | Juman++/KNP 的新綁定(28k/週下載) |
rhoknp 的週間下載數達 28k,超越 pyknp(2k/週)。持續活躍更新(最後更新於 2026 年 1 月)。
2.4 其他形態素分析工具
| 工具名 | 週間下載 | 累計下載 | Stars | 說明 |
|---|---|---|---|---|
| Janome | 66k | 14M | 922 | 純 Python 實作。安裝簡便 |
| nagisa | 62k | 11M | 424 | 基於 RNN。內建含詞性標記的預訓練模型 |
| konoha | 28k | 7M | 266 | 多種分詞器的統一封裝 |
| Mykytea-python | 4k | 597k | 36 | KyTea 的 Python 封裝 |
Janome 擁有 922 Stars,是形態素分析工具中最高的,以純 Python 實作的易用性受到重視。僅需 pip 安裝且無外部依賴,適合教育用途及原型開發。
nagisa 是一個基於 RNN 的分詞器,採用 BLSTM 進行詞性估計。每週穩定達 62k 下載。
2.5 多語言實作比較
形態素分析已以多種程式語言實作,可根據使用場景選擇。
Rust 實作
| 工具名 | 累計下載 | Stars | 說明 |
|---|---|---|---|
| lindera | 3.5M | 708 | MeCab 相容。強大的搜尋引擎整合 |
| vibrato | 115k | 430 | 基於 Viterbi 的高速分詞器 |
| vaporetto | 379k | 302 | 基於逐點預測 |
| kanpyo | 2.5k | 108 | 純 Rust 形態素分析器 |
| goya | 12k | 84 | Rust 形態素分析 |
Rust 實作近年來發展迅速,其中 lindera(Stars:708)最受歡迎。亦提供與 Tantivy 搜尋引擎的整合(lindera-tantivy)。vibrato 和 vaporetto 是 daac-tools 群組的高效能實作,各自亦提供 Python 封裝(python-vibrato、python-vaporetto)。
Go 實作
kagome(ikawaha/kagome):以純 Go 撰寫的自給自足形態素分析器,Stars:988——對於 Go 語言的 NLP 工具而言極為受歡迎。無需外部依賴,易於嵌入 Go 應用程式中。
Java 實作
kuromoji(atilika/kuromoji):亦被 Apache Lucene/Solr 採用的 Java 形態素分析器,Stars:1,100,知名度高。在搜尋引擎整合方面具有優勢。
JavaScript 實作
kuromoji.js(takuyaa/kuromoji.js):JavaScript 實作,週間下載 319k,累計下載 11M,廣泛用於瀏覽器及 Node.js 環境。Stars:1,000。
2.6 形態素分析工具的整體趨勢
從形態素分析工具的使用模式可以讀出以下趨勢:
- MeCab 家族仍佔最大份額:MeCab 相關綁定(mecab-python3、natto-py、fugashi)的合計週間下載數達 424k,維持壓倒性的市場份額。
- SudachiPy 快速成長:其 436k/週下載數略微超越了各個 MeCab 工具總和,這得益於 Rust 遷移帶來的效能提升及三層切分的靈活性。
- Rust 實作的崛起:lindera、vibrato、vaporetto 等 Rust 實作正被積極開發,在優先考慮效能和記憶體效率的使用場景中越來越多地被採用。
- 神經方法的出現:nagisa(BLSTM)和 Mecari(GNN)等基於深度學習的方法也在出現並被積極開發。