04

文字前處理

文字前處理是提高分析精確度不可或缺的步驟,主要包含三大任務:字元轉換、文字正規化及斷句。

4.1 字元轉換(轉換器)

工具名 週間下載 累計下載 Stars 說明
pykakasi 686k 45M 467 假名/漢字轉羅馬字
cutlet 31k 2M 390 日語轉羅馬字
jaconv 998k 91M 352 平假名/片假名/全形/半形互換
kanjize 23k 2M 70 漢字數字與整數互換

jaconv 是使用最廣泛的前處理工具,週間下載 998k,累計下載 91M。以純 Python 提供平假名、片假名、全形及半形字元的相互轉換。

pykakasi 是漢字假名混合文字的羅馬字轉換工具,週間下載達 686k。亦能估計漢字的讀音。

cutlet 是使用 MeCab 的高精度羅馬字轉換工具。可選擇赫本式、日本式等羅馬字拼音方式。

pykakasi
假名/漢字轉羅馬字
467 686k/w
cutlet
日語轉羅馬字
390 31k/w
jaconv
平假名/片假名/全形/半形互換
352 998k/w
kanjize
漢字數字與整數互換
70 23k/w

4.2 文字正規化(前處理器)

工具名 週間下載 累計下載 Stars 說明
neologdn 19k 2M 290 mecab-neologd 用的正規化
mojimoji 69k 14M 154 快速半形/全形轉換
HojiChar 917 1M 127 基於管線的前處理

neologdn 是常與 mecab-neologd 詞典搭配使用的正規化工具,對於統一異體拼寫非常有效。於 2025 年 12 月更新,持續活躍開發。

HojiChar 是一個基於管線的文字前處理工具,用於組合和管理多個前處理步驟,亦被用於清理 LLM 訓練資料。記錄週間下載 917。

neologdn
mecab-neologd 用的正規化
290 19k/w
mojimoji
快速半形/全形轉換
154 69k/w
HojiChar
基於管線的前處理
127 917/w

4.3 斷句

工具名 週間下載 累計下載 Stars 說明
budoux 57k 1M 1.7k 由 Google 開發;與語言無關
Bunkai 238 126k 201 句子邊界消歧
ja_sentence_segmenter 4k 307k 75 簡單的斷句工具
fast-bunkai 70 11k 77 Bunkai 的 40-250 倍速版本

budoux 是由 Google 開發的與語言無關的換行位置估計工具,Stars:1,700——是斷句類別中遠超其他工具的最高值。採用輕量的機器學習方法,亦用於瀏覽器的文字排版。

Bunkai 是由 Megagon Labs 開發的句子邊界消歧工具,亦能處理無標點符號情況下的斷句。fast-bunkai 是 Bunkai 的 Rust 實作,實現了 40-250 倍的速度提升。


budoux
由 Google 開發;與語言無關
1 57k/w
Bunkai
句子邊界消歧
201 238/w
ja_sentence_segmenter
簡單的斷句工具
75 4k/w
fast-bunkai
Bunkai 的 40-250 倍速版本
77 70/w