04
文字前處理
文字前處理是提高分析精確度不可或缺的步驟,主要包含三大任務:字元轉換、文字正規化及斷句。
4.1 字元轉換(轉換器)
| 工具名 | 週間下載 | 累計下載 | Stars | 說明 |
|---|---|---|---|---|
| pykakasi | 686k | 45M | 467 | 假名/漢字轉羅馬字 |
| cutlet | 31k | 2M | 390 | 日語轉羅馬字 |
| jaconv | 998k | 91M | 352 | 平假名/片假名/全形/半形互換 |
| kanjize | 23k | 2M | 70 | 漢字數字與整數互換 |
jaconv 是使用最廣泛的前處理工具,週間下載 998k,累計下載 91M。以純 Python 提供平假名、片假名、全形及半形字元的相互轉換。
pykakasi 是漢字假名混合文字的羅馬字轉換工具,週間下載達 686k。亦能估計漢字的讀音。
cutlet 是使用 MeCab 的高精度羅馬字轉換工具。可選擇赫本式、日本式等羅馬字拼音方式。
pykakasi
假名/漢字轉羅馬字
467 686k/w
cutlet
日語轉羅馬字
390 31k/w
jaconv
平假名/片假名/全形/半形互換
352 998k/w
kanjize
漢字數字與整數互換
70 23k/w
4.2 文字正規化(前處理器)
| 工具名 | 週間下載 | 累計下載 | Stars | 說明 |
|---|---|---|---|---|
| neologdn | 19k | 2M | 290 | mecab-neologd 用的正規化 |
| mojimoji | 69k | 14M | 154 | 快速半形/全形轉換 |
| HojiChar | 917 | 1M | 127 | 基於管線的前處理 |
neologdn 是常與 mecab-neologd 詞典搭配使用的正規化工具,對於統一異體拼寫非常有效。於 2025 年 12 月更新,持續活躍開發。
HojiChar 是一個基於管線的文字前處理工具,用於組合和管理多個前處理步驟,亦被用於清理 LLM 訓練資料。記錄週間下載 917。
neologdn
mecab-neologd 用的正規化
290 19k/w
mojimoji
快速半形/全形轉換
154 69k/w
HojiChar
基於管線的前處理
127 917/w
4.3 斷句
| 工具名 | 週間下載 | 累計下載 | Stars | 說明 |
|---|---|---|---|---|
| budoux | 57k | 1M | 1.7k | 由 Google 開發;與語言無關 |
| Bunkai | 238 | 126k | 201 | 句子邊界消歧 |
| ja_sentence_segmenter | 4k | 307k | 75 | 簡單的斷句工具 |
| fast-bunkai | 70 | 11k | 77 | Bunkai 的 40-250 倍速版本 |
budoux 是由 Google 開發的與語言無關的換行位置估計工具,Stars:1,700——是斷句類別中遠超其他工具的最高值。採用輕量的機器學習方法,亦用於瀏覽器的文字排版。
Bunkai 是由 Megagon Labs 開發的句子邊界消歧工具,亦能處理無標點符號情況下的斷句。fast-bunkai 是 Bunkai 的 Rust 實作,實現了 40-250 倍的速度提升。
budoux
由 Google 開發;與語言無關
1 57k/w
Bunkai
句子邊界消歧
201 238/w
ja_sentence_segmenter
簡單的斷句工具
75 4k/w
fast-bunkai
Bunkai 的 40-250 倍速版本
77 70/w