04
文字前处理
文字前处理是提高分析精确度不可或缺的步骤,主要包含三大任务:字元转换、文字正规化及断句。
4.1 字元转换(转换器)
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| pykakasi | 686k | 45M | 467 | 假名/汉字转罗马字 |
| cutlet | 31k | 2M | 390 | 日语转罗马字 |
| jaconv | 998k | 91M | 352 | 平假名/片假名/全形/半形互换 |
| kanjize | 23k | 2M | 70 | 汉字数字与整数互换 |
jaconv 是使用最广泛的前处理工具,周间下载 998k,累计下载 91M。以纯 Python 提供平假名、片假名、全形及半形字元的相互转换。
pykakasi 是汉字假名混合文字的罗马字转换工具,周间下载达 686k。亦能估计汉字的读音。
cutlet 是使用 MeCab 的高精度罗马字转换工具。可选择赫本式、日本式等罗马字拼音方式。
pykakasi
假名/汉字转罗马字
467 686k/w
cutlet
日语转罗马字
390 31k/w
jaconv
平假名/片假名/全形/半形互换
352 998k/w
kanjize
汉字数字与整数互换
70 23k/w
4.2 文字正规化(前处理器)
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| neologdn | 19k | 2M | 290 | mecab-neologd 用的正规化 |
| mojimoji | 69k | 14M | 154 | 快速半形/全形转换 |
| HojiChar | 917 | 1M | 127 | 基于管线的前处理 |
neologdn 是常与 mecab-neologd 词典搭配使用的正规化工具,对于统一异体拼写非常有效。于 2025 年 12 月更新,持续活跃开发。
HojiChar 是一个基于管线的文字前处理工具,用于组合和管理多个前处理步骤,亦被用于清理 LLM 训练数据。记录周间下载 917。
neologdn
mecab-neologd 用的正规化
290 19k/w
mojimoji
快速半形/全形转换
154 69k/w
HojiChar
基于管线的前处理
127 917/w
4.3 断句
| 工具名 | 周间下载 | 累计下载 | Stars | 说明 |
|---|---|---|---|---|
| budoux | 57k | 1M | 1.7k | 由 Google 开发;与语言无关 |
| Bunkai | 238 | 126k | 201 | 句子边界消歧 |
| ja_sentence_segmenter | 4k | 307k | 75 | 简单的断句工具 |
| fast-bunkai | 70 | 11k | 77 | Bunkai 的 40-250 倍速版本 |
budoux 是由 Google 开发的与语言无关的换行位置估计工具,Stars:1,700——是断句类别中远超其他工具的最高值。采用轻量的机器学习方法,亦用于浏览器的文字排版。
Bunkai 是由 Megagon Labs 开发的句子边界消歧工具,亦能处理无标点符号情况下的断句。fast-bunkai 是 Bunkai 的 Rust 实作,实现了 40-250 倍的速度提升。
budoux
由 Google 开发;与语言无关
1 57k/w
Bunkai
句子边界消歧
201 238/w
ja_sentence_segmenter
简单的断句工具
75 4k/w
fast-bunkai
Bunkai 的 40-250 倍速版本
77 70/w