04

文字前处理

文字前处理是提高分析精确度不可或缺的步骤,主要包含三大任务:字元转换、文字正规化及断句。

4.1 字元转换(转换器)

工具名 周间下载 累计下载 Stars 说明
pykakasi 686k 45M 467 假名/汉字转罗马字
cutlet 31k 2M 390 日语转罗马字
jaconv 998k 91M 352 平假名/片假名/全形/半形互换
kanjize 23k 2M 70 汉字数字与整数互换

jaconv 是使用最广泛的前处理工具,周间下载 998k,累计下载 91M。以纯 Python 提供平假名、片假名、全形及半形字元的相互转换。

pykakasi 是汉字假名混合文字的罗马字转换工具,周间下载达 686k。亦能估计汉字的读音。

cutlet 是使用 MeCab 的高精度罗马字转换工具。可选择赫本式、日本式等罗马字拼音方式。

pykakasi
假名/汉字转罗马字
467 686k/w
cutlet
日语转罗马字
390 31k/w
jaconv
平假名/片假名/全形/半形互换
352 998k/w
kanjize
汉字数字与整数互换
70 23k/w

4.2 文字正规化(前处理器)

工具名 周间下载 累计下载 Stars 说明
neologdn 19k 2M 290 mecab-neologd 用的正规化
mojimoji 69k 14M 154 快速半形/全形转换
HojiChar 917 1M 127 基于管线的前处理

neologdn 是常与 mecab-neologd 词典搭配使用的正规化工具,对于统一异体拼写非常有效。于 2025 年 12 月更新,持续活跃开发。

HojiChar 是一个基于管线的文字前处理工具,用于组合和管理多个前处理步骤,亦被用于清理 LLM 训练数据。记录周间下载 917。

neologdn
mecab-neologd 用的正规化
290 19k/w
mojimoji
快速半形/全形转换
154 69k/w
HojiChar
基于管线的前处理
127 917/w

4.3 断句

工具名 周间下载 累计下载 Stars 说明
budoux 57k 1M 1.7k 由 Google 开发;与语言无关
Bunkai 238 126k 201 句子边界消歧
ja_sentence_segmenter 4k 307k 75 简单的断句工具
fast-bunkai 70 11k 77 Bunkai 的 40-250 倍速版本

budoux 是由 Google 开发的与语言无关的换行位置估计工具,Stars:1,700——是断句类别中远超其他工具的最高值。采用轻量的机器学习方法,亦用于浏览器的文字排版。

Bunkai 是由 Megagon Labs 开发的句子边界消歧工具,亦能处理无标点符号情况下的断句。fast-bunkai 是 Bunkai 的 Rust 实作,实现了 40-250 倍的速度提升。


budoux
由 Google 开发;与语言无关
1 57k/w
Bunkai
句子边界消歧
201 238/w
ja_sentence_segmenter
简单的断句工具
75 4k/w
fast-bunkai
Bunkai 的 40-250 倍速版本
77 70/w