04

テキスト前処理(Text Preprocessing)

テキスト前処理は、解析精度の向上に不可欠な工程であり、文字変換、テキスト正規化、文分割の3つの主要タスクから構成されます。

4.1 文字変換(Converter)

ツール名 週間DL数 累計DL数 Star数 特徴
pykakasi 686k 45M 467 仮名漢字→ローマ字変換
cutlet 31k 2M 390 日本語→ローマ字変換
jaconv 998k 91M 352 ひらがな・カタカナ・全角半角変換
kanjize 23k 2M 70 漢数字↔整数変換

jaconvは週間998kダウンロード、累計91Mと前処理ツール中で最も広く利用されています。ひらがな・カタカナ・全角・半角の相互変換をPure Pythonで提供します。

pykakasiは漢字仮名交じり文のローマ字変換ツールであり、686k/weekのダウンロード数を誇ります。漢字の読みの推定も行います。

cutletはMeCabを利用した高精度なローマ字変換ツールです。ヘボン式、訓令式などの方式を選択可能です。

pykakasi
仮名漢字→ローマ字変換
467 686k/w
cutlet
日本語→ローマ字変換
390 31k/w
jaconv
ひらがな・カタカナ・全角半角変換
352 998k/w
kanjize
漢数字↔整数変換
70 23k/w

4.2 テキスト正規化(Preprocessor)

ツール名 週間DL数 累計DL数 Star数 特徴
neologdn 19k 2M 290 mecab-neologd向け正規化
mojimoji 69k 14M 154 半角↔全角高速変換
HojiChar 917 1M 127 パイプライン型前処理

neologdnはmecab-neologd辞書と組み合わせて使用されることが多い正規化ツールであり、表記ゆれの統一に効果的です。2025年12月に更新されており、活発な開発が続いています。

HojiCharは複数の前処理を構成・管理するパイプライン型のテキスト前処理ツールであり、LLM学習データのクリーニングなどにも活用されています。917/weekのダウンロード数を記録しています。

neologdn
mecab-neologd向け正規化
290 19k/w
mojimoji
半角↔全角高速変換
154 69k/w
HojiChar
パイプライン型前処理
127 917/w

4.3 文分割(Sentence Splitting)

ツール名 週間DL数 累計DL数 Star数 特徴
budoux 57k 1M 1.7k Google製、言語非依存
Bunkai 238 126k 201 文境界曖昧性解消
ja_sentence_segmenter 4k 307k 75 シンプルな文分割
fast-bunkai 70 11k 77 Bunkaiの40-250倍高速版

budouxはGoogleが開発した言語非依存の改行位置推定ツールであり、Star数1,700は文分割カテゴリで圧倒的です。機械学習ベースの軽量な手法を採用し、ブラウザでの行組版にも利用されます。

BunkaiはMegagon Labsによる文境界の曖昧性解消ツールであり、句読点のない場合の文分割にも対応します。fast-bunkaiはBunkaiのRust実装版で、40〜250倍の高速化を実現しています。


budoux
Google製、言語非依存
1 57k/w
Bunkai
文境界曖昧性解消
201 238/w
ja_sentence_segmenter
シンプルな文分割
75 4k/w
fast-bunkai
Bunkaiの40-250倍高速版
77 70/w