04
テキスト前処理(Text Preprocessing)
テキスト前処理は、解析精度の向上に不可欠な工程であり、文字変換、テキスト正規化、文分割の3つの主要タスクから構成されます。
4.1 文字変換(Converter)
| ツール名 | 週間DL数 | 累計DL数 | Star数 | 特徴 |
|---|---|---|---|---|
| pykakasi | 686k | 45M | 467 | 仮名漢字→ローマ字変換 |
| cutlet | 31k | 2M | 390 | 日本語→ローマ字変換 |
| jaconv | 998k | 91M | 352 | ひらがな・カタカナ・全角半角変換 |
| kanjize | 23k | 2M | 70 | 漢数字↔整数変換 |
jaconvは週間998kダウンロード、累計91Mと前処理ツール中で最も広く利用されています。ひらがな・カタカナ・全角・半角の相互変換をPure Pythonで提供します。
pykakasiは漢字仮名交じり文のローマ字変換ツールであり、686k/weekのダウンロード数を誇ります。漢字の読みの推定も行います。
cutletはMeCabを利用した高精度なローマ字変換ツールです。ヘボン式、訓令式などの方式を選択可能です。
pykakasi
仮名漢字→ローマ字変換
467 686k/w
cutlet
日本語→ローマ字変換
390 31k/w
jaconv
ひらがな・カタカナ・全角半角変換
352 998k/w
kanjize
漢数字↔整数変換
70 23k/w
4.2 テキスト正規化(Preprocessor)
| ツール名 | 週間DL数 | 累計DL数 | Star数 | 特徴 |
|---|---|---|---|---|
| neologdn | 19k | 2M | 290 | mecab-neologd向け正規化 |
| mojimoji | 69k | 14M | 154 | 半角↔全角高速変換 |
| HojiChar | 917 | 1M | 127 | パイプライン型前処理 |
neologdnはmecab-neologd辞書と組み合わせて使用されることが多い正規化ツールであり、表記ゆれの統一に効果的です。2025年12月に更新されており、活発な開発が続いています。
HojiCharは複数の前処理を構成・管理するパイプライン型のテキスト前処理ツールであり、LLM学習データのクリーニングなどにも活用されています。917/weekのダウンロード数を記録しています。
neologdn
mecab-neologd向け正規化
290 19k/w
mojimoji
半角↔全角高速変換
154 69k/w
HojiChar
パイプライン型前処理
127 917/w
4.3 文分割(Sentence Splitting)
| ツール名 | 週間DL数 | 累計DL数 | Star数 | 特徴 |
|---|---|---|---|---|
| budoux | 57k | 1M | 1.7k | Google製、言語非依存 |
| Bunkai | 238 | 126k | 201 | 文境界曖昧性解消 |
| ja_sentence_segmenter | 4k | 307k | 75 | シンプルな文分割 |
| fast-bunkai | 70 | 11k | 77 | Bunkaiの40-250倍高速版 |
budouxはGoogleが開発した言語非依存の改行位置推定ツールであり、Star数1,700は文分割カテゴリで圧倒的です。機械学習ベースの軽量な手法を採用し、ブラウザでの行組版にも利用されます。
BunkaiはMegagon Labsによる文境界の曖昧性解消ツールであり、句読点のない場合の文分割にも対応します。fast-bunkaiはBunkaiのRust実装版で、40〜250倍の高速化を実現しています。
budoux
Google製、言語非依存
1 57k/w
Bunkai
文境界曖昧性解消
201 238/w
ja_sentence_segmenter
シンプルな文分割
75 4k/w
fast-bunkai
Bunkaiの40-250倍高速版
77 70/w