
日本語トークナイザーの比較ツール
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
122
±0 (10月13日〜)
パッケージの週間ダウンロード数
28
パッケージの累計ダウンロード数
29,000
最終コミット
2025年11月
GitHub での作成日
2020年8月13日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 120 |
| 2026年1月 | 120 |
| 2026年2月 | 121 |
| 2026年3月 | 121 |
| 2026年4月 | 121 |
| 2026年5月 | 123 |
| 2026年6月 | 122 |
| 2026年7月 | 122 |
| 2026年8月 | 122 |
| 2026年9月 | 122 |
| 2026年10月 | 122 |
| 2026年11月 | 122 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: toiro · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
4,590
日本からの割合(直近1年)
2.1%
依存している PyPI パッケージ
0
うち必須の依存 0
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | 1,726 |
| 2020年9月 | 1,152 |
| 2020年10月 | 630 |
| 2020年11月 | 906 |
| 2020年12月 | 504 |
| 2021年1月 | 547 |
| 2021年2月 | 531 |
| 2021年3月 | 583 |
| 2021年4月 | 364 |
| 2021年5月 | 450 |
| 2021年6月 | 410 |
| 2021年7月 | 458 |
| 2021年8月 | 298 |
| 2021年9月 | 343 |
| 2021年10月 | 383 |
| 2021年11月 | 297 |
| 2021年12月 | 360 |
| 2022年1月 | 406 |
| 2022年2月 | 391 |
| 2022年3月 | 660 |
| 2022年4月 | 429 |
| 2022年5月 | 281 |
| 2022年6月 | 353 |
| 2022年7月 | 249 |
| 2022年8月 | 346 |
| 2022年9月 | 358 |
| 2022年10月 | 364 |
| 2022年11月 | 384 |
| 2022年12月 | 203 |
| 2023年1月 | 148 |
| 2023年2月 | 349 |
| 2023年3月 | 330 |
| 2023年4月 | 266 |
| 2023年5月 | 327 |
| 2023年6月 | 186 |
| 2023年7月 | 451 |
| 2023年8月 | 477 |
| 2023年9月 | 241 |
| 2023年10月 | 161 |
| 2023年11月 | 306 |
| 2023年12月 | 305 |
| 2024年1月 | 340 |
| 2024年2月 | 274 |
| 2024年3月 | 193 |
| 2024年4月 | 319 |
| 2024年5月 | 174 |
| 2024年6月 | 207 |
| 2024年7月 | 307 |
| 2024年8月 | 255 |
| 2024年9月 | 414 |
| 2024年10月 | 591 |
| 2024年11月 | 412 |
| 2024年12月 | 352 |
| 2025年1月 | 469 |
| 2025年2月 | 323 |
| 2025年3月 | 493 |
| 2025年4月 | 549 |
| 2025年5月 | 327 |
| 2025年6月 | 139 |
| 2025年7月 | 244 |
| 2025年8月 | 260 |
| 2025年9月 | 282 |
| 2025年10月 | 571 |
| 2025年11月 | 955 |
| 2025年12月 | 579 |
| 2026年1月 | 384 |
| 2026年2月 | 288 |
| 2026年3月 | 317 |
| 2026年4月 | 289 |
| 2026年5月 | 447 |
| 2026年6月 | 365 |
| 2026年7月 | 172 |
| 2026年8月 | 281 |
| 2026年9月 | 163 |
| 2026年10月 | 350 |
同じカテゴリで人気のリソース
janomemocobeta922純粋なPythonで書かれた日本語形態素解析エンジン
mecab-python3SamuraiT581mecab-pythonです。オリジナルバージョンはこちらから見つけることができます:http://taku910.github.io/mecab/。
fugashipolm538高速でPythonicな日本語トークナイズと形態素解析のためのCython MeCabラッパー。
sudachi.rsWorksApplications492SudachiPy 0.6以上はSudachi.rsとして開発されています。
nagisataishi-i424再帰型ニューラルネットワークに基づく日本語トークナイザー
mecabikegami-yukino274このリポジトリは、Windows 64ビット用のMeCabバイナリのビルドと、MeCab Pythonバインディングの改善に使用されます。
研究分野が近いリソース
tokenizer-speed-benchlegalforce-research4様々なトークナイザーの比較コード共通: 責任ある信頼できるNLP・統語的テキスト処理
TinySegmenterMakershogo8214874TinySegmenter用の学習モデルを自作するためのツール.共通: 統語的テキスト処理・テキスト分割
nlp-recipes-jaupura66日本語の自然言語処理のサンプルコード共通: 統語的テキスト処理・テキスト分割
react-native-japanese-tokenizercraftzdog40React Native用の非同期日本語トークナイザーネイティブプラグイン(iOSおよびAndroid用)共通: 統語的テキスト処理・テキスト分割
WordCloud-Japaneseaocattleya10WordCloudでの日本語文章をMecab(形態素解析エンジン)を使用せずに形態素解析チックな表示を実現するスクリプト共通: 統語的テキスト処理・テキスト分割
chirptextletuananh7ChirpTextはPythonのテキスト処理ツールのコレクションです。共通: 統語的テキスト処理・テキスト分割