
ニューラルネットワークによるテキスト生成のための教師なしテキストトークナイザー。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
12,000
±0 (10月13日〜)
最終コミット
2026年11月
GitHub での作成日
2017年3月7日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 12,000 |
| 2026年10月 | 12,000 |
| 2026年11月 | 12,000 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: sentencepiece · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
389,251,173
日本からの割合(直近1年)
1.4%
依存している PyPI パッケージ
1,824
うち必須の依存 1,412
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | 54,237 |
| 2019年2月 | 52,540 |
| 2019年3月 | 66,524 |
| 2019年4月 | 54,626 |
| 2019年5月 | 70,157 |
| 2019年6月 | 63,544 |
| 2019年7月 | 89,424 |
| 2019年8月 | 126,645 |
| 2019年9月 | 165,084 |
| 2019年10月 | 204,413 |
| 2019年11月 | 258,676 |
| 2019年12月 | 335,380 |
| 2020年1月 | 322,894 |
| 2020年2月 | 403,748 |
| 2020年3月 | 516,140 |
| 2020年4月 | 945,214 |
| 2020年5月 | 1,388,158 |
| 2020年6月 | 1,262,991 |
| 2020年7月 | 1,216,011 |
| 2020年8月 | 1,284,371 |
| 2020年9月 | 1,436,944 |
| 2020年10月 | 1,720,029 |
| 2020年11月 | 2,140,647 |
| 2020年12月 | 1,574,918 |
| 2021年1月 | 1,633,162 |
| 2021年2月 | 1,696,131 |
| 2021年3月 | 2,009,045 |
| 2021年4月 | 2,096,489 |
| 2021年5月 | 2,258,493 |
| 2021年6月 | 2,612,420 |
| 2021年7月 | 2,788,863 |
| 2021年8月 | 3,180,523 |
| 2021年9月 | 2,721,353 |
| 2021年10月 | 2,664,970 |
| 2021年11月 | 3,017,958 |
| 2021年12月 | 3,302,593 |
| 2022年1月 | 4,070,128 |
| 2022年2月 | 4,492,176 |
| 2022年3月 | 5,408,149 |
| 2022年4月 | 5,505,491 |
| 2022年5月 | 7,440,345 |
| 2022年6月 | 5,973,223 |
| 2022年7月 | 5,514,434 |
| 2022年8月 | 5,774,297 |
| 2022年9月 | 5,818,315 |
| 2022年10月 | 7,627,259 |
| 2022年11月 | 7,518,865 |
| 2022年12月 | 7,710,800 |
| 2023年1月 | 8,183,460 |
| 2023年2月 | 7,831,852 |
| 2023年3月 | 10,294,963 |
| 2023年4月 | 9,938,795 |
| 2023年5月 | 10,867,452 |
| 2023年6月 | 10,332,791 |
| 2023年7月 | 9,766,147 |
| 2023年8月 | 10,583,857 |
| 2023年9月 | 10,409,231 |
| 2023年10月 | 10,458,138 |
| 2023年11月 | 10,563,208 |
| 2023年12月 | 12,248,707 |
| 2024年1月 | 12,192,431 |
| 2024年2月 | 13,720,533 |
| 2024年3月 | 19,356,690 |
| 2024年4月 | 22,292,443 |
| 2024年5月 | 22,706,375 |
| 2024年6月 | 20,147,923 |
| 2024年7月 | 18,349,136 |
| 2024年8月 | 23,368,283 |
| 2024年9月 | 20,961,790 |
| 2024年10月 | 25,373,437 |
| 2024年11月 | 21,862,058 |
| 2024年12月 | 24,339,370 |
| 2025年1月 | 21,173,684 |
| 2025年2月 | 22,356,560 |
| 2025年3月 | 24,144,106 |
| 2025年4月 | 27,809,389 |
| 2025年5月 | 27,300,818 |
| 2025年6月 | 23,882,691 |
| 2025年7月 | 25,763,592 |
| 2025年8月 | 31,268,505 |
| 2025年9月 | 27,781,517 |
| 2025年10月 | 32,357,929 |
| 2025年11月 | 32,166,375 |
| 2025年12月 | 31,710,186 |
| 2026年1月 | 31,733,398 |
| 2026年2月 | 27,965,186 |
| 2026年3月 | 33,802,909 |
| 2026年4月 | 32,711,268 |
| 2026年5月 | 37,659,478 |
| 2026年6月 | 32,304,139 |
| 2026年7月 | 35,582,256 |
| 2026年8月 | 36,493,855 |
| 2026年9月 | 27,335,824 |
| 2026年10月 | 29,786,299 |
同じカテゴリで人気のリソース
icuunicode-org3.6kICU プロジェクトのソースコードのホーム。
gsego-ego2.8k効率的な多言語 NLP とテキスト分割のための Go ライブラリ。英語・中国語・日本語などに対応。
wtpsplitsegment-any-text1.4kテキストを文や他の意味単位に、頑健かつ効率的で適応性の高い方法で分割するツールキット。
pySBDnipunsadvilkar943🐍💯pySBD(Python Sentence Boundary Disambiguation)は、そのまま使えるルールベースの文境界検出ライブラリ。
charabiameilisearch360Meilisearch がクエリとドキュメントをトークン化するために使用するライブラリ。
研究分野が近いリソース
mecabtaku9101.1kもう一つの日本語形態素解析器GitHub共通: 形態素解析・分かち書き
SudachiWorksApplications1kビジネス向けの日本語トークナイザーGitHub共通: 形態素解析・分かち書き
kuromoji.jstakuyaa1k日本語形態素解析器のJavaScript実装GitHub共通: 形態素解析・分かち書き
kagomeikawaha988純粋なGoで書かれた自己完結型の日本語形態素解析器GitHub共通: 形態素解析・分かち書き
janomemocobeta922純粋なPythonで書かれた日本語形態素解析エンジンGitHub共通: 形態素解析・分かち書き
linderalindera708形態素解析ライブラリ。GitHub共通: 形態素解析・分かち書き