
トランスフォーマー用の日本語トークナイザー
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
81
±0 (10月13日〜)
パッケージの週間ダウンロード数
427
パッケージの累計ダウンロード数
214,000
最終コミット
2023年12月
GitHub での作成日
2021年6月22日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 79 |
| 2026年1月 | 79 |
| 2026年2月 | 79 |
| 2026年3月 | 79 |
| 2026年4月 | 79 |
| 2026年5月 | 79 |
| 2026年6月 | 80 |
| 2026年7月 | 80 |
| 2026年8月 | 81 |
| 2026年9月 | 81 |
| 2026年10月 | 81 |
| 2026年11月 | 81 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: sudachitra · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
64,553
日本からの割合(直近1年)
14.4%
依存している PyPI パッケージ
2
うち必須の依存 2
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | 138 |
| 2021年7月 | 574 |
| 2021年8月 | 988 |
| 2021年9月 | 1,458 |
| 2021年10月 | 1,553 |
| 2021年11月 | 2,254 |
| 2021年12月 | 3,056 |
| 2022年1月 | 2,551 |
| 2022年2月 | 2,647 |
| 2022年3月 | 3,798 |
| 2022年4月 | 2,314 |
| 2022年5月 | 1,934 |
| 2022年6月 | 2,660 |
| 2022年7月 | 2,515 |
| 2022年8月 | 2,549 |
| 2022年9月 | 2,636 |
| 2022年10月 | 8,321 |
| 2022年11月 | 3,049 |
| 2022年12月 | 3,204 |
| 2023年1月 | 2,635 |
| 2023年2月 | 2,729 |
| 2023年3月 | 3,498 |
| 2023年4月 | 3,120 |
| 2023年5月 | 3,013 |
| 2023年6月 | 3,014 |
| 2023年7月 | 3,263 |
| 2023年8月 | 2,997 |
| 2023年9月 | 2,917 |
| 2023年10月 | 2,923 |
| 2023年11月 | 2,565 |
| 2023年12月 | 2,459 |
| 2024年1月 | 2,572 |
| 2024年2月 | 2,614 |
| 2024年3月 | 2,272 |
| 2024年4月 | 2,461 |
| 2024年5月 | 2,326 |
| 2024年6月 | 2,332 |
| 2024年7月 | 2,779 |
| 2024年8月 | 2,205 |
| 2024年9月 | 2,130 |
| 2024年10月 | 3,381 |
| 2024年11月 | 3,022 |
| 2024年12月 | 2,374 |
| 2025年1月 | 3,082 |
| 2025年2月 | 2,076 |
| 2025年3月 | 2,274 |
| 2025年4月 | 5,509 |
| 2025年5月 | 1,926 |
| 2025年6月 | 2,401 |
| 2025年7月 | 2,197 |
| 2025年8月 | 4,349 |
| 2025年9月 | 6,223 |
| 2025年10月 | 3,896 |
| 2025年11月 | 3,391 |
| 2025年12月 | 4,960 |
| 2026年1月 | 2,230 |
| 2026年2月 | 1,526 |
| 2026年3月 | 3,681 |
| 2026年4月 | 10,417 |
| 2026年5月 | 15,231 |
| 2026年6月 | 13,218 |
| 2026年7月 | 3,171 |
| 2026年8月 | 1,801 |
| 2026年9月 | 1,726 |
| 2026年10月 | 3,201 |
同じカテゴリで人気のリソース
lukestudio-ousia727LUKE -- 知識ベース埋め込みを用いた言語理解
bert-japanesecl-tohoku551日本語テキスト用のBERTモデル。
bert-japaneseyoheikikuta497日本語テキスト用のSentencePieceを使用したBERT。
gpt2-japanesetanreinama322日本語GPT2生成モデル
japanese-dialog-transformersnttcslab247NTT株式会社が提供する日本語事前学習モデルの評価コード。
DistilBERT-base-jpBandaiNamcoResearchInc161日本語のDistilBERT事前学習モデルで、Wikipediaで訓練されました。
研究分野が近いリソース
jptranstokenizerretarfi5トランスフォーマーライブラリの日本語トークナイザー共通: 統語的テキスト処理・テキスト分割
ginza-transformersmegagonlabs16spacy-transformersでカスタムトークナイザーを使用する共通: 統語的テキスト処理・テキスト分割
esuparKoichiYasuoka56日本語や他の言語に対応したBERT/RoBERTa/DeBERTaモデルを使用したトークナイザー、POSタガー、依存構造解析器。共通: 統語的テキスト処理・テキスト分割- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。HF モデル共通: 統語的テキスト処理・テキスト分割
Mykytea-pythonchezou36KyTeaのPythonラッパー共通: 統語的テキスト処理・テキスト分割
SuPar-UniDicKoichiYasuoka21モダン・コンテンポラリー日本語用のTokenizer、POS-tagger、Lemmatizer、およびDependency-parserには、BERTモデルが使用されます。共通: 統語的テキスト処理・テキスト分割