
トランスフォーマーライブラリの日本語トークナイザー
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
5
±0 (10月13日〜)
パッケージの週間ダウンロード数
77
パッケージの累計ダウンロード数
32,000
最終コミット
2024年2月
GitHub での作成日
2022年8月24日
掲載日
2023年6月23日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 5 |
| 2026年1月 | 5 |
| 2026年2月 | 5 |
| 2026年3月 | 5 |
| 2026年4月 | 5 |
| 2026年5月 | 5 |
| 2026年6月 | 5 |
| 2026年7月 | 5 |
| 2026年8月 | 5 |
| 2026年9月 | 5 |
| 2026年10月 | 5 |
| 2026年11月 | 5 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: jptranstokenizer · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
5,992
日本からの割合(直近1年)
1.5%
依存している PyPI パッケージ
0
うち必須の依存 0
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | 334 |
| 2022年9月 | 770 |
| 2022年10月 | 895 |
| 2022年11月 | 591 |
| 2022年12月 | 480 |
| 2023年1月 | 716 |
| 2023年2月 | 911 |
| 2023年3月 | 1,066 |
| 2023年4月 | 829 |
| 2023年5月 | 1,076 |
| 2023年6月 | 662 |
| 2023年7月 | 593 |
| 2023年8月 | 803 |
| 2023年9月 | 457 |
| 2023年10月 | 441 |
| 2023年11月 | 593 |
| 2023年12月 | 431 |
| 2024年1月 | 472 |
| 2024年2月 | 974 |
| 2024年3月 | 492 |
| 2024年4月 | 449 |
| 2024年5月 | 470 |
| 2024年6月 | 341 |
| 2024年7月 | 602 |
| 2024年8月 | 526 |
| 2024年9月 | 715 |
| 2024年10月 | 1,554 |
| 2024年11月 | 937 |
| 2024年12月 | 724 |
| 2025年1月 | 791 |
| 2025年2月 | 623 |
| 2025年3月 | 869 |
| 2025年4月 | 911 |
| 2025年5月 | 330 |
| 2025年6月 | 439 |
| 2025年7月 | 421 |
| 2025年8月 | 423 |
| 2025年9月 | 531 |
| 2025年10月 | 282 |
| 2025年11月 | 669 |
| 2025年12月 | 449 |
| 2026年1月 | 423 |
| 2026年2月 | 271 |
| 2026年3月 | 282 |
| 2026年4月 | 547 |
| 2026年5月 | 613 |
| 2026年6月 | 1,081 |
| 2026年7月 | 452 |
| 2026年8月 | 515 |
| 2026年9月 | 277 |
| 2026年10月 | 413 |
同じカテゴリで人気のリソース
ginza-transformersmegagonlabs16spacy-transformersでカスタムトークナイザーを使用する
allennlp-shiba-modelshunk03112ShibaのためのAllenNLP統合:日本のCANINEモデル
compare-ja-tokenizerhitachi-nlp6異なるトークナイザーは、スクリプト連続言語における下流タスクでどのように機能するか?:日本語のケーススタディ - ACL SRW 2023
JGLUEyahoojapan349JGLUE:日本語一般言語理解評価
llm-jp-evalllm-jp175このツールは、複数のデータセットを横断して日本語の大規模言語モデルを自動評価するものです.
jp-stabletree155JP言語モデル評価ハーネス
研究分野が近いリソース
SudachiTraWorksApplications81トランスフォーマー用の日本語トークナイザー共通: 統語的テキスト処理・テキスト分割
esuparKoichiYasuoka56日本語や他の言語に対応したBERT/RoBERTa/DeBERTaモデルを使用したトークナイザー、POSタガー、依存構造解析器。共通: 統語的テキスト処理・テキスト分割- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。HF モデル共通: 統語的テキスト処理・テキスト分割
Mykytea-pythonchezou36KyTeaのPythonラッパー共通: 統語的テキスト処理・テキスト分割
SuPar-UniDicKoichiYasuoka21モダン・コンテンポラリー日本語用のTokenizer、POS-tagger、Lemmatizer、およびDependency-parserには、BERTモデルが使用されます。共通: 統語的テキスト処理・テキスト分割
mecabtaku9101.1kもう一つの日本語形態素解析器共通: 統語的テキスト処理・テキスト分割