
spacy-transformersでカスタムトークナイザーを使用する
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
16
±0 (10月13日〜)
パッケージの週間ダウンロード数
425
パッケージの累計ダウンロード数
283,000
最終コミット
2026年9月
GitHub での作成日
2021年6月23日
掲載日
2022年6月15日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 16 |
| 2026年1月 | 16 |
| 2026年2月 | 16 |
| 2026年3月 | 16 |
| 2026年4月 | 16 |
| 2026年5月 | 16 |
| 2026年6月 | 16 |
| 2026年7月 | 16 |
| 2026年8月 | 16 |
| 2026年9月 | 16 |
| 2026年10月 | 16 |
| 2026年11月 | 16 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: ginza-transformers · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
131,524
日本からの割合(直近1年)
9.3%
依存している PyPI パッケージ
2
うち必須の依存 2
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | 271 |
| 2021年7月 | 103 |
| 2021年8月 | 541 |
| 2021年9月 | 1,110 |
| 2021年10月 | 1,384 |
| 2021年11月 | 1,419 |
| 2021年12月 | 2,086 |
| 2022年1月 | 1,920 |
| 2022年2月 | 1,979 |
| 2022年3月 | 3,229 |
| 2022年4月 | 1,939 |
| 2022年5月 | 1,717 |
| 2022年6月 | 2,139 |
| 2022年7月 | 2,076 |
| 2022年8月 | 2,371 |
| 2022年9月 | 2,296 |
| 2022年10月 | 2,225 |
| 2022年11月 | 2,403 |
| 2022年12月 | 2,481 |
| 2023年1月 | 2,115 |
| 2023年2月 | 2,233 |
| 2023年3月 | 2,666 |
| 2023年4月 | 2,252 |
| 2023年5月 | 2,198 |
| 2023年6月 | 2,338 |
| 2023年7月 | 2,401 |
| 2023年8月 | 2,220 |
| 2023年9月 | 2,288 |
| 2023年10月 | 2,368 |
| 2023年11月 | 2,240 |
| 2023年12月 | 2,028 |
| 2024年1月 | 1,989 |
| 2024年2月 | 2,444 |
| 2024年3月 | 2,569 |
| 2024年4月 | 2,830 |
| 2024年5月 | 2,862 |
| 2024年6月 | 2,767 |
| 2024年7月 | 3,130 |
| 2024年8月 | 2,722 |
| 2024年9月 | 2,895 |
| 2024年10月 | 4,826 |
| 2024年11月 | 4,004 |
| 2024年12月 | 3,604 |
| 2025年1月 | 4,316 |
| 2025年2月 | 2,485 |
| 2025年3月 | 2,629 |
| 2025年4月 | 8,811 |
| 2025年5月 | 2,687 |
| 2025年6月 | 3,448 |
| 2025年7月 | 2,698 |
| 2025年8月 | 6,976 |
| 2025年9月 | 11,345 |
| 2025年10月 | 7,238 |
| 2025年11月 | 6,005 |
| 2025年12月 | 9,877 |
| 2026年1月 | 5,597 |
| 2026年2月 | 3,859 |
| 2026年3月 | 10,138 |
| 2026年4月 | 21,153 |
| 2026年5月 | 32,109 |
| 2026年6月 | 28,893 |
| 2026年7月 | 6,288 |
| 2026年8月 | 2,596 |
| 2026年9月 | 1,788 |
| 2026年10月 | 3,221 |
同じカテゴリで人気のリソース
allennlp-shiba-modelshunk03112ShibaのためのAllenNLP統合:日本のCANINEモデル
compare-ja-tokenizerhitachi-nlp6異なるトークナイザーは、スクリプト連続言語における下流タスクでどのように機能するか?:日本語のケーススタディ - ACL SRW 2023
jptranstokenizerretarfi5トランスフォーマーライブラリの日本語トークナイザー
JGLUEyahoojapan349JGLUE:日本語一般言語理解評価
llm-jp-evalllm-jp175このツールは、複数のデータセットを横断して日本語の大規模言語モデルを自動評価するものです.
jp-stabletree155JP言語モデル評価ハーネス
研究分野が近いリソース
SudachiTraWorksApplications81トランスフォーマー用の日本語トークナイザー共通: 統語的テキスト処理・テキスト分割- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。HF モデル共通: 統語的テキスト処理・テキスト分割
- japanese-roberta-baserinna9kJapanese‑Roberta‑Base は rinna Co., Ltd. が開発した事前学習済みのマスク言語モデルで、正しいロード方法、トークン前処理、位置ID処理、および使用例に関するガイドラインがあり、先頭に [CLS] トークンが必要であることと、一貫したトークン化を強調しています。HF モデル共通: 統語的テキスト処理・テキスト分割
esuparKoichiYasuoka56日本語や他の言語に対応したBERT/RoBERTa/DeBERTaモデルを使用したトークナイザー、POSタガー、依存構造解析器。共通: 統語的テキスト処理・テキスト分割
SuPar-UniDicKoichiYasuoka21モダン・コンテンポラリー日本語用のTokenizer、POS-tagger、Lemmatizer、およびDependency-parserには、BERTモデルが使用されます。共通: 統語的テキスト処理・テキスト分割- bert-base-japanese-whole-word-maskingtohoku-nlp462k2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。HF モデル共通: 統語的テキスト処理・テキスト分割