
Transformers 库的日语分词器
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
5
±0 (10月13日〜)
套件每週下載數
77
套件累計下載數
32,000
最後提交
2024年2月
GitHub 建立日期
2022年8月24日
收錄日
2023年6月23日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 5 |
| 2026年1月 | 5 |
| 2026年2月 | 5 |
| 2026年3月 | 5 |
| 2026年4月 | 5 |
| 2026年5月 | 5 |
| 2026年6月 | 5 |
| 2026年7月 | 5 |
| 2026年8月 | 5 |
| 2026年9月 | 5 |
| 2026年10月 | 5 |
| 2026年11月 | 5 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
在 PyPI 上的使用
PyPI 套件:jptranstokenizer · 至 2026年10月 的每月數值(ClickPy)
近一年下載數
5,992
來自日本的比例(近一年)
1.5%
依賴它的 PyPI 套件
0
其中必要依賴 0
PyPI 每月下載數
以表格顯示
| 月份 | 下載數(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | 334 |
| 2022年9月 | 770 |
| 2022年10月 | 895 |
| 2022年11月 | 591 |
| 2022年12月 | 480 |
| 2023年1月 | 716 |
| 2023年2月 | 911 |
| 2023年3月 | 1,066 |
| 2023年4月 | 829 |
| 2023年5月 | 1,076 |
| 2023年6月 | 662 |
| 2023年7月 | 593 |
| 2023年8月 | 803 |
| 2023年9月 | 457 |
| 2023年10月 | 441 |
| 2023年11月 | 593 |
| 2023年12月 | 431 |
| 2024年1月 | 472 |
| 2024年2月 | 974 |
| 2024年3月 | 492 |
| 2024年4月 | 449 |
| 2024年5月 | 470 |
| 2024年6月 | 341 |
| 2024年7月 | 602 |
| 2024年8月 | 526 |
| 2024年9月 | 715 |
| 2024年10月 | 1,554 |
| 2024年11月 | 937 |
| 2024年12月 | 724 |
| 2025年1月 | 791 |
| 2025年2月 | 623 |
| 2025年3月 | 869 |
| 2025年4月 | 911 |
| 2025年5月 | 330 |
| 2025年6月 | 439 |
| 2025年7月 | 421 |
| 2025年8月 | 423 |
| 2025年9月 | 531 |
| 2025年10月 | 282 |
| 2025年11月 | 669 |
| 2025年12月 | 449 |
| 2026年1月 | 423 |
| 2026年2月 | 271 |
| 2026年3月 | 282 |
| 2026年4月 | 547 |
| 2026年5月 | 613 |
| 2026年6月 | 1,081 |
| 2026年7月 | 452 |
| 2026年8月 | 515 |
| 2026年9月 | 277 |
| 2026年10月 | 413 |
同分類的熱門資源
ginza-transformersmegagonlabs16在spacy-transformers中使用自定義分詞器
allennlp-shiba-modelshunk03112Shiba 的 AllenNLP 整合:日本 CANINE 模型
compare-ja-tokenizerhitachi-nlp6不同的分詞器在連續書寫語言的下游任務中表現如何?:以日語為例的案例研究 - ACL SRW 2023
JGLUEyahoojapan349JGLUE:日本通用語言理解評估
llm-jp-evalllm-jp175這個工具可以跨多個數據集對日語大規模語言模型進行自動評估。
jp-stabletree155JP 語言模型評估工具
研究領域相近的資源
SudachiTraWorksApplications81Transformer 的日語分詞器共同: 句法文本處理・文本切分
esuparKoichiYasuoka56使用BERT/RoBERTa/DeBERTa模型的分詞器POS-標記器和依存句法分析器,適用於日語和其他語言。共同: 句法文本處理・文本切分- deberta-v2-large-japanese-char-wwmku-nlp76kJapanese DeBERTa V2 大型模型已在 171 GB 的日語維基百科、CC‑100、與 OSCAR 上訓練,採用字符級 sentencepiece tokenization 與 whole‑word masking,已準備好通過 Hugging Face Transformers 進行下游微調。HF 模型共同: 句法文本處理・文本切分
Mykytea-pythonchezou36KyTea 的 Python 封裝程式共同: 句法文本處理・文本切分
SuPar-UniDicKoichiYasuoka21使用BERT模型的現代和當代日語分詞器、詞性標記器、詞形還原器和依存句法分析器共同: 句法文本處理・文本切分
mecabtaku9101.1k又一個日本語形態分析器共同: 句法文本處理・文本切分