
Transformers库的日语分词器
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
5
±0 (10月13日〜)
软件包每周下载数
77
软件包累计下载数
32,000
最后提交
2024年2月
GitHub 创建日期
2022年8月24日
收录日
2023年6月23日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 5 |
| 2026年1月 | 5 |
| 2026年2月 | 5 |
| 2026年3月 | 5 |
| 2026年4月 | 5 |
| 2026年5月 | 5 |
| 2026年6月 | 5 |
| 2026年7月 | 5 |
| 2026年8月 | 5 |
| 2026年9月 | 5 |
| 2026年10月 | 5 |
| 2026年11月 | 5 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
在 PyPI 上的使用
PyPI 包:jptranstokenizer · 截至 2026年10月 的月度数值(ClickPy)
近一年下载量
5,992
来自日本的比例(近一年)
1.5%
依赖它的 PyPI 包
0
其中必需依赖 0
PyPI 月度下载量
以表格显示
| 月份 | 下载量(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | 334 |
| 2022年9月 | 770 |
| 2022年10月 | 895 |
| 2022年11月 | 591 |
| 2022年12月 | 480 |
| 2023年1月 | 716 |
| 2023年2月 | 911 |
| 2023年3月 | 1,066 |
| 2023年4月 | 829 |
| 2023年5月 | 1,076 |
| 2023年6月 | 662 |
| 2023年7月 | 593 |
| 2023年8月 | 803 |
| 2023年9月 | 457 |
| 2023年10月 | 441 |
| 2023年11月 | 593 |
| 2023年12月 | 431 |
| 2024年1月 | 472 |
| 2024年2月 | 974 |
| 2024年3月 | 492 |
| 2024年4月 | 449 |
| 2024年5月 | 470 |
| 2024年6月 | 341 |
| 2024年7月 | 602 |
| 2024年8月 | 526 |
| 2024年9月 | 715 |
| 2024年10月 | 1,554 |
| 2024年11月 | 937 |
| 2024年12月 | 724 |
| 2025年1月 | 791 |
| 2025年2月 | 623 |
| 2025年3月 | 869 |
| 2025年4月 | 911 |
| 2025年5月 | 330 |
| 2025年6月 | 439 |
| 2025年7月 | 421 |
| 2025年8月 | 423 |
| 2025年9月 | 531 |
| 2025年10月 | 282 |
| 2025年11月 | 669 |
| 2025年12月 | 449 |
| 2026年1月 | 423 |
| 2026年2月 | 271 |
| 2026年3月 | 282 |
| 2026年4月 | 547 |
| 2026年5月 | 613 |
| 2026年6月 | 1,081 |
| 2026年7月 | 452 |
| 2026年8月 | 515 |
| 2026年9月 | 277 |
| 2026年10月 | 413 |
同分类的热门资源
ginza-transformersmegagonlabs16在spacy-transformers中使用自定义分词器
allennlp-shiba-modelshunk03112Shiba的AllenNLP集成:日本CANINE模型
compare-ja-tokenizerhitachi-nlp6不同的分词器在连续书写语言的下游任务中表现如何?:以日语为例的案例研究 - ACL SRW 2023
JGLUEyahoojapan349JGLUE:日本通用语言理解评估
llm-jp-evalllm-jp175这个工具可以跨多个数据集对日语大规模语言模型进行自动评估。
jp-stabletree155JP语言模型评估工具
研究领域相近的资源
SudachiTraWorksApplications81用于变形金刚的日语分词器共同: 句法文本处理・文本切分
esuparKoichiYasuoka56使用BERT/RoBERTa/DeBERTa模型的分词器POS-标注器和依存句法分析器,适用于日语和其他语言。共同: 句法文本处理・文本切分- deberta-v2-large-japanese-char-wwmku-nlp76k日语 DeBERTa V2 大型模型,已在 171 GB 的日语 Wikipedia、CC‑100 与 OSCAR 上训练,使用字符级 SentencePiece 分词和全词掩码,已准备好通过 Hugging Face Transformers 进行下游微调。HF 模型共同: 句法文本处理・文本切分
Mykytea-pythonchezou36KyTea的Python封装程序共同: 句法文本处理・文本切分
SuPar-UniDicKoichiYasuoka21使用BERT模型的现代和当代日语分词器、词性标注器、词形还原器和依存句法分析器。共同: 句法文本处理・文本切分
mecabtaku9101.1k又一个日语形态分析器共同: 句法文本处理・文本切分