
在spacy-transformers中使用自定义分词器
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
16
±0 (10月13日〜)
软件包每周下载数
425
软件包累计下载数
283,000
最后提交
2026年9月
GitHub 创建日期
2021年6月23日
收录日
2022年6月15日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 16 |
| 2026年1月 | 16 |
| 2026年2月 | 16 |
| 2026年3月 | 16 |
| 2026年4月 | 16 |
| 2026年5月 | 16 |
| 2026年6月 | 16 |
| 2026年7月 | 16 |
| 2026年8月 | 16 |
| 2026年9月 | 16 |
| 2026年10月 | 16 |
| 2026年11月 | 16 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
在 PyPI 上的使用
PyPI 包:ginza-transformers · 截至 2026年10月 的月度数值(ClickPy)
近一年下载量
131,524
来自日本的比例(近一年)
9.3%
依赖它的 PyPI 包
2
其中必需依赖 2
PyPI 月度下载量
以表格显示
| 月份 | 下载量(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | 271 |
| 2021年7月 | 103 |
| 2021年8月 | 541 |
| 2021年9月 | 1,110 |
| 2021年10月 | 1,384 |
| 2021年11月 | 1,419 |
| 2021年12月 | 2,086 |
| 2022年1月 | 1,920 |
| 2022年2月 | 1,979 |
| 2022年3月 | 3,229 |
| 2022年4月 | 1,939 |
| 2022年5月 | 1,717 |
| 2022年6月 | 2,139 |
| 2022年7月 | 2,076 |
| 2022年8月 | 2,371 |
| 2022年9月 | 2,296 |
| 2022年10月 | 2,225 |
| 2022年11月 | 2,403 |
| 2022年12月 | 2,481 |
| 2023年1月 | 2,115 |
| 2023年2月 | 2,233 |
| 2023年3月 | 2,666 |
| 2023年4月 | 2,252 |
| 2023年5月 | 2,198 |
| 2023年6月 | 2,338 |
| 2023年7月 | 2,401 |
| 2023年8月 | 2,220 |
| 2023年9月 | 2,288 |
| 2023年10月 | 2,368 |
| 2023年11月 | 2,240 |
| 2023年12月 | 2,028 |
| 2024年1月 | 1,989 |
| 2024年2月 | 2,444 |
| 2024年3月 | 2,569 |
| 2024年4月 | 2,830 |
| 2024年5月 | 2,862 |
| 2024年6月 | 2,767 |
| 2024年7月 | 3,130 |
| 2024年8月 | 2,722 |
| 2024年9月 | 2,895 |
| 2024年10月 | 4,826 |
| 2024年11月 | 4,004 |
| 2024年12月 | 3,604 |
| 2025年1月 | 4,316 |
| 2025年2月 | 2,485 |
| 2025年3月 | 2,629 |
| 2025年4月 | 8,811 |
| 2025年5月 | 2,687 |
| 2025年6月 | 3,448 |
| 2025年7月 | 2,698 |
| 2025年8月 | 6,976 |
| 2025年9月 | 11,345 |
| 2025年10月 | 7,238 |
| 2025年11月 | 6,005 |
| 2025年12月 | 9,877 |
| 2026年1月 | 5,597 |
| 2026年2月 | 3,859 |
| 2026年3月 | 10,138 |
| 2026年4月 | 21,153 |
| 2026年5月 | 32,109 |
| 2026年6月 | 28,893 |
| 2026年7月 | 6,288 |
| 2026年8月 | 2,596 |
| 2026年9月 | 1,788 |
| 2026年10月 | 3,221 |
同分类的热门资源
研究领域相近的资源
SudachiTraWorksApplications81用于变形金刚的日语分词器共同: 句法文本处理・文本切分- deberta-v2-large-japanese-char-wwmku-nlp76k日语 DeBERTa V2 大型模型,已在 171 GB 的日语 Wikipedia、CC‑100 与 OSCAR 上训练,使用字符级 SentencePiece 分词和全词掩码,已准备好通过 Hugging Face Transformers 进行下游微调。HF 模型共同: 句法文本处理・文本切分
- japanese-roberta-baserinna9kJapanese‑Roberta‑Base 是来自 rinna Co., Ltd. 的预训练掩码语言模型,提供了正确加载、token 预处理、position‑id 处理的准则,以及强调需要前置 [CLS] token 和一致 tokenization 的使用示例。HF 模型共同: 句法文本处理・文本切分
esuparKoichiYasuoka56使用BERT/RoBERTa/DeBERTa模型的分词器POS-标注器和依存句法分析器,适用于日语和其他语言。共同: 句法文本处理・文本切分
SuPar-UniDicKoichiYasuoka21使用BERT模型的现代和当代日语分词器、词性标注器、词形还原器和依存句法分析器。共同: 句法文本处理・文本切分- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。HF 模型共同: 句法文本处理・文本切分