
这是一个整理了在LLM勉强会(LLM-jp)中开发的与LLM的分词器相关的存储库。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
54
+1 (10月13日〜)
最后提交
2026年9月
GitHub 创建日期
2023年7月13日
收录日
2023年10月23日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 44 |
| 2026年1月 | 44 |
| 2026年2月 | 45 |
| 2026年3月 | 46 |
| 2026年4月 | 47 |
| 2026年5月 | 47 |
| 2026年6月 | 48 |
| 2026年7月 | 48 |
| 2026年8月 | 49 |
| 2026年9月 | 50 |
| 2026年10月 | 53 |
| 2026年11月 | 54 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
japanese-llm-rankingyuzu-ai50该存储库支持YuzuAI的Rakuda排行榜,该排行榜是日本LLMs的日本重点模拟版本,类似于LMSYS的Vicuna评估。
llm-jp-evalllm-jp175这个工具可以跨多个数据集对日语大规模语言模型进行自动评估。
llm-lora-classificationhppRC97llm-lora-classification
llm-lora-分类
llm-jp-sftllm-jp66该存储库包含了LLM-jp模型的监督微调代码。
Japanese-BPEEncodertanreinama42日语-BPE编码器
japanese-llm-roleplay-benchmarkoshizo42这个存储库是为了评估日本语LLM角色扮演的性能而创建的。
研究领域相近的资源
yomichanFooSoft1.1kChrome和Firefox的日语弹出式词典扩展。共同: 多语言・标注与数据集构建
jmdict-yomitanyomidevs332Yomitan / Yomichan的JMdict,JMnedict,KANJIDIC。共同: 多语言・标注与数据集构建
jamdictneocl172Python 3 库,用于操作 Jim Breen 的 JMdict、KanjiDic2、JMnedict 和汉字-部首映射。共同: 多语言・标注与数据集构建
elmo-japanesecl-tohoku4艾尔莫-日语共同: 多语言・词汇、词典与输入法
aoveceggplants3易用的青空文库Word2Vec构建器 - 包含所有书籍的Word2Vec构建器和预先构建的模型。共同: 标注与数据集构建・词汇、词典与输入法
japagenretrieva1使用LLM在日语任务中生成伪学习数据的研究共同: 标注与数据集构建・词汇、词典与输入法