用于《大型语言模型简介》一书的 JGLUE 数据集数据卡,来源于原始仓库,代码采用 CC BY‑SA 4.0 许可证,数据按发行者的许可协议,引用 Kurihara & Kawahara(日本语),并基于 Shunsuke Kitada 的仓库构建。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
546
Hugging Face 点赞数
16
收录日
2025年12月23日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 426 |
| 2026年1月 | 257 |
| 2026年2月 | 265 |
| 2026年3月 | 149 |
| 2026年4月 | 145 |
| 2026年5月 | 424 |
| 2026年6月 | 308 |
| 2026年7月 | 1,000 |
| 2026年8月 | 434 |
| 2026年9月 | 581 |
| 2026年10月 | 205 |
| 2026年11月 | 546 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- ClimbLab-JaKantaHayashiAI15kClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。
- llm-course-final-2026bumbuboon13k基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- vntl-leaderboardlmg-anon857一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
- auto-wiki-qacl-nagoya747AutoWikiQA 是最大的免费日语问答数据集,提供超过 230 万个手工过滤的问答对,这些对是使用 Swallow‑MX 和 LLMs(不使用基于规则的模板)从维基百科自动生成的,用于支持知识教学和检索增强生成应用。
- jhumanevalkogi-jwu731JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
研究领域相近的资源
- AnswerCarefullyllm-jp644AnswerCarefully Dataset提供日语和多语种数据,用于商业或非商业LLM安全增强,禁止任何其他用途——包括安全规避——允许带署名的衍生作品,并声明不承担因伤害或服务变更导致的责任。共同: 标注与数据集构建
- scaling-data-constrained-llmsllm-jp402包含日语和英语网络语料库的集合——包括一个 9 B‑token 日语集(JA‑WEB‑9B)、63 B‑token 英语和日语集(EN‑WEB‑63B、JA‑WEB‑63B)以及合成版本,如改写版 JA‑PARAPHRASE‑63B、指令式 JA‑INSTRUCT‑63B 和翻译版 JA‑TRANSLATE‑63B——用于在数据受限环境下研究日语 LLM 预训练的数据增强。共同: 标注与数据集构建
- kaken-trans-ja-enhpprc358来自 llm-jp-corpus-v3 的 kaken 子集的日文文本,使用 Qwen/Qwen2.5‑32B‑Instruct 翻译成英文,并以 CC‑BY 4.0 许可发布为开放的日英平行语料库,该许可继承了原始数据集的条款。共同: 标注与数据集构建
llm-jp-corpusllm-jp49该存储库包含用于重现LLM-jp语料库的脚本。GitHub共同: 标注与数据集构建- oasst1-21k-jallm-jp271oasst1‑21k‑ja 是由 DeepL 从英文 OASST1 子集派生的日语指令调优数据集,透过日本 LLM‑jp 合作项目创建;请联系 llm‑jp@nii.ac.jp,作者包括 Kiyomaru、Matsuda、Suzuki、Han、Sugawara、Sasaki、Kurita、Nakamura、Kodama 和 Okamoto。共同: 标注与数据集构建
- llm-japanese-dataset-vanillaizumi-lab255一份去除了 izumi-lab 的 llm-japanese-dataset 中英日翻译数据的日本聊天数据集,旨在通过 LoRA 对日本 LLM 进行指令-响应任务的微调,并以 CC‑BY‑SA 4.0 发布。共同: 标注与数据集构建