一个用于评估 Retrieval‑Augmented Generation(RAG)的日语 QA 数据集,由 JAQKET 问题和 Wikipedia 段落以及金标准检索相关性标签构建,并在 HuggingFace 和 GitHub 上发布,主要依据 nDCG@10 评分。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
436
Hugging Face 点赞数
21
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 403 |
| 2026年1月 | 251 |
| 2026年2月 | 277 |
| 2026年3月 | 139 |
| 2026年4月 | 181 |
| 2026年5月 | 363 |
| 2026年6月 | 248 |
| 2026年7月 | 332 |
| 2026年8月 | 559 |
| 2026年9月 | 321 |
| 2026年10月 | 791 |
| 2026年11月 | 436 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- Japanese-RAG-Generator-Benchmarkneoai-inc113Japanese RAG Generator Benchmark (J‑RAGBench) 提供了一个多分类 QA 数据集——涵盖 Integration、Reasoning、Logical、Table 和 Abstention——旨在评估日本 RAG 生成器,采用人工努力和 GPT‑4.1 构建,并在 CC BY‑SA 4.0 许可下发布。
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JMTEBsbintuitions3kJMTEB 是一个日本文本嵌入基准,包含 5 个任务(聚类、分类、STS、检索、再排序)和 28 个数据集,提供一行评估脚本,并邀请社区贡献。
- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
研究领域相近的资源
- JEMHopQAsbintuitions297日语多跳问答数据集(JEMHopQA),提供问题、答案和连接两篇维基百科文章的半结构化推导步骤,更新了推导格式,并在多个版本发布中扩展了答案集合。共同: 自然语言接口・问答
- rakuda-questionsyuzuai188Rakuda 提供 40 道日语问题——开放式的历史、社会与政府问题,以及针对地理的特定问题——用于对日本 AI 助手进行基准测试,类似于 vicuna‑eval,并且可以使用 datasets.load_dataset 加载。共同: 自然语言接口・问答
ja-vicuna-qa-benchmarkku-nlp34日本维库纳问答基准GitHub共同: 自然语言接口・问答- JaQuADSkelterLabsInc916JaQuAD 是 2022 年的日语 QA 数据集,包含 39,696 对 SQuAD‑style 的抽取式问题‑答案对,取自 Wikipedia,文件总大小 73.2 MB。使用 BERT‑Japanese 微调时,获得 78.92 % F1(63.38 % EM)。共同: 自然语言接口・问答
asdcmegagonlabs25住宿搜索对话语料库GitHub共同: 自然语言接口・信息检索- reranker-scoreshpprc288提供了一个日语搜索/问答数据集,其中包含按查询计算的分数,这些分数是由五个多语言/日语重排序器(例如 BAAI/bge‑reranker‑v2‑m3、Alibaba‑NLP/gte‑multilingual‑reranker‑base)计算的,数据集包括每个查询约200个正例和负例文档的平均分数。共同: 信息检索