JamC‑QA‑V2 是一个扩展的日语知识基准,包含五个子类别的多项选择题,对文化、地理、历史、法律、医疗保健和地区身份主题进行各种语言模型的精确匹配准确率评估。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
148
Hugging Face 点赞数
2
收录日
2026年11月17日
同分类的热门资源
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- JAMMEvalllm-jp830JAMMEval 是七个日本 VQA 数据集的精炼基准,经过两轮人工注释以消除歧义和非视觉问题,能够为多模态日本任务提供对视觉‑语言模型的可靠评估。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
研究领域相近的资源
belebelefacebookresearch339大规模多语言阅读理解数据集 Belebele 的仓库。多语言共同: 语料库与数据集・评测与基准
tydiqagoogle-research-datasets319TyDi QA 包含20万个在11种类型多样语言中人工标注的问答对,这些问答在未见答案且未使用翻译的情况下编写,专为自动问答系统的训练与评测而设计。本仓库提供该数据集的评测代码与基线系统。多语言共同: 语料库与数据集・评测与基准
ml-mkqaapple-aiml-research198我们介绍开放域问答评测集 MKQA,包含在26种类型多样的语言间对齐的1万个问答对(共计26万个问答对)。该数据集旨在为跨广泛语言的问答质量提供具有挑战性的基准。详情请参阅论文《MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering》。多语言共同: 语料库与数据集・评测与基准
mintakaamazon-science118来自论文《Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering》(COLING 2022)的数据集。多语言共同: 语料库与数据集・评测与基准
jemhopqaaiishii30JEMHopQA(日本可解释的多跳问题回答)是一个日本多跳QA数据集,可以评估内部推理。GitHub共同: 语料库与数据集・评测与基准- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 是日本 Visual Genome VQA 数据集的 500 份样本子集,采用 CC BY 4.0 许可,用于基准测试 EvoVLM‑JP‑v1‑7B。共同: 语料库与数据集・评测与基准