JamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
2,000
Hugging Face 点赞数
6
收录日
2025年9月16日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | 898 |
| 2026年2月 | 1,000 |
| 2026年3月 | 1,000 |
| 2026年4月 | 1,000 |
| 2026年5月 | 1,000 |
| 2026年6月 | 934 |
| 2026年7月 | 864 |
| 2026年8月 | 2,000 |
| 2026年9月 | 2,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 2,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- JAMMEvalllm-jp830JAMMEval 是七个日本 VQA 数据集的精炼基准,经过两轮人工注释以消除歧义和非视觉问题,能够为多模态日本任务提供对视觉‑语言模型的可靠评估。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 是日本 Visual Genome VQA 数据集的 500 份样本子集,采用 CC BY 4.0 许可,用于基准测试 EvoVLM‑JP‑v1‑7B。
研究领域相近的资源
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQA 是一个包含 39 张图像和 55 对日语问答的多图像 VQA 数据集,采用 Apache 2.0 许可(图像除外)。共同: 标注与数据集构建
- ELYZA-tasks-100elyza2k一个包含100个样本的日语指令微调评估数据集,包含已注释的任务——从摘要校正、数学推理到翻译、创意生成和用户意图理解——旨在对微调模型进行手动或自动的5分制评分。共同: 标注与数据集构建
- embhpprc1k一份日语和多语种 QA、NLI 与同义句重述数据集的目录,详细说明每个数据集的检索或问答任务及其许可(Apache 2.0、CC‑BY‑SA/CC‑BY、MIT 等)。共同: 标注与数据集构建
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。共同: 标注与数据集构建
lawqa_jpdigital-go-jp279日本法律相关的多项选择问答数据集GitHub共同: 标注与数据集构建- qg_jaquadlmqg494Japanese JaQuAD,QG‑Bench 的一个子集,提供句子级和段落级的数据,包含高亮的答案词元,用于训练日语问句生成模型,并通过 BLEU4、METEOR、ROUGE‑L、BERTScore 和 MoverScore 进行评估。共同: 标注与数据集构建