JMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
1,000
Hugging Face 点赞数
9
收录日
2025年12月23日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 469 |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | 378 |
| 2026年4月 | 267 |
| 2026年5月 | 233 |
| 2026年6月 | 403 |
| 2026年7月 | — |
| 2026年8月 | 145 |
| 2026年9月 | 356 |
| 2026年10月 | 175 |
| 2026年11月 | 1,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JAMMEvalllm-jp830JAMMEval 是七个日本 VQA 数据集的精炼基准,经过两轮人工注释以消除歧义和非视觉问题,能够为多模态日本任务提供对视觉‑语言模型的可靠评估。
- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 是日本 Visual Genome VQA 数据集的 500 份样本子集,采用 CC BY 4.0 许可,用于基准测试 EvoVLM‑JP‑v1‑7B。
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQA 是一个包含 39 张图像和 55 对日语问答的多图像 VQA 数据集,采用 Apache 2.0 许可(图像除外)。
- JIC-VQAline-corporation134JIC‑VQA 是一个基于食物/花卉/设施/地标图像集合构建的日语视觉语言基准,每个样本提供多项选择题,四个选项与标签紧密关联,所有图片均在 CC‑BY 或公共领域许可下发布。
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JMMMUJMMMU3kJMMMU 是一个日语多模态基准,已扩大十倍至 1,320 个具有文化多样性的问题(720 个与文化无关,600 个与文化相关),由母语专家翻译,现在设有公开排行榜。
研究领域相近的资源
business-slide-questionsstockmarkteam2在这个存储库中,我们提供了针对商业资料(幻灯片)的视觉问答(VQA)基准测试“BusinessSlideVQA”。GitHub共同: 标注与数据集构建- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。共同: 标注与数据集构建
- Japanese-Medical-VQA-12mMIL-UT423Japanese Medical VQA 12M 是一个大规模多模态数据集(≈12 M 样本),包含日语医学图像的原始和增强说明文字,均提供源语言和日语版本,以及生成的 VQA 问答对。该数据集以 Parquet/Webdataset 格式发布,并使用 InternVL3.5 对 Open‑PMC‑18M 进行增强,使用 Qwen3‑30B‑A3B 进行翻译,使用 GPT‑OSS 120B 生成 VQA。共同: 标注与数据集构建
ja-vg-vqayahoojapan30日本视觉基因问答数据集GitHub共同: 标注与数据集构建
LookVQAriken-grp8一个以凝视为基础的视觉问答数据集,用于澄清模糊的日语问题(LREC-COLING 2024)GitHub共同: 标注与数据集构建- Galgame-VisualNovel-Reuploadjoujiboi5k为高效加载 Hugging Face datasets,重新结构化并重新上传 Galgame VisualNovel 数据集(OOPPEENN/5669737465666C656E63655F44617461337072657330),保留所有原始 audio/text,并提供带多种 game-subset 选项的 extraction script。共同: 标注与数据集构建