本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
666
Hugging Face 点赞数
3
收录日
2024年9月4日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 457 |
| 2026年1月 | 109 |
| 2026年2月 | 172 |
| 2026年3月 | 126 |
| 2026年4月 | 150 |
| 2026年5月 | 173 |
| 2026年6月 | 164 |
| 2026年7月 | 308 |
| 2026年8月 | 226 |
| 2026年9月 | 145 |
| 2026年10月 | 259 |
| 2026年11月 | 666 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。
- ChouBunSakanaAI103ChouBun 是一个日语长上下文基准,用于评估大型语言模型(LLMs),包含两种任务类型——提取式问答(wiki_qa、edinet_qa)和抽象式摘要(corp_sec_qa、corp_sec_sum)。它由维基百科文章、EDINET 证券报告以及公司文件构建,采用标准化的 THUDM/LongBench 格式,并支持最高 32768 个 token 的上下文。
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
研究领域相近的资源
- JAQKETkumapo327一份日语开放域问答数据集JAQKET,提供了多项选择题风格的问答(v1.0)和自由文本答案生成(v2.0),v1.0包含13 061个训练样本和271个验证样本,v2.0包含2 154个训练样本和1 164个验证样本。共同: 自然语言接口・标注与数据集构建
medLLM_QA_benchmarkaistairc6医学LLM的三语(英语、日语、中文)QA基准GitHub共同: 标注与数据集构建- JaQuADSkelterLabsInc916JaQuAD 是 2022 年的日语 QA 数据集,包含 39,696 对 SQuAD‑style 的抽取式问题‑答案对,取自 Wikipedia,文件总大小 73.2 MB。使用 BERT‑Japanese 微调时,获得 78.92 % F1(63.38 % EM)。共同: 自然语言接口・标注与数据集构建
- auto-wiki-qacl-nagoya747AutoWikiQA 是最大的免费日语问答数据集,提供超过 230 万个手工过滤的问答对,这些对是使用 Swallow‑MX 和 LLMs(不使用基于规则的模板)从维基百科自动生成的,用于支持知识教学和检索增强生成应用。共同: 标注与数据集构建
- nri-fin-reasoningnri-ai707日语指令数据集,具有 632,636 条多轮样本(约 6.35 B 个 token),并包含 GPT‑OSS‑120b 的推理轨迹,用于跨 135 个金融主题和 20 个通用主题的开放式、数学、写作和 MCQA 任务,旨在微调 LLM 在金融领域的推理能力。共同: 标注与数据集构建
- EDINET-BenchSakanaAI662EDINET‑Bench 是一个日本金融基准,用来评估 LLMs 在诸如会计欺诈检测、盈利预测和行业预测等任务,使用十年的 EDINET‑API 披露报告,提供构建和评估代码,并将数据集重新许可为 PDL 1.0。共同: 标注与数据集构建