AutoWikiQA 是最大的免费日语问答数据集,提供超过 230 万个手工过滤的问答对,这些对是使用 Swallow‑MX 和 LLMs(不使用基于规则的模板)从维基百科自动生成的,用于支持知识教学和检索增强生成应用。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
747
Hugging Face 点赞数
24
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 542 |
| 2026年1月 | 157 |
| 2026年2月 | 210 |
| 2026年3月 | 115 |
| 2026年4月 | — |
| 2026年5月 | 190 |
| 2026年6月 | 163 |
| 2026年7月 | 132 |
| 2026年8月 | 168 |
| 2026年9月 | 247 |
| 2026年10月 | 230 |
| 2026年11月 | 747 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- nri-fin-reasoningnri-ai707日语指令数据集,具有 632,636 条多轮样本(约 6.35 B 个 token),并包含 GPT‑OSS‑120b 的推理轨迹,用于跨 135 个金融主题和 20 个通用主题的开放式、数学、写作和 MCQA 任务,旨在微调 LLM 在金融领域的推理能力。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- DEJIMA-datasetMIL-UT359DEJIMA 是一个大规模的日语图像数据集,包含 388 万个图像-标题对和 388 万个图像-问题-答案对,通过严格过滤、去重、检测驱动证据提取以及基于 LLM 的在 grounding 约束下生成标题/视觉问答,并为每项任务提供多种精心策划的变体。
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。
- ChouBunSakanaAI103ChouBun 是一个日语长上下文基准,用于评估大型语言模型(LLMs),包含两种任务类型——提取式问答(wiki_qa、edinet_qa)和抽象式摘要(corp_sec_qa、corp_sec_sum)。它由维基百科文章、EDINET 证券报告以及公司文件构建,采用标准化的 THUDM/LongBench 格式,并支持最高 32768 个 token 的上下文。
研究领域相近的资源
- embhpprc1k一份日语和多语种 QA、NLI 与同义句重述数据集的目录,详细说明每个数据集的检索或问答任务及其许可(Apache 2.0、CC‑BY‑SA/CC‑BY、MIT 等)。共同: 标注与数据集构建
lawqa_jpdigital-go-jp279日本法律相关的多项选择问答数据集GitHub共同: 标注与数据集构建- AnswerCarefullyllm-jp644AnswerCarefully Dataset提供日语和多语种数据,用于商业或非商业LLM安全增强,禁止任何其他用途——包括安全规避——允许带署名的衍生作品,并声明不承担因伤害或服务变更导致的责任。共同: 标注与数据集构建
- JGLUEllm-book546用于《大型语言模型简介》一书的 JGLUE 数据集数据卡,来源于原始仓库,代码采用 CC BY‑SA 4.0 许可证,数据按发行者的许可协议,引用 Kurihara & Kawahara(日本语),并基于 Shunsuke Kitada 的仓库构建。共同: 标注与数据集构建
- scaling-data-constrained-llmsllm-jp402包含日语和英语网络语料库的集合——包括一个 9 B‑token 日语集(JA‑WEB‑9B)、63 B‑token 英语和日语集(EN‑WEB‑63B、JA‑WEB‑63B)以及合成版本,如改写版 JA‑PARAPHRASE‑63B、指令式 JA‑INSTRUCT‑63B 和翻译版 JA‑TRANSLATE‑63B——用于在数据受限环境下研究日语 LLM 预训练的数据增强。共同: 标注与数据集构建
medLLM_QA_benchmarkaistairc6医学LLM的三语(英语、日语、中文)QA基准GitHub共同: 标注与数据集构建