
TyDi QA 包含20万个在11种类型多样语言中人工标注的问答对,这些问答在未见答案且未使用翻译的情况下编写,专为自动问答系统的训练与评测而设计。本仓库提供该数据集的评测代码与基线系统。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
319
±0 (10月13日〜)
最后提交
2020年4月
GitHub 创建日期
2020年2月5日
收录日
—
自页面创建时收录
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 319 |
| 2026年10月 | 319 |
| 2026年11月 | 319 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
belebelefacebookresearch339大规模多语言阅读理解数据集 Belebele 的仓库。
ml-mkqaapple-aiml-research198我们介绍开放域问答评测集 MKQA,包含在26种类型多样的语言间对齐的1万个问答对(共计26万个问答对)。该数据集旨在为跨广泛语言的问答质量提供具有挑战性的基准。详情请参阅论文《MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering》。
mintakaamazon-science118来自论文《Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering》(COLING 2022)的数据集。
lm-evaluation-harnessEleutherAI14k用于语言模型少样本评测的框架。
mtebembeddings-benchmark3.4kMTEB:跨语言与跨模态的最先进嵌入评测。
sacrebleumjpost1.3k自动下载测试集并输出版本字符串以便于跨实验室比较的参考 BLEU 实现。
研究领域相近的资源
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。HF 数据集共同: 语料库与数据集・评测与基准
- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。HF 数据集共同: 语料库与数据集・评测与基准
jemhopqaaiishii30JEMHopQA(日本可解释的多跳问题回答)是一个日本多跳QA数据集,可以评估内部推理。GitHub共同: 语料库与数据集・评测与基准- JamC-QA-V2sbintuitions148JamC‑QA‑V2 是一个扩展的日语知识基准,包含五个子类别的多项选择题,对文化、地理、历史、法律、医疗保健和地区身份主题进行各种语言模型的精确匹配准确率评估。HF 数据集共同: 语料库与数据集・评测与基准
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。HF 数据集共同: 语料库与数据集・评测与基准
- JAMMEvalllm-jp830JAMMEval 是七个日本 VQA 数据集的精炼基准,经过两轮人工注释以消除歧义和非视觉问题,能够为多模态日本任务提供对视觉‑语言模型的可靠评估。HF 数据集共同: 语料库与数据集・评测与基准