
オープンドメイン質問応答の評価セット MKQA を紹介する。類型的に多様な26言語にわたって整列された1万件の質問応答ペア(合計26万件)から成る。このデータセットの目的は、幅広い言語における質問応答品質の困難なベンチマークを提供することである。詳細は論文「MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering」を参照。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
198
±0 (10月13日〜)
最終コミット
2026年9月
GitHub での作成日
2020年7月30日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 198 |
| 2026年10月 | 198 |
| 2026年11月 | 198 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
belebelefacebookresearch339大規模多言語読解データセット Belebele のリポジトリ。
tydiqagoogle-research-datasets319TyDi QA は、類型的に多様な11言語で作成された20万件の人手アノテーション付き質問応答ペアを収録し、回答を見ずかつ翻訳を用いずに作成されており、自動質問応答システムの学習・評価のために設計されている。このリポジトリは、このデータセット向けの評価コードとベースラインシステムを提供する。
mintakaamazon-science118論文「Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering」(COLING 2022)によるデータセット。
lm-evaluation-harnessEleutherAI14k言語モデルのfew-shot評価のためのフレームワーク。
mtebembeddings-benchmark3.4kMTEB:言語とモダリティを横断した、埋め込みの最先端評価。
sacrebleumjpost1.3kテストセットを自動ダウンロードし、研究機関間の比較を容易にするバージョン文字列を出力する、標準的な BLEU 実装。
研究分野が近いリソース
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。HF データセット共通: コーパス・データセット・評価・ベンチマーク
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。HF データセット共通: コーパス・データセット・評価・ベンチマーク
jemhopqaaiishii30JEMHopQA(Japanese Explainable Multi-hop Question Answering)は、内部推論を評価できる日本語のマルチホップQAデータセットです。GitHub共通: コーパス・データセット・評価・ベンチマーク- JamC-QA-V2sbintuitions148JamC-QA-V2は、文化・地理・歴史・法務・医療・地域アイデンティティの各分野における5つのサブカテゴリを網羅した、多肢選択式質問からなる拡張日本語知識ベンチマークです。評価は各言語モデルの正確一致精度で行われます。HF データセット共通: コーパス・データセット・評価・ベンチマーク
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。HF データセット共通: コーパス・データセット・評価・ベンチマーク
- JAMMEvalllm-jp830JAMMEval は七つの日本語 VQA データセットを蒸留したベンチマークであり、曖昧さと非視覚的質問を除去するために二回のヒトアノテーションで改良され、マルチモーダル日本語タスクにおけるビジョン‑ランゲージモデルの信頼性の高い評価を提供します。HF データセット共通: コーパス・データセット・評価・ベンチマーク