JamC-QA-V2は、文化・地理・歴史・法務・医療・地域アイデンティティの各分野における5つのサブカテゴリを網羅した、多肢選択式質問からなる拡張日本語知識ベンチマークです。評価は各言語モデルの正確一致精度で行われます。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
148
Hugging Face の Like 数
2
掲載日
2026年11月17日
同じカテゴリで人気のリソース
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
- JAMMEvalllm-jp830JAMMEval は七つの日本語 VQA データセットを蒸留したベンチマークであり、曖昧さと非視覚的質問を除去するために二回のヒトアノテーションで改良され、マルチモーダル日本語タスクにおけるビジョン‑ランゲージモデルの信頼性の高い評価を提供します。
- llm-jp-evalllm-book666『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
研究分野が近いリソース
belebelefacebookresearch339大規模多言語読解データセット Belebele のリポジトリ。多言語共通: コーパス・データセット・評価・ベンチマーク
tydiqagoogle-research-datasets319TyDi QA は、類型的に多様な11言語で作成された20万件の人手アノテーション付き質問応答ペアを収録し、回答を見ずかつ翻訳を用いずに作成されており、自動質問応答システムの学習・評価のために設計されている。このリポジトリは、このデータセット向けの評価コードとベースラインシステムを提供する。多言語共通: コーパス・データセット・評価・ベンチマーク
ml-mkqaapple-aiml-research198オープンドメイン質問応答の評価セット MKQA を紹介する。類型的に多様な26言語にわたって整列された1万件の質問応答ペア(合計26万件)から成る。このデータセットの目的は、幅広い言語における質問応答品質の困難なベンチマークを提供することである。詳細は論文「MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering」を参照。多言語共通: コーパス・データセット・評価・ベンチマーク
mintakaamazon-science118論文「Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering」(COLING 2022)によるデータセット。多言語共通: コーパス・データセット・評価・ベンチマーク
jemhopqaaiishii30JEMHopQA(Japanese Explainable Multi-hop Question Answering)は、内部推論を評価できる日本語のマルチホップQAデータセットです。GitHub共通: コーパス・データセット・評価・ベンチマーク- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 は、日本語 Visual Genome VQA データセットの 500 サンプルのサブセットで、CC BY 4.0 ライセンスが付与され、EvoVLM‑JP‑v1‑7B のベンチマークに使用されます。共通: コーパス・データセット・評価・ベンチマーク