JIC‑VQAは、食品/花/施設/ランドマークの画像セットから構築された日本語ビジョン・ランゲージベンチマークであり、各サンプルに対して4つの選択肢がラベルと密接に結び付いた複数選択式質問を提供します。すべての画像はCC‑BYまたはパブリックドメインの条件でライセンスされています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
134
Hugging Face の Like 数
4
掲載日
2025年3月11日
同じカテゴリで人気のリソース
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
- JAMMEvalllm-jp830JAMMEval は七つの日本語 VQA データセットを蒸留したベンチマークであり、曖昧さと非視覚的質問を除去するために二回のヒトアノテーションで改良され、マルチモーダル日本語タスクにおけるビジョン‑ランゲージモデルの信頼性の高い評価を提供します。
- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 は、日本語 Visual Genome VQA データセットの 500 サンプルのサブセットで、CC BY 4.0 ライセンスが付与され、EvoVLM‑JP‑v1‑7B のベンチマークに使用されます。
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQAは、マルチイメージVQAの評価用に39枚の画像と55組の日本語質問回答ペアからなるデータセットであり、Apache 2.0(画像を除く)ライセンス下です
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JMMMUJMMMU3kJMMMUは、日本語のマルチモーダルベンチマークで、ネイティブ専門家が翻訳した1,320の文化的に多様な質問(720は文化に依存しない、600は文化固有)に拡張され、現在は公開リーダーボードを備えています。
研究分野が近いリソース
business-slide-questionsstockmarkteam2このリポジトリでは、ビジネス資料(スライド)を対象とした Visual Question Answering (VQA) ベンチマーク「BusinessSlideVQA」を提供しています。GitHub共通: コーパス・データセット・評価・ベンチマーク- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。共通: コーパス・データセット・評価・ベンチマーク
belebelefacebookresearch339大規模多言語読解データセット Belebele のリポジトリ。多言語共通: コーパス・データセット・評価・ベンチマーク
tydiqagoogle-research-datasets319TyDi QA は、類型的に多様な11言語で作成された20万件の人手アノテーション付き質問応答ペアを収録し、回答を見ずかつ翻訳を用いずに作成されており、自動質問応答システムの学習・評価のために設計されている。このリポジトリは、このデータセット向けの評価コードとベースラインシステムを提供する。多言語共通: コーパス・データセット・評価・ベンチマーク
ml-mkqaapple-aiml-research198オープンドメイン質問応答の評価セット MKQA を紹介する。類型的に多様な26言語にわたって整列された1万件の質問応答ペア(合計26万件)から成る。このデータセットの目的は、幅広い言語における質問応答品質の困難なベンチマークを提供することである。詳細は論文「MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering」を参照。多言語共通: コーパス・データセット・評価・ベンチマーク
mintakaamazon-science118論文「Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering」(COLING 2022)によるデータセット。多言語共通: コーパス・データセット・評価・ベンチマーク