JamC‑QA‑V2 是一個擴充的日語知識基準,涵蓋文化、地理、歷史、法律、醫療保健及地方身份等五大子類別的多項選擇題,並以各種語言模型在這些主題上的完全符合度為評估指標。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
148
Hugging Face 按讚數
2
收錄日
2026年11月17日
同分類的熱門資源
- JGLUEshunk0313k更新了 JGLUE 數據集卡和載入腳本,適用於由 Yahoo Japan 和 Waseda University 創建的日本 NLP 基準,涵蓋文本分類(MARC‑ja、JCoLA)、句子對分類(JNLI)和 QA(JSQuAD、JCommonsenseQA),發布版本已在 GitHub 和 Hugging Face 上連結。
- JamC-QAsbintuitions2kJamC‑QA 是一個涵蓋八個日本文化與知識類別的雙語多選題基準測試,並以排行榜指標對比最先進模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一個基於圖像的日語多模態基準,透過現實模型生成視覺問題並經由人工驗證而創建,顯示目前開源 LMM 在此任務表現不佳,同時提供一種成本效益高的方法供未來 VQA 基準發展使用。
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- JAMMEvalllm-jp830JAMMEval 是七個日本 VQA 數據集的蒸餾基準,經過兩輪人工註釋以消除歧義和非視覺問題,提供對多模態日本任務的視覺‑語言模型可靠評估。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
研究領域相近的資源
belebelefacebookresearch339大規模多語言閱讀理解資料集 Belebele 的儲存庫。多語言共同: 語料庫與資料集・評測與基準
tydiqagoogle-research-datasets319TyDi QA 包含20萬個在11種類型多樣語言中人工標註的問答對,這些問答在未見答案且未使用翻譯的情況下撰寫,專為自動問答系統的訓練與評測而設計。本儲存庫提供該資料集的評測程式碼與基線系統。多語言共同: 語料庫與資料集・評測與基準
ml-mkqaapple-aiml-research198我們介紹開放域問答評測集 MKQA,包含在26種類型多樣的語言間對齊的1萬個問答對(共計26萬個問答對)。該資料集旨在為跨廣泛語言的問答品質提供具有挑戰性的基準。詳情請參閱論文《MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering》。多語言共同: 語料庫與資料集・評測與基準
mintakaamazon-science118來自論文《Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering》(COLING 2022)的資料集。多語言共同: 語料庫與資料集・評測與基準
jemhopqaaiishii30JEMHopQA(日本語説明可能なマルチホップ質問応答)は、内部推論を評価できる日本語マルチホップQAデータセットです。GitHub共同: 語料庫與資料集・評測與基準- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 是日本 Visual Genome VQA 資料集的一個 500 個樣本子集,授權為 CC BY 4.0,用於基準測試 EvoVLM‑JP‑v1‑7B。共同: 語料庫與資料集・評測與基準