JamC‑QA 是一個涵蓋八個日本文化與知識類別的雙語多選題基準測試,並以排行榜指標對比最先進模型。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
2,000
Hugging Face 按讚數
6
收錄日
2025年9月16日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | 898 |
| 2026年2月 | 1,000 |
| 2026年3月 | 1,000 |
| 2026年4月 | 1,000 |
| 2026年5月 | 1,000 |
| 2026年6月 | 934 |
| 2026年7月 | 864 |
| 2026年8月 | 2,000 |
| 2026年9月 | 2,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 2,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JGLUEshunk0313k更新了 JGLUE 數據集卡和載入腳本,適用於由 Yahoo Japan 和 Waseda University 創建的日本 NLP 基準,涵蓋文本分類(MARC‑ja、JCoLA)、句子對分類(JNLI)和 QA(JSQuAD、JCommonsenseQA),發布版本已在 GitHub 和 Hugging Face 上連結。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一個基於圖像的日語多模態基準,透過現實模型生成視覺問題並經由人工驗證而創建,顯示目前開源 LMM 在此任務表現不佳,同時提供一種成本效益高的方法供未來 VQA 基準發展使用。
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- JAMMEvalllm-jp830JAMMEval 是七個日本 VQA 數據集的蒸餾基準,經過兩輪人工註釋以消除歧義和非視覺問題,提供對多模態日本任務的視覺‑語言模型可靠評估。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
- JA-VG-VQA-500SakanaAI520JA‑VG‑VQA‑500 是日本 Visual Genome VQA 資料集的一個 500 個樣本子集,授權為 CC BY 4.0,用於基準測試 EvoVLM‑JP‑v1‑7B。
研究領域相近的資源
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQA 是一個含有 39 張影像與 55 對日文問答對的資料集,用於評估多圖像 VQA,授權為 Apache 2.0(圖片除外)。共同: 標註與資料集建置
- ELYZA-tasks-100elyza2k一個包含 100 筆樣本的日本語 instruction‑tuning 評估資料集,內含標註任務——從摘要校正、數學推理到翻譯、創意生成及使用者意圖理解——設計用於手動或自動 5‑point rating 的 fine‑tuned models 評估。共同: 標註與資料集建置
- embhpprc1k日語及多語系 QA、NLI 與同義句資料集的目錄,說明各資料集的檢索或 QA 任務以及其授權規範(Apache 2.0、CC‑BY‑SA/CC‑BY、MIT 等)。共同: 標註與資料集建置
- JDocQA-Reasoningricoh-ai269由理光為GENIAC計畫發佈的日本基準,JDocQA Reasoning Bench,評估LMM在 1,286 個關於複雜圖表、表格與圖解的推論問題上,並使用自動化 LLM-as‑Judge 評分。共同: 標註與資料集建置
lawqa_jpdigital-go-jp279日本的法令多項選擇問答數據集GitHub共同: 標註與資料集建置- qg_jaquadlmqg494Japanese JaQuAD(QG‑Bench 的子集)提供句子級和段落級資料,並以高亮顯示答案 token,用於訓練日語提問生成模型,評估指標包括 BLEU4、METEOR、ROUGE‑L、BERTScore 與 MoverScore。共同: 標註與資料集建置