「Japanese RAG Generator Benchmark (J‑RAGBench)」供應一份多分類 QA 數據集—涵蓋 Integration、Reasoning、Logical、Table 與 Abstention—旨在評估日文 RAG 生成器,並由人力與 GPT‑4.1 建構,且以 CC BY‑SA 4.0 授權發布。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
113
Hugging Face 按讚數
4
收錄日
2025年9月23日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 236 |
| 2026年1月 | 177 |
| 2026年2月 | 218 |
| 2026年3月 | 181 |
| 2026年4月 | 142 |
| 2026年5月 | 147 |
| 2026年6月 | 147 |
| 2026年7月 | 149 |
| 2026年8月 | 166 |
| 2026年9月 | 169 |
| 2026年10月 | 176 |
| 2026年11月 | 113 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JQaRAhotchpotch436一個日語 QA 數據集,用於評估 Retrieval‑Augmented Generation (RAG),由 JAQKET 題目與 Wikipedia 文章構建,帶有金鑰檢索相關性標簽,已於 HuggingFace 和 GitHub 發布,主要以 nDCG@10 作為評分指標。
- JGLUEshunk0313k更新了 JGLUE 數據集卡和載入腳本,適用於由 Yahoo Japan 和 Waseda University 創建的日本 NLP 基準,涵蓋文本分類(MARC‑ja、JCoLA)、句子對分類(JNLI)和 QA(JSQuAD、JCommonsenseQA),發布版本已在 GitHub 和 Hugging Face 上連結。
- JMTEBsbintuitions3kJMTEB 是一套日語文本嵌入基準,包含 5 個任務(聚類、分類、STS、檢索、重排序)與 28 個資料集,提供一行式評估腳本並邀請社群貢獻。
- JamC-QAsbintuitions2kJamC‑QA 是一個涵蓋八個日本文化與知識類別的雙語多選題基準測試,並以排行榜指標對比最先進模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一個基於圖像的日語多模態基準,透過現實模型生成視覺問題並經由人工驗證而創建,顯示目前開源 LMM 在此任務表現不佳,同時提供一種成本效益高的方法供未來 VQA 基準發展使用。
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
研究領域相近的資源
- RAG-Evaluation-Dataset-JAallganize246提供日文 RAG 基準,涵蓋金融、電訊、製造、公共、零售五大產業領域,透過發布資料集、自動評估框架,以及比較結果,例如 Claude 3.5‑Sonnet、GPT‑4o 等模型。共同: 標註與資料集建置
- JAMMEvalllm-jp830JAMMEval 是七個日本 VQA 數據集的蒸餾基準,經過兩輪人工註釋以消除歧義和非視覺問題,提供對多模態日本任務的視覺‑語言模型可靠評估。共同: 標註與資料集建置
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQA 是一個含有 39 張影像與 55 對日文問答對的資料集,用於評估多圖像 VQA,授權為 Apache 2.0(圖片除外)。共同: 標註與資料集建置
- JDocQA-Reasoningricoh-ai269由理光為GENIAC計畫發佈的日本基準,JDocQA Reasoning Bench,評估LMM在 1,286 個關於複雜圖表、表格與圖解的推論問題上,並使用自動化 LLM-as‑Judge 評分。共同: 標註與資料集建置
- ELYZA-tasks-100elyza2k一個包含 100 筆樣本的日本語 instruction‑tuning 評估資料集,內含標註任務——從摘要校正、數學推理到翻譯、創意生成及使用者意圖理解——設計用於手動或自動 5‑point rating 的 fine‑tuned models 評估。共同: 標註與資料集建置
- embhpprc1k日語及多語系 QA、NLI 與同義句資料集的目錄,說明各資料集的檢索或 QA 任務以及其授權規範(Apache 2.0、CC‑BY‑SA/CC‑BY、MIT 等)。共同: 標註與資料集建置