Japanese RAG Generator Benchmark (J‑RAGBench) は、Integration、Reasoning、Logical、Table、Abstention を網羅したマルチカテゴリ QA dataset を提供し、日本語 RAG ジェネレーターの評価を目的としています。このデータセットは人手と GPT‑4.1 によって構築され、CC BY‑SA 4.0 の下でリリースされています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
113
Hugging Face の Like 数
4
掲載日
2025年9月23日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 236 |
| 2026年1月 | 177 |
| 2026年2月 | 218 |
| 2026年3月 | 181 |
| 2026年4月 | 142 |
| 2026年5月 | 147 |
| 2026年6月 | 147 |
| 2026年7月 | 149 |
| 2026年8月 | 166 |
| 2026年9月 | 169 |
| 2026年10月 | 176 |
| 2026年11月 | 113 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- JQaRAhotchpotch436Retrieval‑Augmented Generation (RAG) を評価するための日本語 QA データセットで、JAQKET 質問と Wikipedia パッセージから構築され、金ラベル付きの検索関連性ラベルを持つ。HuggingFace と GitHub でリリースされ、主に nDCG@10 で評価される。
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JMTEBsbintuitions3kJMTEBは日本語テキスト埋め込みベンチマークで、5つのタスク(クラスタリング、分類、STS、検索、リランキング)と28のデータセットを特徴とし、1行で評価できるスクリプトを提供し、コミュニティの貢献を歓迎する。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
研究分野が近いリソース
- RAG-Evaluation-Dataset-JAallganize246日本語のRAGベンチマークを、金融・通信・製造・公共・小売という5つの業界ドメインで提供し、データセットの公開、自動評価フレームワーク、および Claude 3.5‑Sonnet、GPT‑4o などのモデルの比較結果を掲載します。共通: アノテーション・データセット構築
- JAMMEvalllm-jp830JAMMEval は七つの日本語 VQA データセットを蒸留したベンチマークであり、曖昧さと非視覚的質問を除去するために二回のヒトアノテーションで改良され、マルチモーダル日本語タスクにおけるビジョン‑ランゲージモデルの信頼性の高い評価を提供します。共通: アノテーション・データセット構築
- JA-Multi-Image-VQASakanaAI311JA‑Multi‑Image‑VQAは、マルチイメージVQAの評価用に39枚の画像と55組の日本語質問回答ペアからなるデータセットであり、Apache 2.0(画像を除く)ライセンス下です共通: アノテーション・データセット構築
- JDocQA-Reasoningricoh-ai269リコーがGENIACプロジェクトのために公開した日本語ベンチマーク「JDocQA Reasoning Bench」は、複雑なチャート・表・図を用いた1,286問の推論問題でLMMを評価し、自動化されたLLM-as‑Judgeスコアリングを使用します。共通: アノテーション・データセット構築
- ELYZA-tasks-100elyza2k注釈付きタスク(要約訂正、数学推論、翻訳、創造的生成、ユーザー意図理解など)を網羅した100サンプルの日本語インストラクション・チューニング評価データセット。微調整モデルを手動または自動で5点評価できるよう設計されている。共通: アノテーション・データセット構築
- embhpprc1k日本語および多言語のQA、NLI、パラフレーズデータセットのカタログで、各データセットの検索またはQAタスクとライセンス(Apache 2.0、CC‑BY‑SA/CC‑BY、MIT 等)を詳細に記載。共通: アノテーション・データセット構築