Retrieval‑Augmented Generation (RAG) を評価するための日本語 QA データセットで、JAQKET 質問と Wikipedia パッセージから構築され、金ラベル付きの検索関連性ラベルを持つ。HuggingFace と GitHub でリリースされ、主に nDCG@10 で評価される。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
436
Hugging Face の Like 数
21
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 403 |
| 2026年1月 | 251 |
| 2026年2月 | 277 |
| 2026年3月 | 139 |
| 2026年4月 | 181 |
| 2026年5月 | 363 |
| 2026年6月 | 248 |
| 2026年7月 | 332 |
| 2026年8月 | 559 |
| 2026年9月 | 321 |
| 2026年10月 | 791 |
| 2026年11月 | 436 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- Japanese-RAG-Generator-Benchmarkneoai-inc113Japanese RAG Generator Benchmark (J‑RAGBench) は、Integration、Reasoning、Logical、Table、Abstention を網羅したマルチカテゴリ QA dataset を提供し、日本語 RAG ジェネレーターの評価を目的としています。このデータセットは人手と GPT‑4.1 によって構築され、CC BY‑SA 4.0 の下でリリースされています。
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JMTEBsbintuitions3kJMTEBは日本語テキスト埋め込みベンチマークで、5つのタスク(クラスタリング、分類、STS、検索、リランキング)と28のデータセットを特徴とし、1行で評価できるスクリプトを提供し、コミュニティの貢献を歓迎する。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
研究分野が近いリソース
- JEMHopQAsbintuitions297日本語マルチホップ質問応答データセット(JEMHopQA)は、質問・回答と二つのWikipedia記事を結び付ける半構造化派生ステップを提供し、派生フォーマットの更新と複数バージョンリリースにわたる回答セットの拡張が行われています。共通: 自然言語インターフェース・質問応答
- rakuda-questionsyuzuai188Rakuda は 40 件の日本語質問—歴史・社会・政府に関する自由回答形式と地理に特化した質問—を提供し、日本語 AI アシスタントのベンチマークに使用でき、vicuna‑eval と比較可能で、datasets.load_dataset で読み込むことができます。共通: 自然言語インターフェース・質問応答
ja-vicuna-qa-benchmarkku-nlp34日本のビクーニャQAベンチマークGitHub共通: 自然言語インターフェース・質問応答- JaQuADSkelterLabsInc916JaQuADは2022年作成の日本語QAデータセットで、Wikipediaから抽出した39,696ペアのSQuAD‑style抽出クエリで構成され、総サイズは73.2 MBです。BERT‑Japaneseでファインチューニングすると78.92 % F1(63.38 % EM)を達成します。共通: 自然言語インターフェース・質問応答
asdcmegagonlabs25宿泊施設探索対話コーパスGitHub共通: 自然言語インターフェース・情報検索- reranker-scoreshpprc288日本語の検索/QAデータセットを提供し、5つの多言語/日本語リランカー(例:BAAI/bge‑reranker‑v2‑m3、Alibaba‑NLP/gte‑multilingual‑reranker‑base)によって算出されたクエリごとのスコアを含む。各クエリごとに約200件の正例と負例ドキュメントの平均スコアも含まれる。共通: 情報検索