日本語のRAGベンチマークを、金融・通信・製造・公共・小売という5つの業界ドメインで提供し、データセットの公開、自動評価フレームワーク、および Claude 3.5‑Sonnet、GPT‑4o などのモデルの比較結果を掲載します。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
246
Hugging Face の Like 数
52
掲載日
2024年9月23日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 333 |
| 2026年1月 | 304 |
| 2026年2月 | 286 |
| 2026年3月 | 144 |
| 2026年4月 | 112 |
| 2026年5月 | 143 |
| 2026年6月 | 147 |
| 2026年7月 | 225 |
| 2026年8月 | 153 |
| 2026年9月 | 275 |
| 2026年10月 | 389 |
| 2026年11月 | 246 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- JMTEBsbintuitions3kJMTEBは日本語テキスト埋め込みベンチマークで、5つのタスク(クラスタリング、分類、STS、検索、リランキング)と28のデータセットを特徴とし、1行で評価できるスクリプトを提供し、コミュニティの貢献を歓迎する。
- wikipedia-passages-jawiki-embeddingshotchpotch731日本語版Wikipediaの文はさまざまな埋め込みとFAISSインデックスに変換され、Hugging Face Spaceデモ、変換スクリプト、検索・Q&A・OpenAI text‑embedding‑3‑smallを用いたRAGの評価が提供されます。埋め込みはOpenAIライセンス対象で、その他はCC‑BY‑SA‑4.0です。
- JQaRAhotchpotch436Retrieval‑Augmented Generation (RAG) を評価するための日本語 QA データセットで、JAQKET 質問と Wikipedia パッセージから構築され、金ラベル付きの検索関連性ラベルを持つ。HuggingFace と GitHub でリリースされ、主に nDCG@10 で評価される。
- msmarco-ja-hard-negativeshotchpotch408日本語のハードネガティブマイニングとMSMARCO-JAデータセットにおける評価を、正規化・フィルタリング、BAAI/BGEリランカー選択、ランダムサンプリング、SPLADEベースのランキング、およびカイ二乗分析によって詳細に示し、元のmMARCO(ja)より統計的に有意に高い正例率を示しています。
- Japanese-RAG-Generator-Benchmarkneoai-inc113Japanese RAG Generator Benchmark (J‑RAGBench) は、Integration、Reasoning、Logical、Table、Abstention を網羅したマルチカテゴリ QA dataset を提供し、日本語 RAG ジェネレーターの評価を目的としています。このデータセットは人手と GPT‑4.1 によって構築され、CC BY‑SA 4.0 の下でリリースされています。
- emilia-yodasTTS-AGI18kFate/Stay Nightのキャラクター「Emilia」の対話とロアのデータセットで、会話型言語モデルのトレーニングと評価のためにフォーマットされています。
研究分野が近いリソース
- ELYZA-tasks-100elyza2k注釈付きタスク(要約訂正、数学推論、翻訳、創造的生成、ユーザー意図理解など)を網羅した100サンプルの日本語インストラクション・チューニング評価データセット。微調整モデルを手動または自動で5点評価できるよう設計されている。共通: アノテーション・データセット構築
- qg_jaquadlmqg494Japanese JaQuAD、QG‑Bench のサブセットは、文レベルおよび段落レベルのデータを提供し、ハイライトされた回答トークンを用いて日本語の質問生成モデルの学習に利用でき、BLEU4、METEOR、ROUGE‑L、BERTScore、MoverScore で評価されます。共通: アノテーション・データセット構築
- zenz-v2.5-datasetMiwa-Keita439日本語の仮名→漢字変換用の190MペアJSONLデータセット。左コンテキスト–入力–出力の三連で構成され、事前学習済みモデル(medium、small、xsmall)とAJIMEE-Benchベンチマークを含む。CC BY‑SA 4.0 の下で公開され、Wikipedia と Common Crawl からライセンスされたサブセットが使用されています。共通: アノテーション・データセット構築
ajimee-benchazookey30AJIMEE-Bench(高度な日本語IME評価ベンチマーク)GitHub共通: アノテーション・データセット構築- WildGuardTestJPsbintuitions258WildGuardTestJPは、1,725サンプルの日本語評価データセットであり、WildGuardTestから多段階の改良パイプライン(Seed‑X‑PPO‑7B, gpt‑oss‑120b, Qwen2.5‑72B‑Instruct, gemma‑3‑27b‑it)を通じて忠実に翻訳されたものです。Hugging FaceでODC‑BY ライセンスの下で公開されています。共通: アノテーション・データセット構築
- bbh-japfnet213日本語のBB‑Bench Hard データセット(評価質問は JSON Lines、Chain‑of‑Thought プロンプトは YAML)で、PLaMo モデルを使用して翻訳済み。共通: アノテーション・データセット構築