提供日文 RAG 基準,涵蓋金融、電訊、製造、公共、零售五大產業領域,透過發布資料集、自動評估框架,以及比較結果,例如 Claude 3.5‑Sonnet、GPT‑4o 等模型。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
246
Hugging Face 按讚數
52
收錄日
2024年9月23日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 333 |
| 2026年1月 | 304 |
| 2026年2月 | 286 |
| 2026年3月 | 144 |
| 2026年4月 | 112 |
| 2026年5月 | 143 |
| 2026年6月 | 147 |
| 2026年7月 | 225 |
| 2026年8月 | 153 |
| 2026年9月 | 275 |
| 2026年10月 | 389 |
| 2026年11月 | 246 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JMTEBsbintuitions3kJMTEB 是一套日語文本嵌入基準,包含 5 個任務(聚類、分類、STS、檢索、重排序)與 28 個資料集,提供一行式評估腳本並邀請社群貢獻。
- wikipedia-passages-jawiki-embeddingshotchpotch731日文維基百科句子被轉換為各種嵌入,並建立 FAISS 索引,提供 Hugging Face Space 的演示、轉換腳本,以及對搜尋、問答和 OpenAI text‑embedding‑3‑small 在 RAG 中的評估;嵌入採用 OpenAI 授權,其他則採用 CC‑BY‑SA‑4.0。
- JQaRAhotchpotch436一個日語 QA 數據集,用於評估 Retrieval‑Augmented Generation (RAG),由 JAQKET 題目與 Wikipedia 文章構建,帶有金鑰檢索相關性標簽,已於 HuggingFace 和 GitHub 發布,主要以 nDCG@10 作為評分指標。
- msmarco-ja-hard-negativeshotchpotch408日語硬負樣本挖掘與 MSMARCO‑JA 數據集評估,說明正規化、過濾、BAAI/BGE 重排序器選擇、隨機抽樣、SPLADE 基於排名,以及卡方分析顯示統計上顯著的正率高於原始 mMARCO(ja)。
- Japanese-RAG-Generator-Benchmarkneoai-inc113「Japanese RAG Generator Benchmark (J‑RAGBench)」供應一份多分類 QA 數據集—涵蓋 Integration、Reasoning、Logical、Table 與 Abstention—旨在評估日文 RAG 生成器,並由人力與 GPT‑4.1 建構,且以 CC BY‑SA 4.0 授權發布。
- emilia-yodasTTS-AGI18k來自 Fate/Stay Night 角色「Emilia」的對話與傳說資料集,格式化用於訓練與評估對話語言模型。
研究領域相近的資源
- ELYZA-tasks-100elyza2k一個包含 100 筆樣本的日本語 instruction‑tuning 評估資料集,內含標註任務——從摘要校正、數學推理到翻譯、創意生成及使用者意圖理解——設計用於手動或自動 5‑point rating 的 fine‑tuned models 評估。共同: 標註與資料集建置
- qg_jaquadlmqg494Japanese JaQuAD(QG‑Bench 的子集)提供句子級和段落級資料,並以高亮顯示答案 token,用於訓練日語提問生成模型,評估指標包括 BLEU4、METEOR、ROUGE‑L、BERTScore 與 MoverScore。共同: 標註與資料集建置
- zenz-v2.5-datasetMiwa-Keita439一個 190 M‑pair 的 JSONL 資料集,用於日語假名到漢字的轉換,包含「左側上下文 – 輸入 – 輸出」三元組,以及預訓練模型(medium、small、xsmall)和 AJIMEE-Bench 基準測試,採用 CC BY‑SA 4.0 授權發布,其子集來源於 Wikipedia 和 Common Crawl。共同: 標註與資料集建置
ajimee-benchazookey30AJIMEE-Bench(高級日語輸入法評估基準)GitHub共同: 標註與資料集建置- WildGuardTestJPsbintuitions258WildGuardTestJP 是一份包含 1,725 個樣本的日文評估資料集,透過多階段精煉流程(Seed‑X‑PPO‑7B、gpt‑oss‑120b、Qwen2.5‑72B‑Instruct、gemma‑3‑27b‑it)忠實翻譯自 WildGuardTest,並於 Hugging Face 上以 ODC‑BY 許可發布。共同: 標註與資料集建置
- bbh-japfnet213日語 BB‑Bench Hard 資料集,包含評估問題(JSON Lines)與 Chain‑of‑Thought 版提示(YAML),已透過 PLaMo 模型進行翻譯。共同: 標註與資料集建置