通过发布数据集、自动评估框架以及 Claude 3.5‑Sonnet、GPT‑4o 等模型的比较结果,提供跨金融、电信、制造、公共、零售五个行业领域的日语 RAG 基准。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
246
Hugging Face 点赞数
52
收录日
2024年9月23日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 333 |
| 2026年1月 | 304 |
| 2026年2月 | 286 |
| 2026年3月 | 144 |
| 2026年4月 | 112 |
| 2026年5月 | 143 |
| 2026年6月 | 147 |
| 2026年7月 | 225 |
| 2026年8月 | 153 |
| 2026年9月 | 275 |
| 2026年10月 | 389 |
| 2026年11月 | 246 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMTEBsbintuitions3kJMTEB 是一个日本文本嵌入基准,包含 5 个任务(聚类、分类、STS、检索、再排序)和 28 个数据集,提供一行评估脚本,并邀请社区贡献。
- wikipedia-passages-jawiki-embeddingshotchpotch731日语维基百科句子被转换为各种嵌入和 FAISS 索引,提供 Hugging Face Space 演示、转换脚本,以及对搜索、问答和 OpenAI text-embedding-3-small 在 RAG 中的评估;嵌入模型为 OpenAI‑licensed,其他为 CC‑BY‑SA‑4.0。
- JQaRAhotchpotch436一个用于评估 Retrieval‑Augmented Generation(RAG)的日语 QA 数据集,由 JAQKET 问题和 Wikipedia 段落以及金标准检索相关性标签构建,并在 HuggingFace 和 GitHub 上发布,主要依据 nDCG@10 评分。
- msmarco-ja-hard-negativeshotchpotch408日语硬负采样与MSMARCO-JA数据集评估,详细说明归一化、过滤、BAAI/BGE重排序器选择、随机抽样、SPLADE基准排名以及卡方分析,显示出比原始 mMARCO(ja) 统计显著更高的正率。
- Japanese-RAG-Generator-Benchmarkneoai-inc113Japanese RAG Generator Benchmark (J‑RAGBench) 提供了一个多分类 QA 数据集——涵盖 Integration、Reasoning、Logical、Table 和 Abstention——旨在评估日本 RAG 生成器,采用人工努力和 GPT‑4.1 构建,并在 CC BY‑SA 4.0 许可下发布。
- emilia-yodasTTS-AGI18k来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
研究领域相近的资源
- ELYZA-tasks-100elyza2k一个包含100个样本的日语指令微调评估数据集,包含已注释的任务——从摘要校正、数学推理到翻译、创意生成和用户意图理解——旨在对微调模型进行手动或自动的5分制评分。共同: 标注与数据集构建
- qg_jaquadlmqg494Japanese JaQuAD,QG‑Bench 的一个子集,提供句子级和段落级的数据,包含高亮的答案词元,用于训练日语问句生成模型,并通过 BLEU4、METEOR、ROUGE‑L、BERTScore 和 MoverScore 进行评估。共同: 标注与数据集构建
- zenz-v2.5-datasetMiwa-Keita439一个190 M对的JSONL数据集,用于日语假名到汉字转换,包含“左上下文–输入–输出”三元组,并预训练模型(medium、small、xsmall)以及AJIMEE-Bench基准测试。该数据集以CC BY‑SA 4.0授权发布,子集来源于Wikipedia和Common Crawl。共同: 标注与数据集构建
ajimee-benchazookey30AJIMEE-Bench(高级日语输入法评估基准)GitHub共同: 标注与数据集构建- WildGuardTestJPsbintuitions258WildGuardTestJP 是一个包含 1,725 个样本的日语评估数据集,经过多阶段精炼管道(Seed‑X‑PPO‑7B、gpt‑oss‑120b、Qwen2.5‑72B‑Instruct、gemma‑3‑27b‑it)忠实翻译自 WildGuardTest,并以 ODC‑BY 许可证在 Hugging Face 上发布。共同: 标注与数据集构建
- bbh-japfnet213日语BB‑Bench Hard 数据集,包含评估问题(JSON Lines)和链式思维提示(YAML),通过 PLaMo 模型翻译。共同: 标注与数据集构建