Japanese‑Mail‑Bench 是一个包含 500 条项目的日语商务邮件生成基准,用参考答案在 1–5 的自然度和适当性尺度上评估 LLM,JSONL 数据包括场景属性,如发件人/收件人关系、目的、言语行为以及交互类型。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
149
Hugging Face 点赞数
3
收录日
2026年9月22日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 165 |
| 2026年10月 | 121 |
| 2026年11月 | 149 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- emilia-yodasTTS-AGI18k来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- vntl-leaderboardlmg-anon857一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
- jhumanevalkogi-jwu731JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一个日本金融基准,用来评估 LLMs 在诸如会计欺诈检测、盈利预测和行业预测等任务,使用十年的 EDINET‑API 披露报告,提供构建和评估代码,并将数据集重新许可为 PDL 1.0。
研究领域相近的资源
llm-japanese-datasetmasanorihirano91LLM构建用的日语聊天数据集GitHub共同: 大语言模型・语料库与数据集
jmed-llmsociocom59JMED-LLM:用于大型语言模型的日本医学评估数据集GitHub共同: 大语言模型・语料库与数据集
japanese-llm-benchmarkshi3z53用于评估各种LLM的日语语言能力的基准工具。GitHub共同: 大语言模型・语料库与数据集
Japanese-RP-BenchAratako25Japanese-RP-Bench是用于衡量LLM的日语角色扮演能力的基准。GitHub共同: 大语言模型・语料库与数据集
do-not-answer-jakunishou242023年8月,墨尔本大学发布了安全性评估数据集“Do-Not-Answer”,现在已经将其自动翻译成日语,以便用于评估日语LLM,并根据日本文化进行了修正的数据集。GitHub共同: 大语言模型・语料库与数据集- injecagent-jamasahiroid212一份日本语版的 InjecAgent 基准(v0.1.1),在保留原始英文工具模式和攻击指令的同时,加入了翻译后的代理思考、用户指导以及增强的黑客前缀,用于在 MIT 许可证下衡量 LLM 的鲁棒性。共同: 大语言模型・语料库与数据集