JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
731
Hugging Face 点赞数
7
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 356 |
| 2026年1月 | 257 |
| 2026年2月 | 212 |
| 2026年3月 | 300 |
| 2026年4月 | 303 |
| 2026年5月 | 333 |
| 2026年6月 | 411 |
| 2026年7月 | 312 |
| 2026年8月 | 601 |
| 2026年9月 | 406 |
| 2026年10月 | 720 |
| 2026年11月 | 731 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- vntl-leaderboardlmg-anon857一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一个日本金融基准,用来评估 LLMs 在诸如会计欺诈检测、盈利预测和行业预测等任务,使用十年的 EDINET‑API 披露报告,提供构建和评估代码,并将数据集重新许可为 PDL 1.0。
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。
- injecagent-jamasahiroid212一份日本语版的 InjecAgent 基准(v0.1.1),在保留原始英文工具模式和攻击指令的同时,加入了翻译后的代理思考、用户指导以及增强的黑客前缀,用于在 MIT 许可证下衡量 LLM 的鲁棒性。
研究领域相近的资源
- JMMLUnlp-waseda1kJMMLU 是一个日语大型多任务语言理解基准(Benchmark),包括 7,536 道教师精心制作的问题,覆盖 56 个学科,包括专业医学、心理学、会计、哲学以及各种高中学科。共同: 多语言・文本生成
small_parallel_enjaodashi9750k英日平行语料库,用于机器翻译基准测试。GitHub共同: 多语言・文本生成- databricks-dolly-15k-jakunishou1k一个自动翻译的日语版本的databricks‑dolly‑15k数据集,许可为CC‑BY‑SA‑3.0,最后更新于2023‑05‑11。共同: 多语言・文本生成
jparacrawl-finetuneMorinoseiMorizo104JParaCrawl预训练神经机器翻译(NMT)模型的示例用法。GitHub共同: 多语言・文本生成
koharukoharu-rs6.7k使用Rust编写的带有LLM的自动漫画翻译工具。GitHub共同: 多语言・文本生成
shisa-v2shisa-ai35日英双语法学硕士GitHub共同: 多语言・文本生成