JHumanEval 是手工翻譯的日本版 HumanEval benchmark,提供 164 個 Python 程式設計問題,並提供對應的英文與日文註解,旨在評估 Japanese-LLM 程式產生,同時保留原始英文錯誤。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
731
Hugging Face 按讚數
7
收錄日
2024年5月13日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 356 |
| 2026年1月 | 257 |
| 2026年2月 | 212 |
| 2026年3月 | 300 |
| 2026年4月 | 303 |
| 2026年5月 | 333 |
| 2026年6月 | 411 |
| 2026年7月 | 312 |
| 2026年8月 | 601 |
| 2026年9月 | 406 |
| 2026年10月 | 720 |
| 2026年11月 | 731 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- vntl-leaderboardlmg-anon857一個排行榜,根據大型語言模型在將日文視覺小說翻譯成英文時的語義準確度進行排名,使用 256 個樣本的餘弦相似度並報告 chrF 分數,以便與 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具比較。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一個日本金融基準,評估 LLM 在會計欺詐檢測、盈餘預測以及產業預測等任務,使用十年的 EDINET‑API 公開報告。提供構建與評估代碼,資料集已重新授權為 PDL 1.0。
- JDocQA-Reasoningricoh-ai269由理光為GENIAC計畫發佈的日本基準,JDocQA Reasoning Bench,評估LMM在 1,286 個關於複雜圖表、表格與圖解的推論問題上,並使用自動化 LLM-as‑Judge 評分。
- injecagent-jamasahiroid212一份 InjecAgent 基準(v0.1.1)的日文翻譯,保留原始英文工具架構與攻擊指令,同時加入已翻譯的代理思考、使用者引導,以及增強的駭客前綴,以在 MIT 授權下測量 LLM 的韌性。
研究領域相近的資源
- JMMLUnlp-waseda1kJMMLU 是一個日本大型多任務語言理解基準,包含 7,536 個由教師精心編寫的問題,涵蓋 56 個科目,包含專業醫學、心理學、會計、哲學,以及多種高中學科。共同: 多語言・文本生成
small_parallel_enjaodashi9750k 英日平行語料庫,用於機器翻譯基準測試。GitHub共同: 多語言・文本生成- databricks-dolly-15k-jakunishou1k一個自動翻譯的日語版 databricks‑dolly‑15k dataset,採用 CC‑BY‑SA‑3.0 授權,最後更新於 2023‑05‑11。共同: 多語言・文本生成
jparacrawl-finetuneMorinoseiMorizo104JParaCrawl 預訓練神經機器翻譯 (NMT) 模型的使用示例。GitHub共同: 多語言・文本生成
koharukoharu-rs6.7k使用Rust编写的带有LLM的自动漫画翻译工具。GitHub共同: 多語言・文本生成
shisa-v2shisa-ai35日英雙語法學碩士GitHub共同: 多語言・文本生成