JHumanEval は HumanEval benchmark の手翻訳版で、164 の Python programming problems を提供し、並行した英語と日本語のコメント付きで、日本語‑LLM のコード生成を評価しつつ、元の英語のエラーを保持します。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
731
Hugging Face の Like 数
7
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 356 |
| 2026年1月 | 257 |
| 2026年2月 | 212 |
| 2026年3月 | 300 |
| 2026年4月 | 303 |
| 2026年5月 | 333 |
| 2026年6月 | 411 |
| 2026年7月 | 312 |
| 2026年8月 | 601 |
| 2026年9月 | 406 |
| 2026年10月 | 720 |
| 2026年11月 | 731 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
- vntl-leaderboardlmg-anon857日本語ビジュアルノベルを英訳する際のセマンティック精度で大型言語モデルをランキングするリーダーボード。256サンプルに対してコサイン類似度を用い、Sugoi Translator、Google Translate、Naver Papago、Alibaba Translate などと比較するため chrF スコアを報告します。
- llm-jp-evalllm-book666『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench は、10 年分の EDINET‑API 公開レポートを使用して、会計不正検出、収益予測、業界予測などのタスクで LLM を評価する日本の金融ベンチマークです。構築・評価コードが提供され、データセットは PDL 1.0 に再ライセンスされています。
- JDocQA-Reasoningricoh-ai269リコーがGENIACプロジェクトのために公開した日本語ベンチマーク「JDocQA Reasoning Bench」は、複雑なチャート・表・図を用いた1,286問の推論問題でLMMを評価し、自動化されたLLM-as‑Judgeスコアリングを使用します。
- injecagent-jamasahiroid212インジェクエージェントベンチマーク(v0.1.1)の日本語訳。元の英語ツールスキーマと攻撃指示はそのまま保持し、翻訳されたエージェントの思考、ユーザーガイダンス、およびLLMの堅牢性を測定するための強化ハッキングプレフィックスが追加されています。MITライセンスに基づいています。
研究分野が近いリソース
- JMMLUnlp-waseda1kJMMLUは、56科目に跨る7,536問の教師作成質問を収録した、日本語のマルチタスク言語理解ベンチマークです。含まれる科目は、専門医学・心理学・会計学・哲学、及び多様な高校科目です。共通: 多言語・テキスト生成
small_parallel_enjaodashi97機械翻訳ベンチマーク用の50k英日並列コーパス。GitHub共通: 多言語・テキスト生成- databricks-dolly-15k-jakunishou1kdatabricks‑dolly‑15k データセットの自動翻訳された日本語版、CC‑BY‑SA‑3.0 ライセンス、2023‑05‑11に最終更新。共通: 多言語・テキスト生成
jparacrawl-finetuneMorinoseiMorizo104JParaCrawlの事前学習済みニューラル機械翻訳(NMT)モデルの使用例。GitHub共通: 多言語・テキスト生成
koharukoharu-rs6.7kRustで書かれたLLMを使用した自動漫画翻訳ツール。GitHub共通: 多言語・テキスト生成
shisa-v2shisa-ai35日本語/英語バイリンガルLLMGitHub共通: 多言語・テキスト生成