インジェクエージェントベンチマーク(v0.1.1)の日本語訳。元の英語ツールスキーマと攻撃指示はそのまま保持し、翻訳されたエージェントの思考、ユーザーガイダンス、およびLLMの堅牢性を測定するための強化ハッキングプレフィックスが追加されています。MITライセンスに基づいています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
212
Hugging Face の Like 数
2
掲載日
2026年10月20日
同じカテゴリで人気のリソース
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
- vntl-leaderboardlmg-anon857日本語ビジュアルノベルを英訳する際のセマンティック精度で大型言語モデルをランキングするリーダーボード。256サンプルに対してコサイン類似度を用い、Sugoi Translator、Google Translate、Naver Papago、Alibaba Translate などと比較するため chrF スコアを報告します。
- jhumanevalkogi-jwu731JHumanEval は HumanEval benchmark の手翻訳版で、164 の Python programming problems を提供し、並行した英語と日本語のコメント付きで、日本語‑LLM のコード生成を評価しつつ、元の英語のエラーを保持します。
- llm-jp-evalllm-book666『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench は、10 年分の EDINET‑API 公開レポートを使用して、会計不正検出、収益予測、業界予測などのタスクで LLM を評価する日本の金融ベンチマークです。構築・評価コードが提供され、データセットは PDL 1.0 に再ライセンスされています。
- JDocQA-Reasoningricoh-ai269リコーがGENIACプロジェクトのために公開した日本語ベンチマーク「JDocQA Reasoning Bench」は、複雑なチャート・表・図を用いた1,286問の推論問題でLMMを評価し、自動化されたLLM-as‑Judgeスコアリングを使用します。
研究分野が近いリソース
jmed-llmsociocom59JMED-LLM: 大規模言語モデル向けの日本医学評価データセットGitHub共通: 大規模言語モデル(LLM)・コーパス・データセット
japanese-llm-benchmarkshi3z53さまざまなLLMの日本語能力を評価するためのベンチマークツール。GitHub共通: 大規模言語モデル(LLM)・コーパス・データセット
Japanese-RP-BenchAratako25Japanese-RP-BenchはLLMの日本語ロールプレイ能力を測定するためのベンチマークです。GitHub共通: 大規模言語モデル(LLM)・コーパス・データセット
do-not-answer-jakunishou242023年8月にメルボルン大学から公開された安全性評価データセット『Do-Not-Answer』を日本語LLMの評価においても使用できるように日本語に自動翻訳し、さらに日本文化も考慮して修正したデータセット。GitHub共通: 大規模言語モデル(LLM)・コーパス・データセット
jmle2026-benchnaoto-iwase112026年2月7日から8日に行われる第120回日本医師免許試験のLLMベンチマークGitHub共通: 大規模言語モデル(LLM)・コーパス・データセット- JaCWIRhotchpotch167JaCWIR は、5000 件の ChatGPT 生成クエリと Hatena Bookmark の 50 万件のウェブページタイトル・説明を結び付けた日本語カジュアル Web IR データセットです。HuggingFace で公開され、MAP@10 またはフルスケール BM25 ランキングを用いた情報検索タスクの非商業的評価に利用できます。共通: 大規模言語モデル(LLM)・コーパス・データセット