一份 InjecAgent 基準(v0.1.1)的日文翻譯,保留原始英文工具架構與攻擊指令,同時加入已翻譯的代理思考、使用者引導,以及增強的駭客前綴,以在 MIT 授權下測量 LLM 的韌性。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
212
Hugging Face 按讚數
2
收錄日
2026年10月20日
同分類的熱門資源
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- vntl-leaderboardlmg-anon857一個排行榜,根據大型語言模型在將日文視覺小說翻譯成英文時的語義準確度進行排名,使用 256 個樣本的餘弦相似度並報告 chrF 分數,以便與 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具比較。
- jhumanevalkogi-jwu731JHumanEval 是手工翻譯的日本版 HumanEval benchmark,提供 164 個 Python 程式設計問題,並提供對應的英文與日文註解,旨在評估 Japanese-LLM 程式產生,同時保留原始英文錯誤。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一個日本金融基準,評估 LLM 在會計欺詐檢測、盈餘預測以及產業預測等任務,使用十年的 EDINET‑API 公開報告。提供構建與評估代碼,資料集已重新授權為 PDL 1.0。
- JDocQA-Reasoningricoh-ai269由理光為GENIAC計畫發佈的日本基準,JDocQA Reasoning Bench,評估LMM在 1,286 個關於複雜圖表、表格與圖解的推論問題上,並使用自動化 LLM-as‑Judge 評分。
研究領域相近的資源
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集GitHub共同: 大型語言模型・語料庫與資料集
japanese-llm-benchmarkshi3z53一個評估各種LLM的日語能力的基準工具。GitHub共同: 大型語言模型・語料庫與資料集
Japanese-RP-BenchAratako25Japanese-RP-Bench是用來測量LLM的日語角色扮演能力的基準。GitHub共同: 大型語言模型・語料庫與資料集
do-not-answer-jakunishou242023年8月,墨爾本大學公開了安全性評估數據集『Do-Not-Answer』,該數據集已經被自動翻譯成日語,並且考慮了日本文化進行了修正,以便在日語LLM評估中使用。GitHub共同: 大型語言模型・語料庫與資料集
jmle2026-benchnaoto-iwase112026年2月7日至8日第120屆日本醫學執照考試的LLM基準GitHub共同: 大型語言模型・語料庫與資料集- JaCWIRhotchpotch167JaCWIR 是一個日文休閒式 Web IR 數據集,包含 5,000 條由 ChatGPT 生成的查詢,對應於來自 Hatena Bookmark 的 50 萬網頁標題和描述,已在 HuggingFace 上發布,用於非商業評估資訊檢索任務,可使用 MAP@10 或完整規模 BM25 排名。共同: 大型語言模型・語料庫與資料集