一份日本语版的 InjecAgent 基准(v0.1.1),在保留原始英文工具模式和攻击指令的同时,加入了翻译后的代理思考、用户指导以及增强的黑客前缀,用于在 MIT 许可证下衡量 LLM 的鲁棒性。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
212
Hugging Face 点赞数
2
收录日
2026年10月20日
同分类的热门资源
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- vntl-leaderboardlmg-anon857一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
- jhumanevalkogi-jwu731JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一个日本金融基准,用来评估 LLMs 在诸如会计欺诈检测、盈利预测和行业预测等任务,使用十年的 EDINET‑API 披露报告,提供构建和评估代码,并将数据集重新许可为 PDL 1.0。
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。
研究领域相近的资源
jmed-llmsociocom59JMED-LLM:用于大型语言模型的日本医学评估数据集GitHub共同: 大语言模型・语料库与数据集
japanese-llm-benchmarkshi3z53用于评估各种LLM的日语语言能力的基准工具。GitHub共同: 大语言模型・语料库与数据集
Japanese-RP-BenchAratako25Japanese-RP-Bench是用于衡量LLM的日语角色扮演能力的基准。GitHub共同: 大语言模型・语料库与数据集
do-not-answer-jakunishou242023年8月,墨尔本大学发布了安全性评估数据集“Do-Not-Answer”,现在已经将其自动翻译成日语,以便用于评估日语LLM,并根据日本文化进行了修正的数据集。GitHub共同: 大语言模型・语料库与数据集
jmle2026-benchnaoto-iwase112026年2月7日至8日第120届日本医师执照考试上的LLM基准GitHub共同: 大语言模型・语料库与数据集- JaCWIRhotchpotch167JaCWIR 是一个日语休闲 Web IR 数据集,包含 5,000 条 ChatGPT 生成的查询,关联了来自 Hatena Bookmark 的 500k 个网页标题和描述,在 HuggingFace 上发布,用于非商业评估信息检索任务,使用 MAP@10 或完整规模 BM25 排名。共同: 大语言模型・语料库与数据集