一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
857
Hugging Face 点赞数
44
收录日
2024年10月29日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 3,000 |
| 2026年1月 | 156 |
| 2026年2月 | 196 |
| 2026年3月 | — |
| 2026年4月 | 209 |
| 2026年5月 | 624 |
| 2026年6月 | — |
| 2026年7月 | 101 |
| 2026年8月 | 237 |
| 2026年9月 | 397 |
| 2026年10月 | 2,000 |
| 2026年11月 | 857 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMMMUJMMMU3kJMMMU 是一个日语多模态基准,已扩大十倍至 1,320 个具有文化多样性的问题(720 个与文化无关,600 个与文化相关),由母语专家翻译,现在设有公开排行榜。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- JAMMEvalllm-jp830JAMMEval 是七个日本 VQA 数据集的精炼基准,经过两轮人工注释以消除歧义和非视觉问题,能够为多模态日本任务提供对视觉‑语言模型的可靠评估。
- jhumanevalkogi-jwu731JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
研究领域相近的资源
- EDINET-BenchSakanaAI662EDINET‑Bench 是一个日本金融基准,用来评估 LLMs 在诸如会计欺诈检测、盈利预测和行业预测等任务,使用十年的 EDINET‑API 披露报告,提供构建和评估代码,并将数据集重新许可为 PDL 1.0。共同: 大语言模型・语料库与数据集
jmed-llmsociocom59JMED-LLM:用于大型语言模型的日本医学评估数据集GitHub共同: 大语言模型・语料库与数据集
japanese-llm-benchmarkshi3z53用于评估各种LLM的日语语言能力的基准工具。GitHub共同: 大语言模型・语料库与数据集- KokushiMD-10humanalysis-square327KokushiMD-10 是一个多语言基准,面向十种日本医疗专业,提供文本和图像的单选、多选、计算以及填空题,并附有思路链解释,可分为独立的日语、英语或混合拆分。共同: 语料库与数据集・评测与基准
- Japanese-Heron-Benchturing-motors316Japanese‑Heron‑Bench 是一个日语 VLM 基准测试,由七个子类别的21张图片组成,每张图片配有三类问题(Conversation、Detail、Complex),共计102个查询,全部采用 CC BY 许可证。共同: 语料库与数据集・评测与基准
cameraCyberAgentAILab26CAMERA(CyberAgent多模态广告文本生成评估)是日本广告文本生成数据集。GitHub共同: 语料库与数据集・评测与基准