一個排行榜,根據大型語言模型在將日文視覺小說翻譯成英文時的語義準確度進行排名,使用 256 個樣本的餘弦相似度並報告 chrF 分數,以便與 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具比較。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
857
Hugging Face 按讚數
44
收錄日
2024年10月29日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 3,000 |
| 2026年1月 | 156 |
| 2026年2月 | 196 |
| 2026年3月 | — |
| 2026年4月 | 209 |
| 2026年5月 | 624 |
| 2026年6月 | — |
| 2026年7月 | 101 |
| 2026年8月 | 237 |
| 2026年9月 | 397 |
| 2026年10月 | 2,000 |
| 2026年11月 | 857 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JMMMUJMMMU3kJMMMU 是一個日語多模態基準,已擴充十倍至 1,320 個文化多樣化問題 (720 個文化中立,600 個文化特定),由母語專家翻譯,現在擁有公開排行榜。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一個基於圖像的日語多模態基準,透過現實模型生成視覺問題並經由人工驗證而創建,顯示目前開源 LMM 在此任務表現不佳,同時提供一種成本效益高的方法供未來 VQA 基準發展使用。
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- JAMMEvalllm-jp830JAMMEval 是七個日本 VQA 數據集的蒸餾基準,經過兩輪人工註釋以消除歧義和非視覺問題,提供對多模態日本任務的視覺‑語言模型可靠評估。
- jhumanevalkogi-jwu731JHumanEval 是手工翻譯的日本版 HumanEval benchmark,提供 164 個 Python 程式設計問題,並提供對應的英文與日文註解,旨在評估 Japanese-LLM 程式產生,同時保留原始英文錯誤。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
研究領域相近的資源
- EDINET-BenchSakanaAI662EDINET‑Bench 是一個日本金融基準,評估 LLM 在會計欺詐檢測、盈餘預測以及產業預測等任務,使用十年的 EDINET‑API 公開報告。提供構建與評估代碼,資料集已重新授權為 PDL 1.0。共同: 大型語言模型・語料庫與資料集
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集GitHub共同: 大型語言模型・語料庫與資料集
japanese-llm-benchmarkshi3z53一個評估各種LLM的日語能力的基準工具。GitHub共同: 大型語言模型・語料庫與資料集- KokushiMD-10humanalysis-square327KokushiMD‑10 是一個多語言基準,涵蓋十種日本醫療保健職業,提供純文字與圖像的單選、多選、計算以及填空題,並附有思考鏈解釋,可分別以日文、英文或混合拆分方式使用。共同: 語料庫與資料集・評測與基準
- Japanese-Heron-Benchturing-motors316Japanese‑Heron‑Bench 是一個日本 VLM 基準測試,包含七個子分類的 21 張圖像,每張圖像配有三類問題(對話、細節、複雜),共計 102 個查詢,並採用 CC BY 授權。共同: 語料庫與資料集・評測與基準
cameraCyberAgentAILab26CAMERA(CyberAgent多模態評估廣告文本生成)是日本的廣告文本生成數據集。GitHub共同: 語料庫與資料集・評測與基準