Japanese‑Mail‑Bench 是一個 500 項的日本商務郵件生成基準,透過參考答案在 1–5 的自然度與適切度尺度評估 LLMs,資料以 JSONL 格式提供,其中包含情境屬性,例如寄件人/收件人關係、目的、語用行為以及互動類型。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
149
Hugging Face 按讚數
3
收錄日
2026年9月22日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 165 |
| 2026年10月 | 121 |
| 2026年11月 | 149 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- emilia-yodasTTS-AGI18k來自 Fate/Stay Night 角色「Emilia」的對話與傳說資料集,格式化用於訓練與評估對話語言模型。
- JMedBenchColdog23331kJMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
- vntl-leaderboardlmg-anon857一個排行榜,根據大型語言模型在將日文視覺小說翻譯成英文時的語義準確度進行排名,使用 256 個樣本的餘弦相似度並報告 chrF 分數,以便與 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具比較。
- jhumanevalkogi-jwu731JHumanEval 是手工翻譯的日本版 HumanEval benchmark,提供 164 個 Python 程式設計問題,並提供對應的英文與日文註解,旨在評估 Japanese-LLM 程式產生,同時保留原始英文錯誤。
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
- EDINET-BenchSakanaAI662EDINET‑Bench 是一個日本金融基準,評估 LLM 在會計欺詐檢測、盈餘預測以及產業預測等任務,使用十年的 EDINET‑API 公開報告。提供構建與評估代碼,資料集已重新授權為 PDL 1.0。
研究領域相近的資源
llm-japanese-datasetmasanorihirano91LLM構築用的日本語聊天資料集GitHub共同: 大型語言模型・語料庫與資料集
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集GitHub共同: 大型語言模型・語料庫與資料集
japanese-llm-benchmarkshi3z53一個評估各種LLM的日語能力的基準工具。GitHub共同: 大型語言模型・語料庫與資料集
Japanese-RP-BenchAratako25Japanese-RP-Bench是用來測量LLM的日語角色扮演能力的基準。GitHub共同: 大型語言模型・語料庫與資料集
do-not-answer-jakunishou242023年8月,墨爾本大學公開了安全性評估數據集『Do-Not-Answer』,該數據集已經被自動翻譯成日語,並且考慮了日本文化進行了修正,以便在日語LLM評估中使用。GitHub共同: 大型語言模型・語料庫與資料集- injecagent-jamasahiroid212一份 InjecAgent 基準(v0.1.1)的日文翻譯,保留原始英文工具架構與攻擊指令,同時加入已翻譯的代理思考、使用者引導,以及增強的駭客前綴,以在 MIT 授權下測量 LLM 的韌性。共同: 大型語言模型・語料庫與資料集