JMedBench 是一個日本醫學領域 LLM 基準,包含 20 個資料集,涵蓋五個任務(MCQA、NER、STS 等),資料來源於 MedMCQA、PubMedQA、MMLU 及其他,每個資料集都有自己的授權,並附有註記指出翻譯可能存在偏差,需人工審核。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
1,000
Hugging Face 按讚數
8
收錄日
2024年9月4日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 11,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 879 |
| 2026年3月 | 975 |
| 2026年4月 | 2,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 402 |
| 2026年8月 | 2,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 1,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- llm-jp-evalllm-book666資料集卡為「Introduction to Large‑Scale LLM II」一書中使用的 ja‑vicuna‑qa‑benchmark,並由 llm‑jp‑eval 為跨資料集的日語 LLM 評估所創建(Apache 2.0)。
- JDocQA-Reasoningricoh-ai269由理光為GENIAC計畫發佈的日本基準,JDocQA Reasoning Bench,評估LMM在 1,286 個關於複雜圖表、表格與圖解的推論問題上,並使用自動化 LLM-as‑Judge 評分。
- ChouBunSakanaAI103ChouBun 是一個日語長文本基準,針對 LLM 設計,包含兩種任務類型——抽取式 QA(wiki_qa、edinet_qa)和摘要式 summarization(corp_sec_qa、corp_sec_sum),其資料來源為 Wikipedia 文章、EDINET 安全報告與公司文件,採用標準化的 THUDM/LongBench 格式,支援最高 32768 個 token 的上下文。
- JGLUEshunk0313k更新了 JGLUE 數據集卡和載入腳本,適用於由 Yahoo Japan 和 Waseda University 創建的日本 NLP 基準,涵蓋文本分類(MARC‑ja、JCoLA)、句子對分類(JNLI)和 QA(JSQuAD、JCommonsenseQA),發布版本已在 GitHub 和 Hugging Face 上連結。
- JamC-QAsbintuitions2kJamC‑QA 是一個涵蓋八個日本文化與知識類別的雙語多選題基準測試,並以排行榜指標對比最先進模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一個基於圖像的日語多模態基準,透過現實模型生成視覺問題並經由人工驗證而創建,顯示目前開源 LMM 在此任務表現不佳,同時提供一種成本效益高的方法供未來 VQA 基準發展使用。
研究領域相近的資源
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集GitHub共同: 語言模型・語意文本處理- japanese-gpt-neox-smallrinna656k一個 12 層、768 隱藏層的日本 GPT‑NeoX 模型,訓練於 CC‑100、C4 和 Wikipedia,兼容 Huggingface,並可選擇使用一個玩具前綴調優權重,使每句結尾強制出現笑臉表情符號。HF 模型共同: 語言模型・語意文本處理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m — 來自日本情報學研究院 LLM 研發中心的 150M 參數日語語言模型,已以 Hugging Face Transformers 格式發佈,需安裝 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,並以日語維基百科、Common Crawl、WARP/PDF、WARP/HTML 以及 Kaken 數據,使用 unigram byte‑fallback tokenizer 進行預訓練。HF 模型共同: 語言模型・語意文本處理
- deberta-v3-base-japaneseku-nlp13k日文 DeBERTa V3 基礎版本,預訓練於 LLM‑jp v1.0 的 540 B 個 token,使用已調整的 DeBERTa V3 設定,採用 unigram byte‑fallback tokenizer(無形態學分析器),並進行 fine‑tuned 於 JGLUE NLU 任務。HF 模型共同: 語言模型・語意文本處理
jp-stabletree155JP 語言模型評估工具GitHub共同: 語言模型・語意文本處理- llm-jp-3-1.8bllm-jp3k一套日本大型語言模型(1.8 b 至 172 b beta1,含 instruct 變體)來自 NII 研究發展中心,以 Hugging Face Transformers 格式打包,並在混合的日文、英文以及網路語料上預訓練,總 token 數量超過 1 trillion,需至少 torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29、flash‑attn ≥ 2.5。HF 模型共同: 語言模型・語意文本處理