JMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
1,000
Hugging Face 点赞数
8
收录日
2024年9月4日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 11,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 879 |
| 2026年3月 | 975 |
| 2026年4月 | 2,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 402 |
| 2026年8月 | 2,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 1,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- llm-jp-evalllm-book666本数据集说明书用于本书《Introduction to Large‑Scale LLM II》中的 ja‑vicuna‑qa‑benchmark,并由 llm‑jp‑eval 创建,供跨数据集日语 LLM 评估使用(Apache 2.0)。
- JDocQA-Reasoningricoh-ai269由理光为GENIAC项目发布的日语基准测试JDocQA Reasoning Bench,使用自动化LLM-as-Judge评分,对LMM在复杂图表、表格和图解上的1,286道推理题进行评估。
- ChouBunSakanaAI103ChouBun 是一个日语长上下文基准,用于评估大型语言模型(LLMs),包含两种任务类型——提取式问答(wiki_qa、edinet_qa)和抽象式摘要(corp_sec_qa、corp_sec_sum)。它由维基百科文章、EDINET 证券报告以及公司文件构建,采用标准化的 THUDM/LongBench 格式,并支持最高 32768 个 token 的上下文。
- JGLUEshunk0313k更新了 JGLUE 数据集卡与加载脚本,适用于由 Yahoo Japan 与早稻田大学创建的日语 NLP 基准,涵盖文本分类(MARC‑ja、JCoLA)、句对分类(JNLI)以及问答(JSQuAD、JCommonsenseQA),发行链接保存在 GitHub 与 Hugging Face 上。
- JamC-QAsbintuitions2kJamC‑QA 是一个双语基准,涵盖八个日本文化与知识类别的多项选择题,排行榜指标用于比较最先进模型。
- JMMMU-ProJMMMU1kJMMMU‑Pro 是一个基于图像的日语多模态基准,通过使用真实模型生成视觉问题并进行人工验证创建,揭示当前开源 LMM 在其上的表现不佳,并提供了一种成本效益高的未来 VQA 基准开发方法。
研究领域相近的资源
jmed-llmsociocom59JMED-LLM:用于大型语言模型的日本医学评估数据集GitHub共同: 语言模型・语义文本处理- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。HF 模型共同: 语言模型・语义文本处理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。HF 模型共同: 语言模型・语义文本处理
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base 在 LLM‑jp v1.0 的 540 B tokens 上预训练,使用经过修改的 DeBERTa V3 设置训练,采用 unigram byte‑fallback tokenizer(不使用形态学分析器),并针对 JGLUE NLU 任务进行微调。HF 模型共同: 语言模型・语义文本处理
jp-stabletree155JP语言模型评估工具GitHub共同: 语言模型・语义文本处理- llm-jp-3-1.8bllm-jp3k来自 NII 研发中心的日本大型语言模型集合(1.8 b 至 172 b beta1,含 instruct 版本),以 Hugging Face Transformers 格式打包,并在混合日语、英语与网络语料库(总计>1万亿个标记)上预训练。需要 torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29 以及 flash‑attn ≥ 2.5。HF 模型共同: 语言模型・语义文本处理