
这个工具会自动评估日本多模态大型语言模型在多个数据集上的表现。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
44
±0 (10月13日〜)
软件包每周下载数
81
软件包累计下载数
20,000
最后提交
2026年4月
GitHub 创建日期
2024年7月9日
收录日
2025年3月25日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 40 |
| 2026年1月 | 40 |
| 2026年2月 | 41 |
| 2026年3月 | 41 |
| 2026年4月 | 41 |
| 2026年5月 | 41 |
| 2026年6月 | 42 |
| 2026年7月 | 43 |
| 2026年8月 | 43 |
| 2026年9月 | 44 |
| 2026年10月 | 44 |
| 2026年11月 | 44 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
在 PyPI 上的使用
PyPI 包:eval-mm · 截至 2026年10月 的月度数值(ClickPy)
近一年下载量
5,989
来自日本的比例(近一年)
2.2%
依赖它的 PyPI 包
0
其中必需依赖 0
PyPI 月度下载量
以表格显示
| 月份 | 下载量(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 402 |
| 2024年10月 | 610 |
| 2024年11月 | 1,760 |
| 2024年12月 | 2,059 |
| 2025年1月 | 1,061 |
| 2025年2月 | 752 |
| 2025年3月 | 2,006 |
| 2025年4月 | 1,452 |
| 2025年5月 | 790 |
| 2025年6月 | 613 |
| 2025年7月 | 871 |
| 2025年8月 | 440 |
| 2025年9月 | 631 |
| 2025年10月 | 395 |
| 2025年11月 | 456 |
| 2025年12月 | 568 |
| 2026年1月 | 647 |
| 2026年2月 | 395 |
| 2026年3月 | 475 |
| 2026年4月 | 507 |
| 2026年5月 | 564 |
| 2026年6月 | 505 |
| 2026年7月 | 518 |
| 2026年8月 | 551 |
| 2026年9月 | 299 |
| 2026年10月 | 504 |
同分类的热门资源
llm-leaderboardwandb95日本任务的llm评估项目
japanese-llm-rankingyuzu-ai50该存储库支持YuzuAI的Rakuda排行榜,该排行榜是日本LLMs的日本重点模拟版本,类似于LMSYS的Vicuna评估。
japanese-llm-roleplay-benchmarkoshizo42这个存储库是为了评估日本语LLM角色扮演的性能而创建的。
gpt4-autoevalnorthern-system-service17使用GPT-4来自动评估语言模型的响应的脚本
IgakuQA119naoto-iwase10评估第119届日本医师执照考试上的LLMs
jp-tl-benchshisa-ai6双向日英翻译的锚定成对LLM评估
研究领域相近的资源
jmed-llmsociocom59JMED-LLM:用于大型语言模型的日本医学评估数据集共同: 语言模型・语义文本处理- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。HF 模型共同: 语言模型・语义文本处理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。HF 模型共同: 语言模型・语义文本处理
IgakuQAjungokasai52评估GPT-4和ChatGPT在日本医学执照考试中的表现共同: 语言模型・语义文本处理- llm-jp-3-1.8bllm-jp3k来自 NII 研发中心的日本大型语言模型集合(1.8 b 至 172 b beta1,含 instruct 版本),以 Hugging Face Transformers 格式打包,并在混合日语、英语与网络语料库(总计>1万亿个标记)上预训练。需要 torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29 以及 flash‑attn ≥ 2.5。HF 模型共同: 语言模型・语义文本处理
- japanese-gpt-1brinna2k一款 1.3‑B‑parameter、24‑layer transformer GPT‑1B,使用 Japanese C4、CC‑100 和 Wikipedia 进行训练,于 2022 年 1 月 26 日由 rinna Co. 发布,并在 MIT license 下公开。HF 模型共同: 语言模型・语义文本处理