
這個工具會自動評估日本多模式大型語言模型在多個數據集上的表現。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
44
±0 (10月13日〜)
套件每週下載數
81
套件累計下載數
20,000
最後提交
2026年4月
GitHub 建立日期
2024年7月9日
收錄日
2025年3月25日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 40 |
| 2026年1月 | 40 |
| 2026年2月 | 41 |
| 2026年3月 | 41 |
| 2026年4月 | 41 |
| 2026年5月 | 41 |
| 2026年6月 | 42 |
| 2026年7月 | 43 |
| 2026年8月 | 43 |
| 2026年9月 | 44 |
| 2026年10月 | 44 |
| 2026年11月 | 44 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
在 PyPI 上的使用
PyPI 套件:eval-mm · 至 2026年10月 的每月數值(ClickPy)
近一年下載數
5,989
來自日本的比例(近一年)
2.2%
依賴它的 PyPI 套件
0
其中必要依賴 0
PyPI 每月下載數
以表格顯示
| 月份 | 下載數(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 402 |
| 2024年10月 | 610 |
| 2024年11月 | 1,760 |
| 2024年12月 | 2,059 |
| 2025年1月 | 1,061 |
| 2025年2月 | 752 |
| 2025年3月 | 2,006 |
| 2025年4月 | 1,452 |
| 2025年5月 | 790 |
| 2025年6月 | 613 |
| 2025年7月 | 871 |
| 2025年8月 | 440 |
| 2025年9月 | 631 |
| 2025年10月 | 395 |
| 2025年11月 | 456 |
| 2025年12月 | 568 |
| 2026年1月 | 647 |
| 2026年2月 | 395 |
| 2026年3月 | 475 |
| 2026年4月 | 507 |
| 2026年5月 | 564 |
| 2026年6月 | 505 |
| 2026年7月 | 518 |
| 2026年8月 | 551 |
| 2026年9月 | 299 |
| 2026年10月 | 504 |
同分類的熱門資源
llm-leaderboardwandb95日本任務的llm評估項目
japanese-llm-rankingyuzu-ai50這個儲存庫支援YuzuAI的Rakuda排行榜,該排行榜是日本語言模型的日本專用版本,類似於LMSYS的Vicuna評估。
japanese-llm-roleplay-benchmarkoshizo42這個存儲庫是為了評估日本語LLM的角色扮演性能而創建的。
gpt4-autoevalnorthern-system-service17使用GPT-4來自動評估語言模型的回應腳本
IgakuQA119naoto-iwase10評估第119屆日本醫學執照考試上的LLMs
jp-tl-benchshisa-ai6錨定的成對LLM評估用於雙向日英翻譯
研究領域相近的資源
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集共同: 語言模型・語意文本處理- japanese-gpt-neox-smallrinna656k一個 12 層、768 隱藏層的日本 GPT‑NeoX 模型,訓練於 CC‑100、C4 和 Wikipedia,兼容 Huggingface,並可選擇使用一個玩具前綴調優權重,使每句結尾強制出現笑臉表情符號。HF 模型共同: 語言模型・語意文本處理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m — 來自日本情報學研究院 LLM 研發中心的 150M 參數日語語言模型,已以 Hugging Face Transformers 格式發佈,需安裝 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,並以日語維基百科、Common Crawl、WARP/PDF、WARP/HTML 以及 Kaken 數據,使用 unigram byte‑fallback tokenizer 進行預訓練。HF 模型共同: 語言模型・語意文本處理
IgakuQAjungokasai52評估GPT-4和ChatGPT在日本醫學執照考試上的表現共同: 語言模型・語意文本處理- llm-jp-3-1.8bllm-jp3k一套日本大型語言模型(1.8 b 至 172 b beta1,含 instruct 變體)來自 NII 研究發展中心,以 Hugging Face Transformers 格式打包,並在混合的日文、英文以及網路語料上預訓練,總 token 數量超過 1 trillion,需至少 torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29、flash‑attn ≥ 2.5。HF 模型共同: 語言模型・語意文本處理
- japanese-gpt-1brinna2k一個 1.3‑B‑parameter、24‑layer transformer GPT‑1B,在 Japanese C4、CC‑100 以及 Wikipedia 上訓練,於 2022 年 1 月 26 日由 rinna Co. 發布,並以 MIT license 供使用。HF 模型共同: 語言模型・語意文本處理