
用於語言模型少樣本評測的框架。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
14,000
±0 (10月13日〜)
最後提交
2026年9月
GitHub 建立日期
2020年8月28日
收錄日
—
自頁面建立時收錄
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 14,000 |
| 2026年10月 | 14,000 |
| 2026年11月 | 14,000 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
在 PyPI 上的使用
PyPI 套件:lm-eval · 至 2026年10月 的每月數值(ClickPy)
近一年下載數
14,697,225
來自日本的比例(近一年)
0.5%
依賴它的 PyPI 套件
107
其中必要依賴 32
PyPI 每月下載數
以表格顯示
| 月份 | 下載數(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | 414 |
| 2021年10月 | 164 |
| 2021年11月 | 191 |
| 2021年12月 | 148 |
| 2022年1月 | 180 |
| 2022年2月 | 230 |
| 2022年3月 | 836 |
| 2022年4月 | 858 |
| 2022年5月 | 754 |
| 2022年6月 | 1,937 |
| 2022年7月 | 1,665 |
| 2022年8月 | 2,182 |
| 2022年9月 | 1,740 |
| 2022年10月 | 1,480 |
| 2022年11月 | 1,767 |
| 2022年12月 | 2,223 |
| 2023年1月 | 2,104 |
| 2023年2月 | 2,344 |
| 2023年3月 | 5,648 |
| 2023年4月 | 9,387 |
| 2023年5月 | 23,830 |
| 2023年6月 | 51,009 |
| 2023年7月 | 23,237 |
| 2023年8月 | 20,170 |
| 2023年9月 | 26,593 |
| 2023年10月 | 95,959 |
| 2023年11月 | 124,910 |
| 2023年12月 | 154,547 |
| 2024年1月 | 179,053 |
| 2024年2月 | 176,653 |
| 2024年3月 | 204,908 |
| 2024年4月 | 276,469 |
| 2024年5月 | 221,429 |
| 2024年6月 | 188,895 |
| 2024年7月 | 241,841 |
| 2024年8月 | 244,215 |
| 2024年9月 | 292,226 |
| 2024年10月 | 307,713 |
| 2024年11月 | 208,222 |
| 2024年12月 | 217,916 |
| 2025年1月 | 303,413 |
| 2025年2月 | 290,015 |
| 2025年3月 | 489,848 |
| 2025年4月 | 485,166 |
| 2025年5月 | 527,341 |
| 2025年6月 | 564,942 |
| 2025年7月 | 640,563 |
| 2025年8月 | 733,267 |
| 2025年9月 | 719,530 |
| 2025年10月 | 701,817 |
| 2025年11月 | 579,400 |
| 2025年12月 | 540,308 |
| 2026年1月 | 769,633 |
| 2026年2月 | 1,272,019 |
| 2026年3月 | 1,256,972 |
| 2026年4月 | 1,346,427 |
| 2026年5月 | 1,545,164 |
| 2026年6月 | 1,714,737 |
| 2026年7月 | 1,572,996 |
| 2026年8月 | 1,711,811 |
| 2026年9月 | 1,059,674 |
| 2026年10月 | 1,328,084 |
同分類的熱門資源
mtebembeddings-benchmark3.4kMTEB:跨語言與跨模態的最先進嵌入評測。
sacrebleumjpost1.3k自動下載測試集並輸出版本字串以便於跨實驗室比較的參考 BLEU 實作。
xtremegoogle-research650XTREME 是一個用於評測預訓練多語言模型跨語言泛化能力的基準,涵蓋40種類型多樣的語言,包含九項任務。
pawsgoogle-research-datasets572該資料集包含108,463個人工標註對和656k個含雜訊標註對,用以體現在釋義識別問題中,對結構、上下文與詞序資訊進行建模的重要性。
massivealexa572面向 MASSIVE 資料集的工具與建模程式碼。
belebelefacebookresearch339大規模多語言閱讀理解資料集 Belebele 的儲存庫。
研究領域相近的資源
- ELYZA-tasks-100elyza2k一個包含 100 筆樣本的日本語 instruction‑tuning 評估資料集,內含標註任務——從摘要校正、數學推理到翻譯、創意生成及使用者意圖理解——設計用於手動或自動 5‑point rating 的 fine‑tuned models 評估。HF 資料集共同: 語料庫與資料集・評測與基準
- JMMLUnlp-waseda1kJMMLU 是一個日本大型多任務語言理解基準,包含 7,536 個由教師精心編寫的問題,涵蓋 56 個科目,包含專業醫學、心理學、會計、哲學,以及多種高中學科。HF 資料集共同: 語料庫與資料集・評測與基準
url-nlp (MGSM)google-research279MGSM 是論文《Language models are multilingual chain-of-thought reasoners》中提出的小學數學題基準。共同: 語料庫與資料集・評測與基準
xl-sumcsebuetnlp279本儲存庫包含發表於 Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 的論文《XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages》的程式碼、資料與模型。共同: 語料庫與資料集・評測與基準- qg_jaquadlmqg494Japanese JaQuAD(QG‑Bench 的子集)提供句子級和段落級資料,並以高亮顯示答案 token,用於訓練日語提問生成模型,評估指標包括 BLEU4、METEOR、ROUGE‑L、BERTScore 與 MoverScore。HF 資料集共同: 語料庫與資料集・評測與基準
pfgen-benchpfnet-research110首選世代基準GitHub共同: 語料庫與資料集・評測與基準