
用于语言模型少样本评测的框架。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
14,000
±0 (10月13日〜)
最后提交
2026年9月
GitHub 创建日期
2020年8月28日
收录日
—
自页面创建时收录
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 14,000 |
| 2026年10月 | 14,000 |
| 2026年11月 | 14,000 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
在 PyPI 上的使用
PyPI 包:lm-eval · 截至 2026年10月 的月度数值(ClickPy)
近一年下载量
14,697,225
来自日本的比例(近一年)
0.5%
依赖它的 PyPI 包
107
其中必需依赖 32
PyPI 月度下载量
以表格显示
| 月份 | 下载量(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | 414 |
| 2021年10月 | 164 |
| 2021年11月 | 191 |
| 2021年12月 | 148 |
| 2022年1月 | 180 |
| 2022年2月 | 230 |
| 2022年3月 | 836 |
| 2022年4月 | 858 |
| 2022年5月 | 754 |
| 2022年6月 | 1,937 |
| 2022年7月 | 1,665 |
| 2022年8月 | 2,182 |
| 2022年9月 | 1,740 |
| 2022年10月 | 1,480 |
| 2022年11月 | 1,767 |
| 2022年12月 | 2,223 |
| 2023年1月 | 2,104 |
| 2023年2月 | 2,344 |
| 2023年3月 | 5,648 |
| 2023年4月 | 9,387 |
| 2023年5月 | 23,830 |
| 2023年6月 | 51,009 |
| 2023年7月 | 23,237 |
| 2023年8月 | 20,170 |
| 2023年9月 | 26,593 |
| 2023年10月 | 95,959 |
| 2023年11月 | 124,910 |
| 2023年12月 | 154,547 |
| 2024年1月 | 179,053 |
| 2024年2月 | 176,653 |
| 2024年3月 | 204,908 |
| 2024年4月 | 276,469 |
| 2024年5月 | 221,429 |
| 2024年6月 | 188,895 |
| 2024年7月 | 241,841 |
| 2024年8月 | 244,215 |
| 2024年9月 | 292,226 |
| 2024年10月 | 307,713 |
| 2024年11月 | 208,222 |
| 2024年12月 | 217,916 |
| 2025年1月 | 303,413 |
| 2025年2月 | 290,015 |
| 2025年3月 | 489,848 |
| 2025年4月 | 485,166 |
| 2025年5月 | 527,341 |
| 2025年6月 | 564,942 |
| 2025年7月 | 640,563 |
| 2025年8月 | 733,267 |
| 2025年9月 | 719,530 |
| 2025年10月 | 701,817 |
| 2025年11月 | 579,400 |
| 2025年12月 | 540,308 |
| 2026年1月 | 769,633 |
| 2026年2月 | 1,272,019 |
| 2026年3月 | 1,256,972 |
| 2026年4月 | 1,346,427 |
| 2026年5月 | 1,545,164 |
| 2026年6月 | 1,714,737 |
| 2026年7月 | 1,572,996 |
| 2026年8月 | 1,711,811 |
| 2026年9月 | 1,059,674 |
| 2026年10月 | 1,328,084 |
同分类的热门资源
mtebembeddings-benchmark3.4kMTEB:跨语言与跨模态的最先进嵌入评测。
sacrebleumjpost1.3k自动下载测试集并输出版本字符串以便于跨实验室比较的参考 BLEU 实现。
xtremegoogle-research650XTREME 是一个用于评测预训练多语言模型跨语言泛化能力的基准,涵盖40种类型多样的语言,包含九项任务。
pawsgoogle-research-datasets572该数据集包含108,463个人工标注对和656k个含噪声标注对,用以体现在释义识别问题中,对结构、上下文与词序信息进行建模的重要性。
massivealexa572面向 MASSIVE 数据集的工具与建模代码。
belebelefacebookresearch339大规模多语言阅读理解数据集 Belebele 的仓库。
研究领域相近的资源
- ELYZA-tasks-100elyza2k一个包含100个样本的日语指令微调评估数据集,包含已注释的任务——从摘要校正、数学推理到翻译、创意生成和用户意图理解——旨在对微调模型进行手动或自动的5分制评分。HF 数据集共同: 语料库与数据集・评测与基准
- JMMLUnlp-waseda1kJMMLU 是一个日语大型多任务语言理解基准(Benchmark),包括 7,536 道教师精心制作的问题,覆盖 56 个学科,包括专业医学、心理学、会计、哲学以及各种高中学科。HF 数据集共同: 语料库与数据集・评测与基准
url-nlp (MGSM)google-research279MGSM 是论文《Language models are multilingual chain-of-thought reasoners》中提出的小学数学题基准。共同: 语料库与数据集・评测与基准
xl-sumcsebuetnlp279本仓库包含发表于 Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 的论文《XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages》的代码、数据与模型。共同: 语料库与数据集・评测与基准- qg_jaquadlmqg494Japanese JaQuAD,QG‑Bench 的一个子集,提供句子级和段落级的数据,包含高亮的答案词元,用于训练日语问句生成模型,并通过 BLEU4、METEOR、ROUGE‑L、BERTScore 和 MoverScore 进行评估。HF 数据集共同: 语料库与数据集・评测与基准
pfgen-benchpfnet-research110首选的一代基准GitHub共同: 语料库与数据集・评测与基准