
テストセットを自動ダウンロードし、研究機関間の比較を容易にするバージョン文字列を出力する、標準的な BLEU 実装。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
1,300
±0 (10月13日〜)
最終コミット
2026年8月
GitHub での作成日
2017年9月29日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 1,300 |
| 2026年10月 | 1,300 |
| 2026年11月 | 1,300 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: sacrebleu · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
43,484,450
日本からの割合(直近1年)
2.8%
依存している PyPI パッケージ
240
うち必須の依存 158
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | 4,879 |
| 2019年2月 | 7,392 |
| 2019年3月 | 11,030 |
| 2019年4月 | 25,393 |
| 2019年5月 | 24,992 |
| 2019年6月 | 35,404 |
| 2019年7月 | 36,346 |
| 2019年8月 | 105,042 |
| 2019年9月 | 122,140 |
| 2019年10月 | 215,177 |
| 2019年11月 | 260,454 |
| 2019年12月 | 125,863 |
| 2020年1月 | 45,041 |
| 2020年2月 | 60,030 |
| 2020年3月 | 88,280 |
| 2020年4月 | 114,666 |
| 2020年5月 | 217,020 |
| 2020年6月 | 142,504 |
| 2020年7月 | 108,032 |
| 2020年8月 | 128,473 |
| 2020年9月 | 102,378 |
| 2020年10月 | 113,432 |
| 2020年11月 | 96,536 |
| 2020年12月 | 95,956 |
| 2021年1月 | 121,950 |
| 2021年2月 | 142,795 |
| 2021年3月 | 228,622 |
| 2021年4月 | 220,162 |
| 2021年5月 | 178,132 |
| 2021年6月 | 243,650 |
| 2021年7月 | 251,344 |
| 2021年8月 | 506,514 |
| 2021年9月 | 495,828 |
| 2021年10月 | 419,633 |
| 2021年11月 | 429,756 |
| 2021年12月 | 357,288 |
| 2022年1月 | 353,804 |
| 2022年2月 | 442,552 |
| 2022年3月 | 653,368 |
| 2022年4月 | 482,648 |
| 2022年5月 | 530,191 |
| 2022年6月 | 474,968 |
| 2022年7月 | 495,337 |
| 2022年8月 | 525,372 |
| 2022年9月 | 654,429 |
| 2022年10月 | 719,407 |
| 2022年11月 | 857,667 |
| 2022年12月 | 737,228 |
| 2023年1月 | 614,593 |
| 2023年2月 | 606,872 |
| 2023年3月 | 699,346 |
| 2023年4月 | 1,013,280 |
| 2023年5月 | 1,330,406 |
| 2023年6月 | 1,054,478 |
| 2023年7月 | 964,647 |
| 2023年8月 | 1,161,115 |
| 2023年9月 | 1,244,397 |
| 2023年10月 | 1,234,445 |
| 2023年11月 | 1,450,435 |
| 2023年12月 | 1,593,461 |
| 2024年1月 | 1,825,677 |
| 2024年2月 | 1,625,269 |
| 2024年3月 | 1,984,624 |
| 2024年4月 | 2,100,834 |
| 2024年5月 | 2,033,479 |
| 2024年6月 | 1,892,560 |
| 2024年7月 | 2,088,576 |
| 2024年8月 | 2,396,982 |
| 2024年9月 | 2,947,491 |
| 2024年10月 | 2,406,245 |
| 2024年11月 | 2,541,039 |
| 2024年12月 | 1,468,734 |
| 2025年1月 | 1,691,197 |
| 2025年2月 | 2,190,603 |
| 2025年3月 | 2,243,665 |
| 2025年4月 | 1,977,257 |
| 2025年5月 | 2,270,085 |
| 2025年6月 | 2,456,982 |
| 2025年7月 | 2,456,027 |
| 2025年8月 | 2,895,464 |
| 2025年9月 | 2,734,235 |
| 2025年10月 | 2,802,286 |
| 2025年11月 | 2,723,891 |
| 2025年12月 | 2,697,152 |
| 2026年1月 | 3,452,010 |
| 2026年2月 | 3,146,658 |
| 2026年3月 | 3,666,095 |
| 2026年4月 | 3,997,373 |
| 2026年5月 | 4,134,124 |
| 2026年6月 | 4,076,739 |
| 2026年7月 | 4,139,155 |
| 2026年8月 | 4,109,265 |
| 2026年9月 | 3,234,300 |
| 2026年10月 | 4,107,688 |
同じカテゴリで人気のリソース
lm-evaluation-harnessEleutherAI14k言語モデルのfew-shot評価のためのフレームワーク。
mtebembeddings-benchmark3.4kMTEB:言語とモダリティを横断した、埋め込みの最先端評価。
xtremegoogle-research650XTREME は、事前学習済み多言語モデルの言語横断的な汎化能力を評価するためのベンチマークで、類型的に多様な40言語をカバーし、9つのタスクを含む。
pawsgoogle-research-datasets572このデータセットには、10万8,463件の人手ラベル付きペアと65万6,000件のノイズを含むラベル付きペアが含まれており、言い換え識別の課題において構造・文脈・語順情報をモデル化することの重要性を示している。
massivealexa572MASSIVE データセット向けのツールとモデリングコード。
belebelefacebookresearch339大規模多言語読解データセット Belebele のリポジトリ。
研究分野が近いリソース
- ELYZA-tasks-100elyza2k注釈付きタスク(要約訂正、数学推論、翻訳、創造的生成、ユーザー意図理解など)を網羅した100サンプルの日本語インストラクション・チューニング評価データセット。微調整モデルを手動または自動で5点評価できるよう設計されている。HF データセット共通: コーパス・データセット・評価・ベンチマーク
- JMMLUnlp-waseda1kJMMLUは、56科目に跨る7,536問の教師作成質問を収録した、日本語のマルチタスク言語理解ベンチマークです。含まれる科目は、専門医学・心理学・会計学・哲学、及び多様な高校科目です。HF データセット共通: コーパス・データセット・評価・ベンチマーク
url-nlp (MGSM)google-research279MGSM は、論文「Language models are multilingual chain-of-thought reasoners」で提案された、小学校レベルの算数問題からなるベンチマーク。共通: コーパス・データセット・評価・ベンチマーク
xl-sumcsebuetnlp279このリポジトリには、ACL-IJCNLP 2021 の Findings of the Association for Computational Linguistics に掲載された論文「XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages」のコード・データ・モデルが含まれる。共通: コーパス・データセット・評価・ベンチマーク- qg_jaquadlmqg494Japanese JaQuAD、QG‑Bench のサブセットは、文レベルおよび段落レベルのデータを提供し、ハイライトされた回答トークンを用いて日本語の質問生成モデルの学習に利用でき、BLEU4、METEOR、ROUGE‑L、BERTScore、MoverScore で評価されます。HF データセット共通: コーパス・データセット・評価・ベンチマーク
pfgen-benchpfnet-research110希望世代の基準GitHub共通: コーパス・データセット・評価・ベンチマーク