
MTEB:言語とモダリティを横断した、埋め込みの最先端評価。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
3,400
±0 (10月13日〜)
最終コミット
2026年11月
GitHub での作成日
2022年4月5日
掲載日
—
ページ作成時から掲載
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | — |
| 2026年6月 | — |
| 2026年7月 | — |
| 2026年8月 | — |
| 2026年9月 | 3,400 |
| 2026年10月 | 3,400 |
| 2026年11月 | 3,400 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: mteb · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
23,604,322
日本からの割合(直近1年)
0.5%
依存している PyPI パッケージ
28
うち必須の依存 15
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | 46 |
| 2022年7月 | 160 |
| 2022年8月 | 77 |
| 2022年9月 | 61 |
| 2022年10月 | 599 |
| 2022年11月 | 684 |
| 2022年12月 | 453 |
| 2023年1月 | 530 |
| 2023年2月 | 1,064 |
| 2023年3月 | 1,616 |
| 2023年4月 | 1,079 |
| 2023年5月 | 911 |
| 2023年6月 | 1,283 |
| 2023年7月 | 4,463 |
| 2023年8月 | 11,478 |
| 2023年9月 | 2,474 |
| 2023年10月 | 3,589 |
| 2023年11月 | 4,567 |
| 2023年12月 | 14,143 |
| 2024年1月 | 10,903 |
| 2024年2月 | 67,152 |
| 2024年3月 | 124,419 |
| 2024年4月 | 343,353 |
| 2024年5月 | 103,349 |
| 2024年6月 | 80,563 |
| 2024年7月 | 210,807 |
| 2024年8月 | 229,116 |
| 2024年9月 | 86,433 |
| 2024年10月 | 129,791 |
| 2024年11月 | 125,064 |
| 2024年12月 | 98,809 |
| 2025年1月 | 200,789 |
| 2025年2月 | 163,626 |
| 2025年3月 | 218,342 |
| 2025年4月 | 196,072 |
| 2025年5月 | 216,958 |
| 2025年6月 | 157,347 |
| 2025年7月 | 155,513 |
| 2025年8月 | 237,083 |
| 2025年9月 | 336,557 |
| 2025年10月 | 485,100 |
| 2025年11月 | 473,289 |
| 2025年12月 | 1,604,999 |
| 2026年1月 | 1,670,397 |
| 2026年2月 | 2,132,022 |
| 2026年3月 | 1,521,270 |
| 2026年4月 | 3,115,223 |
| 2026年5月 | 2,554,413 |
| 2026年6月 | 3,118,173 |
| 2026年7月 | 3,180,141 |
| 2026年8月 | 2,752,362 |
| 2026年9月 | 699,326 |
| 2026年10月 | 782,707 |
同じカテゴリで人気のリソース
miraclproject-miracl214情報検索のための大規模多言語データセット。18の多様な言語にわたる、徹底した人手アノテーション。
lm-evaluation-harnessEleutherAI14k言語モデルのfew-shot評価のためのフレームワーク。
sacrebleumjpost1.3kテストセットを自動ダウンロードし、研究機関間の比較を容易にするバージョン文字列を出力する、標準的な BLEU 実装。
xtremegoogle-research650XTREME は、事前学習済み多言語モデルの言語横断的な汎化能力を評価するためのベンチマークで、類型的に多様な40言語をカバーし、9つのタスクを含む。
pawsgoogle-research-datasets572このデータセットには、10万8,463件の人手ラベル付きペアと65万6,000件のノイズを含むラベル付きペアが含まれており、言い換え識別の課題において構造・文脈・語順情報をモデル化することの重要性を示している。
massivealexa572MASSIVE データセット向けのツールとモデリングコード。
研究分野が近いリソース
- JMTEBsbintuitions3kJMTEBは日本語テキスト埋め込みベンチマークで、5つのタスク(クラスタリング、分類、STS、検索、リランキング)と28のデータセットを特徴とし、1行で評価できるスクリプトを提供し、コミュニティの貢献を歓迎する。HF データセット共通: 文埋め込み・検索・RAG・コーパス・データセット
- wikipedia-passages-jawiki-embeddingshotchpotch731日本語版Wikipediaの文はさまざまな埋め込みとFAISSインデックスに変換され、Hugging Face Spaceデモ、変換スクリプト、検索・Q&A・OpenAI text‑embedding‑3‑smallを用いたRAGの評価が提供されます。埋め込みはOpenAIライセンス対象で、その他はCC‑BY‑SA‑4.0です。HF データセット共通: 文埋め込み・検索・RAG・コーパス・データセット
- msmarco-ja-hard-negativeshotchpotch408日本語のハードネガティブマイニングとMSMARCO-JAデータセットにおける評価を、正規化・フィルタリング、BAAI/BGEリランカー選択、ランダムサンプリング、SPLADEベースのランキング、およびカイ二乗分析によって詳細に示し、元のmMARCO(ja)より統計的に有意に高い正例率を示しています。HF データセット共通: 文埋め込み・検索・RAG・コーパス・データセット
- RAG-Evaluation-Dataset-JAallganize246日本語のRAGベンチマークを、金融・通信・製造・公共・小売という5つの業界ドメインで提供し、データセットの公開、自動評価フレームワーク、および Claude 3.5‑Sonnet、GPT‑4o などのモデルの比較結果を掲載します。HF データセット共通: 文埋め込み・検索・RAG・コーパス・データセット
jacwirhotchpotch9JaCWIR: Japanese Casual Web IR 日本語情報検索評価のための小規模でカジュアルなWebタイトルと概要のデータセットGitHub共通: 文埋め込み・検索・RAG・コーパス・データセット
JFinTEBretarfi5日本語金融テキスト埋め込みベンチマークGitHub共通: 文埋め込み・検索・RAG・コーパス・データセット