JMTEB 是一套日語文本嵌入基準,包含 5 個任務(聚類、分類、STS、檢索、重排序)與 28 個資料集,提供一行式評估腳本並邀請社群貢獻。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
3,000
Hugging Face 按讚數
20
收錄日
2024年5月13日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 6,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 1,000 |
| 2026年3月 | 2,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 4,000 |
| 2026年6月 | 2,000 |
| 2026年7月 | 1,000 |
| 2026年8月 | 3,000 |
| 2026年9月 | 2,000 |
| 2026年10月 | 3,000 |
| 2026年11月 | 3,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- wikipedia-passages-jawiki-embeddingshotchpotch731日文維基百科句子被轉換為各種嵌入,並建立 FAISS 索引,提供 Hugging Face Space 的演示、轉換腳本,以及對搜尋、問答和 OpenAI text‑embedding‑3‑small 在 RAG 中的評估;嵌入採用 OpenAI 授權,其他則採用 CC‑BY‑SA‑4.0。
- JQaRAhotchpotch436一個日語 QA 數據集,用於評估 Retrieval‑Augmented Generation (RAG),由 JAQKET 題目與 Wikipedia 文章構建,帶有金鑰檢索相關性標簽,已於 HuggingFace 和 GitHub 發布,主要以 nDCG@10 作為評分指標。
- msmarco-ja-hard-negativeshotchpotch408日語硬負樣本挖掘與 MSMARCO‑JA 數據集評估,說明正規化、過濾、BAAI/BGE 重排序器選擇、隨機抽樣、SPLADE 基於排名,以及卡方分析顯示統計上顯著的正率高於原始 mMARCO(ja)。
- RAG-Evaluation-Dataset-JAallganize246提供日文 RAG 基準,涵蓋金融、電訊、製造、公共、零售五大產業領域,透過發布資料集、自動評估框架,以及比較結果,例如 Claude 3.5‑Sonnet、GPT‑4o 等模型。
- Japanese-RAG-Generator-Benchmarkneoai-inc113「Japanese RAG Generator Benchmark (J‑RAGBench)」供應一份多分類 QA 數據集—涵蓋 Integration、Reasoning、Logical、Table 與 Abstention—旨在評估日文 RAG 生成器,並由人力與 GPT‑4.1 建構,且以 CC BY‑SA 4.0 授權發布。
- emilia-yodasTTS-AGI18k來自 Fate/Stay Night 角色「Emilia」的對話與傳說資料集,格式化用於訓練與評估對話語言模型。
研究領域相近的資源
ja.text8Hironsan113用於詞向量嵌入的日文文本8語料庫。GitHub共同: 表示學習・語意文本處理
JapaneseEmbeddingEvaloshizo184日本嵌入評估GitHub共同: 表示學習・語意文本處理
evaluate_japanese_w2vshihono12用於評估預先訓練的日語word2vec模型的日語相似性數據集腳本GitHub共同: 負責任且可信的 NLP・表示學習
anlp_nlp2021_d3-1arusl1這個存儲庫包含與“基於情感的文本分類的日語分詞器的實驗評估”相關的代碼。GitHub共同: 資訊擷取與文本探勘・負責任且可信的 NLP- plamo-embedding-1bpfnet486kPLaMo‑Embedding‑1B 是 Preferred Networks 開發的日本文本嵌入模型,能將日文文本轉換為向量,用於資訊檢索、分類與聚類,在 JMTEB 基準測試上表現優異,且以 Apache v2.0 license 免費提供。HF 模型共同: 表示學習・語意文本處理
mtebembeddings-benchmark3.4kMTEB:跨語言與跨模態的最先進嵌入評測。多語言共同: 嵌入、檢索與 RAG・語料庫與資料集