日文維基百科句子被轉換為各種嵌入,並建立 FAISS 索引,提供 Hugging Face Space 的演示、轉換腳本,以及對搜尋、問答和 OpenAI text‑embedding‑3‑small 在 RAG 中的評估;嵌入採用 OpenAI 授權,其他則採用 CC‑BY‑SA‑4.0。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
731
Hugging Face 按讚數
3
收錄日
2024年10月29日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 243 |
| 2026年3月 | 250 |
| 2026年4月 | 472 |
| 2026年5月 | 417 |
| 2026年6月 | 473 |
| 2026年7月 | 297 |
| 2026年8月 | 508 |
| 2026年9月 | 1,000 |
| 2026年10月 | 901 |
| 2026年11月 | 731 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- JMTEBsbintuitions3kJMTEB 是一套日語文本嵌入基準,包含 5 個任務(聚類、分類、STS、檢索、重排序)與 28 個資料集,提供一行式評估腳本並邀請社群貢獻。
- JQaRAhotchpotch436一個日語 QA 數據集,用於評估 Retrieval‑Augmented Generation (RAG),由 JAQKET 題目與 Wikipedia 文章構建,帶有金鑰檢索相關性標簽,已於 HuggingFace 和 GitHub 發布,主要以 nDCG@10 作為評分指標。
- msmarco-ja-hard-negativeshotchpotch408日語硬負樣本挖掘與 MSMARCO‑JA 數據集評估,說明正規化、過濾、BAAI/BGE 重排序器選擇、隨機抽樣、SPLADE 基於排名,以及卡方分析顯示統計上顯著的正率高於原始 mMARCO(ja)。
- RAG-Evaluation-Dataset-JAallganize246提供日文 RAG 基準,涵蓋金融、電訊、製造、公共、零售五大產業領域,透過發布資料集、自動評估框架,以及比較結果,例如 Claude 3.5‑Sonnet、GPT‑4o 等模型。
- Japanese-RAG-Generator-Benchmarkneoai-inc113「Japanese RAG Generator Benchmark (J‑RAGBench)」供應一份多分類 QA 數據集—涵蓋 Integration、Reasoning、Logical、Table 與 Abstention—旨在評估日文 RAG 生成器,並由人力與 GPT‑4.1 建構,且以 CC BY‑SA 4.0 授權發布。
- emilia-yodasTTS-AGI18k來自 Fate/Stay Night 角色「Emilia」的對話與傳說資料集,格式化用於訓練與評估對話語言模型。
研究領域相近的資源
ja.text8Hironsan113用於詞向量嵌入的日文文本8語料庫。GitHub共同: 表示學習・語意文本處理- plamo-embedding-1bpfnet486kPLaMo‑Embedding‑1B 是 Preferred Networks 開發的日本文本嵌入模型,能將日文文本轉換為向量,用於資訊檢索、分類與聚類,在 JMTEB 基準測試上表現優異,且以 Apache v2.0 license 免費提供。HF 模型共同: 表示學習・語意文本處理
- ruri-v3-70mcl-nagoya14kRuri v3 提供高性能的日語文本嵌入,最多可達 8192 個 token,擁有 100k token 詞彙表,支援 FlashAttention,並提供多種模型尺寸 (30 m–310 m) 以供透過 sentence‑transformers 進行高效推理與微調。HF 模型共同: 表示學習・語意文本處理
- japanese-splade-v2hotchpotch4k高效能日文 SPLADE v2 透過 WebUI demo 可進行稀疏向量轉換與推理,使用 YAST 訓練,提供 YASEM 嵌入,並報告 JMTEB 基準結果。HF 模型共同: 表示學習・語意文本處理
- ruri-v3-310mcl-nagoya634kRuri v3 是一個尖端的日本語文本嵌入模型,建立於 ModernBERT‑Ja,支援最多 8,192‑token 輸入、100K‑token 詞彙表、FlashAttention‑加速推論,以及多種尺寸變體,方便快速使用 sentence‑transformer。HF 模型共同: 表示學習・語意文本處理
- ruri-v3-30mcl-nagoya126kRuri v3 是一款最先進的日文文本嵌入模型,構建於 ModernBERT‑Ja,支持高達 8,192 tokens、一個 100k‑token 詞彙表、FlashAttention 加速,並提供從 37 M 到 315 M 參數的多種規模。HF 模型共同: 表示學習・語意文本處理