14

文字嵌入與檢索

在 Hugging Face 生態系中,日語句子嵌入、檢索及重排序領域正在快速發展。隨著 RAG(檢索增強生成)的普及,對高品質日語文字嵌入模型的需求不斷增長。

14.1 句子嵌入模型(句子相似度)

在 Hugging Face 的句子相似度類別中,已發布許多用於日語文字語義相似度計算的模型。

模型名 HF 下載 按讚數 說明
ruri-v3-310m (cl-nagoya) 634k 89 基於 ModernBERT-Ja;支援最多 8192 個 token
plamo-embedding-1b (pfnet) 486k 49 10 億參數嵌入
ruri-v3-30m (cl-nagoya) 126k 12 最輕量 Ruri
ruri-v3-130m (cl-nagoya) 93k 9 中等規模的 Ruri v3
GLuCoSE-base-ja (pkshatech) 31k 34 基於 LUKE 的句子嵌入
ruri-v3-70m (cl-nagoya) 14k 5 小型 Ruri v3
ruri-large (cl-nagoya) 8k 47 大型 Ruri
GLuCoSE-base-ja-v2 (pkshatech) 6k 24 CPU 友好版本
ruri-base (cl-nagoya) 5k 13 通用日語嵌入
JaColBERTv2 (bclavie) 2k 17 基於 ColBERT 的日語檢索

Ruri 系列(cl-nagoya / 名古屋大學):句子相似度類別中使用量最大的日語通用文字嵌入模型領先家族。在 v3 中,基於 ModernBERT-Ja 支援最多 8,192 個 token 的輸入,提供從 30M 到 310M 的多種規模,在 JMTEB 基準測試上實現 74.5-77.2 分。ruri-v3-310m(634k/週)持續位居首位,ruri-v3-30m(126k/週)也廣受使用,已成為日語嵌入模型的標準選擇。中等規模的 ruri-v3-130m(93k/週)與 ruri-v3-70m(14k/週)也已站穩腳步,可依精度與推論成本的取捨選擇規模正是 Ruri 系列的優勢。

PLaMo-Embedding-1B(Preferred Networks):擁有 10 億參數的大型嵌入模型,在 JMTEB 基準測試上表現優異。在 Apache v2.0 授權下免費使用。

sarashina-embedding(SB Intuitions):基於 Sarashina2.1 的 12 億參數嵌入模型,以多階段對比學習訓練,在 JMTEB 上達到最先進的分數。

從架構角度看,Ruri 系列採用 Siamese/雙編碼器架構,適合即時搜尋和快取。模型規模選擇參考:低延遲/邊緣部署選 ruri-v3-30m(30M);均衡選 ruri-base 或 ruri-v3-310m(310M,支援 8192 詞符);精度最優選 sarashina-embedding-1b(JMTEB 最先進)。

ruri-v3-310m (cl-nagoya)
基於 ModernBERT-Ja;支援最多 8192 個 token
634k 89
plamo-embedding-1b (pfnet)
10 億參數嵌入
486k 49
ruri-v3-30m (cl-nagoya)
最輕量 Ruri
126k 12
ruri-v3-130m (cl-nagoya)
中等規模的 Ruri v3
93k 9
GLuCoSE-base-ja (pkshatech)
基於 LUKE 的句子嵌入
31k 34
ruri-v3-70m (cl-nagoya)
小型 Ruri v3
14k 5
ruri-large (cl-nagoya)
大型 Ruri
8k 47
GLuCoSE-base-ja-v2 (pkshatech)
CPU 友好版本
6k 24
ruri-base (cl-nagoya)
通用日語嵌入
5k 13
JaColBERTv2 (bclavie)
基於 ColBERT 的日語檢索
2k 17
Ruri 系列
Ruri 系列(cl-nagoya / 名古屋大學):句子相似度類別中使用量最大的日語通用文字嵌入模型領先家族。在 v3 中,基於 ModernBERT-Ja 支援最多 8,192 個 token 的輸入,提供從 30M 到 310M 的多種規模,在 JMTEB 基準測試上實現 74.5-77.2 分。ruri-v3-310m(634k/週)持續位居首位,ruri-v3-30m(126k/週)也廣受使用,已成為日語嵌入模型的標準選擇。中等規模的 ruri-v3-130m(93k/週)與 ruri-v3-70m(14k/週)也已站穩腳步,可依精度與推論成本的取捨選擇規模正是 Ruri 系列的優勢。
PLaMo-Embedding-1B
PLaMo-Embedding-1B(Preferred Networks):擁有 10 億參數的大型嵌入模型,在 JMTEB 基準測試上表現優異。在 Apache v2.0 授權下免費使用。
sarashina-embedding
sarashina-embedding(SB Intuitions):基於 Sarashina2.1 的 12 億參數嵌入模型,以多階段對比學習訓練,在 JMTEB 上達到最先進的分數。

14.2 特徵提取

模型名 HF 下載 按讚數 說明
sentence-bert-base-ja-mean-tokens-v2 (sonoisa) 53k 51 日語 Sentence-BERT v2
japanese-clip-vit-b-16 (rinna) 40k 25 日語 CLIP
clip-japanese-base (LINE) 34k 30 日語 CLIP(以 10 億對訓練)
sentence-bert-base-ja-mean-tokens (sonoisa) 14k 11 日語 Sentence-BERT v1
clip-japanese-base-v2 (LINE) 2k 18 clip-japanese-base 的改良版
sarashina-embedding-v2-1b (sbintuitions) 2k 28 JMTEB 最先進,1792 維度
t5-base-japanese (sonoisa) 1k 57 以 100GB Wikipedia/OSCAR 訓練

亦已發布多個日語 CLIP 模型,其中 rinna/japanese-clip-vit-b-16(40k/週下載)和 LINE/clip-japanese-base(34k/週下載)最具代表性。用於學習圖像與文字之間的對應關係。後續版本 clip-japanese-base-v2(2k/週下載)亦已公開。

sentence-bert-base-ja-mean-tokens-v2 (sonoisa)
日語 Sentence-BERT v2
53k 51
japanese-clip-vit-b-16 (rinna)
日語 CLIP
40k 25
clip-japanese-base (LINE)
日語 CLIP(以 10 億對訓練)
34k 30
sentence-bert-base-ja-mean-tokens (sonoisa)
日語 Sentence-BERT v1
14k 11
clip-japanese-base-v2 (LINE)
clip-japanese-base 的改良版
2k 18
sarashina-embedding-v2-1b (sbintuitions)
JMTEB 最先進,1792 維度
2k 28
t5-base-japanese (sonoisa)
以 100GB Wikipedia/OSCAR 訓練
1k 57

14.3 文字重排序

RAG 管線中用於重排序(重新排列搜尋結果)的日語模型也很豐富。

模型名 HF 下載 按讚數 說明
japanese-reranker-cross-encoder-small-v1 (hotchpotch) 156k 5 CrossEncoder;全 HF 日語模型第 11 位
ruri-v3-reranker-310m (cl-nagoya) 137k 18 基於 ModernBERT-Ja
japanese-reranker-xsmall-v2 (hotchpotch) 28k 7 v2 版本;支援 ONNX
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) 16k 7 提供從 xsmall 到 large 的多種規模
ruri-reranker-small (cl-nagoya) 3k 2 Ruri v1 系列的小型重排序器

hotchpotch 的日語重排序器系列提供從 xsmall 到 large 的多種規模,並已在 JQaRA、JaCWIR、MIRACL 及 JSQuAD 基準測試上進行評估。本次統計中,japanese-reranker-cross-encoder-small-v1 以 156k 的週下載量再度超越 ruri-v3-reranker-310m(137k),重回 text-ranking 類別首位。兩者在所有日語 NLP 模型中分別排名第 11 與第 13,顯示 RAG 系統對重排序的需求規模。其後是 japanese-reranker-xsmall-v2(28k)與 japanese-reranker-cross-encoder-xsmall-v1(16k)。在 v2 中,亦提供對 Flash Attention 2 及 ONNX/量化格式的支援。


japanese-reranker-cross-encoder-small-v1 (hotchpotch)
CrossEncoder;全 HF 日語模型第 11 位
156k 5
ruri-v3-reranker-310m (cl-nagoya)
基於 ModernBERT-Ja
137k 18
japanese-reranker-xsmall-v2 (hotchpotch)
v2 版本;支援 ONNX
28k 7
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch)
提供從 xsmall 到 large 的多種規模
16k 7
ruri-reranker-small (cl-nagoya)
Ruri v1 系列的小型重排序器
3k 2