文字嵌入與檢索
在 Hugging Face 生態系中,日語句子嵌入、檢索及重排序領域正在快速發展。隨著 RAG(檢索增強生成)的普及,對高品質日語文字嵌入模型的需求不斷增長。
14.1 句子嵌入模型(句子相似度)
在 Hugging Face 的句子相似度類別中,已發布許多用於日語文字語義相似度計算的模型。
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| ruri-v3-310m (cl-nagoya) | 634k | 89 | 基於 ModernBERT-Ja;支援最多 8192 個 token |
| plamo-embedding-1b (pfnet) | 486k | 49 | 10 億參數嵌入 |
| ruri-v3-30m (cl-nagoya) | 126k | 12 | 最輕量 Ruri |
| ruri-v3-130m (cl-nagoya) | 93k | 9 | 中等規模的 Ruri v3 |
| GLuCoSE-base-ja (pkshatech) | 31k | 34 | 基於 LUKE 的句子嵌入 |
| ruri-v3-70m (cl-nagoya) | 14k | 5 | 小型 Ruri v3 |
| ruri-large (cl-nagoya) | 8k | 47 | 大型 Ruri |
| GLuCoSE-base-ja-v2 (pkshatech) | 6k | 24 | CPU 友好版本 |
| ruri-base (cl-nagoya) | 5k | 13 | 通用日語嵌入 |
| JaColBERTv2 (bclavie) | 2k | 17 | 基於 ColBERT 的日語檢索 |
Ruri 系列(cl-nagoya / 名古屋大學):句子相似度類別中使用量最大的日語通用文字嵌入模型領先家族。在 v3 中,基於 ModernBERT-Ja 支援最多 8,192 個 token 的輸入,提供從 30M 到 310M 的多種規模,在 JMTEB 基準測試上實現 74.5-77.2 分。ruri-v3-310m(634k/週)持續位居首位,ruri-v3-30m(126k/週)也廣受使用,已成為日語嵌入模型的標準選擇。中等規模的 ruri-v3-130m(93k/週)與 ruri-v3-70m(14k/週)也已站穩腳步,可依精度與推論成本的取捨選擇規模正是 Ruri 系列的優勢。
PLaMo-Embedding-1B(Preferred Networks):擁有 10 億參數的大型嵌入模型,在 JMTEB 基準測試上表現優異。在 Apache v2.0 授權下免費使用。
sarashina-embedding(SB Intuitions):基於 Sarashina2.1 的 12 億參數嵌入模型,以多階段對比學習訓練,在 JMTEB 上達到最先進的分數。
從架構角度看,Ruri 系列採用 Siamese/雙編碼器架構,適合即時搜尋和快取。模型規模選擇參考:低延遲/邊緣部署選 ruri-v3-30m(30M);均衡選 ruri-base 或 ruri-v3-310m(310M,支援 8192 詞符);精度最優選 sarashina-embedding-1b(JMTEB 最先進)。
14.2 特徵提取
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| sentence-bert-base-ja-mean-tokens-v2 (sonoisa) | 53k | 51 | 日語 Sentence-BERT v2 |
| japanese-clip-vit-b-16 (rinna) | 40k | 25 | 日語 CLIP |
| clip-japanese-base (LINE) | 34k | 30 | 日語 CLIP(以 10 億對訓練) |
| sentence-bert-base-ja-mean-tokens (sonoisa) | 14k | 11 | 日語 Sentence-BERT v1 |
| clip-japanese-base-v2 (LINE) | 2k | 18 | clip-japanese-base 的改良版 |
| sarashina-embedding-v2-1b (sbintuitions) | 2k | 28 | JMTEB 最先進,1792 維度 |
| t5-base-japanese (sonoisa) | 1k | 57 | 以 100GB Wikipedia/OSCAR 訓練 |
亦已發布多個日語 CLIP 模型,其中 rinna/japanese-clip-vit-b-16(40k/週下載)和 LINE/clip-japanese-base(34k/週下載)最具代表性。用於學習圖像與文字之間的對應關係。後續版本 clip-japanese-base-v2(2k/週下載)亦已公開。
14.3 文字重排序
RAG 管線中用於重排序(重新排列搜尋結果)的日語模型也很豐富。
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| japanese-reranker-cross-encoder-small-v1 (hotchpotch) | 156k | 5 | CrossEncoder;全 HF 日語模型第 11 位 |
| ruri-v3-reranker-310m (cl-nagoya) | 137k | 18 | 基於 ModernBERT-Ja |
| japanese-reranker-xsmall-v2 (hotchpotch) | 28k | 7 | v2 版本;支援 ONNX |
| japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) | 16k | 7 | 提供從 xsmall 到 large 的多種規模 |
| ruri-reranker-small (cl-nagoya) | 3k | 2 | Ruri v1 系列的小型重排序器 |
hotchpotch 的日語重排序器系列提供從 xsmall 到 large 的多種規模,並已在 JQaRA、JaCWIR、MIRACL 及 JSQuAD 基準測試上進行評估。本次統計中,japanese-reranker-cross-encoder-small-v1 以 156k 的週下載量再度超越 ruri-v3-reranker-310m(137k),重回 text-ranking 類別首位。兩者在所有日語 NLP 模型中分別排名第 11 與第 13,顯示 RAG 系統對重排序的需求規模。其後是 japanese-reranker-xsmall-v2(28k)與 japanese-reranker-cross-encoder-xsmall-v1(16k)。在 v2 中,亦提供對 Flash Attention 2 及 ONNX/量化格式的支援。