14

文字嵌入与检索

在 Hugging Face 生态系中,日语句子嵌入、检索及重排序领域正在快速发展。随着 RAG(检索增强生成)的普及,对高品质日语文字嵌入模型的需求不断增长。

14.1 句子嵌入模型(句子相似度)

在 Hugging Face 的句子相似度类别中,已发布许多用于日语文字语义相似度计算的模型。

模型名 HF 下载 点赞数 说明
ruri-v3-310m (cl-nagoya) 634k 89 基于 ModernBERT-Ja;支援最多 8192 个 token
plamo-embedding-1b (pfnet) 486k 49 10 亿参数嵌入
ruri-v3-30m (cl-nagoya) 126k 12 最轻量 Ruri
ruri-v3-130m (cl-nagoya) 93k 9 中等规模的 Ruri v3
GLuCoSE-base-ja (pkshatech) 31k 34 基于 LUKE 的句子嵌入
ruri-v3-70m (cl-nagoya) 14k 5 小型 Ruri v3
ruri-large (cl-nagoya) 8k 47 大型 Ruri
GLuCoSE-base-ja-v2 (pkshatech) 6k 24 CPU 友好版本
ruri-base (cl-nagoya) 5k 13 通用日语嵌入
JaColBERTv2 (bclavie) 2k 17 基于 ColBERT 的日语检索

Ruri 系列(cl-nagoya / 名古屋大学):句子相似度类别中使用量最大的日语通用文字嵌入模型领先家族。在 v3 中,基于 ModernBERT-Ja 支援最多 8,192 个 token 的输入,提供从 30M 到 310M 的多种规模,在 JMTEB 基准测试上实现 74.5-77.2 分。ruri-v3-310m(634k/周)持续位居首位,ruri-v3-30m(126k/周)也广受使用,已成为日语嵌入模型的标准选择。中等规模的 ruri-v3-130m(93k/周)与 ruri-v3-70m(14k/周)也已站稳脚步,可依精度与推理成本的取舍选择规模正是 Ruri 系列的优势。

PLaMo-Embedding-1B(Preferred Networks):拥有 10 亿参数的大型嵌入模型,在 JMTEB 基准测试上表现优异。在 Apache v2.0 授权下免费使用。

sarashina-embedding(SB Intuitions):基于 Sarashina2.1 的 12 亿参数嵌入模型,以多阶段对比学习训练,在 JMTEB 上达到最先进的分数。

从架构角度看,Ruri 系列采用 Siamese/双编码器架构,适合实时搜索和缓存。模型规模选择参考:低延迟/边缘部署选 ruri-v3-30m(30M);均衡选 ruri-base 或 ruri-v3-310m(310M,支持 8192 词符);精度最优选 sarashina-embedding-1b(JMTEB 最先进)。

ruri-v3-310m (cl-nagoya)
基于 ModernBERT-Ja;支援最多 8192 个 token
634k 89
plamo-embedding-1b (pfnet)
10 亿参数嵌入
486k 49
ruri-v3-30m (cl-nagoya)
最轻量 Ruri
126k 12
ruri-v3-130m (cl-nagoya)
中等规模的 Ruri v3
93k 9
GLuCoSE-base-ja (pkshatech)
基于 LUKE 的句子嵌入
31k 34
ruri-v3-70m (cl-nagoya)
小型 Ruri v3
14k 5
ruri-large (cl-nagoya)
大型 Ruri
8k 47
GLuCoSE-base-ja-v2 (pkshatech)
CPU 友好版本
6k 24
ruri-base (cl-nagoya)
通用日语嵌入
5k 13
JaColBERTv2 (bclavie)
基于 ColBERT 的日语检索
2k 17
Ruri 系列
Ruri 系列(cl-nagoya / 名古屋大学):句子相似度类别中使用量最大的日语通用文字嵌入模型领先家族。在 v3 中,基于 ModernBERT-Ja 支援最多 8,192 个 token 的输入,提供从 30M 到 310M 的多种规模,在 JMTEB 基准测试上实现 74.5-77.2 分。ruri-v3-310m(634k/周)持续位居首位,ruri-v3-30m(126k/周)也广受使用,已成为日语嵌入模型的标准选择。中等规模的 ruri-v3-130m(93k/周)与 ruri-v3-70m(14k/周)也已站稳脚步,可依精度与推理成本的取舍选择规模正是 Ruri 系列的优势。
PLaMo-Embedding-1B
PLaMo-Embedding-1B(Preferred Networks):拥有 10 亿参数的大型嵌入模型,在 JMTEB 基准测试上表现优异。在 Apache v2.0 授权下免费使用。
sarashina-embedding
sarashina-embedding(SB Intuitions):基于 Sarashina2.1 的 12 亿参数嵌入模型,以多阶段对比学习训练,在 JMTEB 上达到最先进的分数。

14.2 特征提取

模型名 HF 下载 点赞数 说明
sentence-bert-base-ja-mean-tokens-v2 (sonoisa) 53k 51 日语 Sentence-BERT v2
japanese-clip-vit-b-16 (rinna) 40k 25 日语 CLIP
clip-japanese-base (LINE) 34k 30 日语 CLIP(以 10 亿对训练)
sentence-bert-base-ja-mean-tokens (sonoisa) 14k 11 日语 Sentence-BERT v1
clip-japanese-base-v2 (LINE) 2k 18 clip-japanese-base 的改良版
sarashina-embedding-v2-1b (sbintuitions) 2k 28 JMTEB 最先进,1792 维度
t5-base-japanese (sonoisa) 1k 57 以 100GB Wikipedia/OSCAR 训练

亦已发布多个日语 CLIP 模型,其中 rinna/japanese-clip-vit-b-16(40k/周下载)和 LINE/clip-japanese-base(34k/周下载)最具代表性。用于学习图像与文字之间的对应关系。后续版本 clip-japanese-base-v2(2k/周下载)亦已公开。

sentence-bert-base-ja-mean-tokens-v2 (sonoisa)
日语 Sentence-BERT v2
53k 51
japanese-clip-vit-b-16 (rinna)
日语 CLIP
40k 25
clip-japanese-base (LINE)
日语 CLIP(以 10 亿对训练)
34k 30
sentence-bert-base-ja-mean-tokens (sonoisa)
日语 Sentence-BERT v1
14k 11
clip-japanese-base-v2 (LINE)
clip-japanese-base 的改良版
2k 18
sarashina-embedding-v2-1b (sbintuitions)
JMTEB 最先进,1792 维度
2k 28
t5-base-japanese (sonoisa)
以 100GB Wikipedia/OSCAR 训练
1k 57

14.3 文字重排序

RAG 管线中用于重排序(重新排列搜索结果)的日语模型也很丰富。

模型名 HF 下载 点赞数 说明
japanese-reranker-cross-encoder-small-v1 (hotchpotch) 156k 5 CrossEncoder;全 HF 日语模型第 11 位
ruri-v3-reranker-310m (cl-nagoya) 137k 18 基于 ModernBERT-Ja
japanese-reranker-xsmall-v2 (hotchpotch) 28k 7 v2 版本;支援 ONNX
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) 16k 7 提供从 xsmall 到 large 的多种规模
ruri-reranker-small (cl-nagoya) 3k 2 Ruri v1 系列的小型重排序器

hotchpotch 的日语重排序器系列提供从 xsmall 到 large 的多种规模,并已在 JQaRA、JaCWIR、MIRACL 及 JSQuAD 基准测试上进行评估。本次统计中,japanese-reranker-cross-encoder-small-v1 以 156k 的周下载量再度超越 ruri-v3-reranker-310m(137k),重回 text-ranking 类别首位。两者在所有日语 NLP 模型中分别排名第 11 与第 13,显示 RAG 系统对重排序的需求规模。其后是 japanese-reranker-xsmall-v2(28k)与 japanese-reranker-cross-encoder-xsmall-v1(16k)。在 v2 中,亦提供对 Flash Attention 2 及 ONNX/量化格式的支援。


japanese-reranker-cross-encoder-small-v1 (hotchpotch)
CrossEncoder;全 HF 日语模型第 11 位
156k 5
ruri-v3-reranker-310m (cl-nagoya)
基于 ModernBERT-Ja
137k 18
japanese-reranker-xsmall-v2 (hotchpotch)
v2 版本;支援 ONNX
28k 7
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch)
提供从 xsmall 到 large 的多种规模
16k 7
ruri-reranker-small (cl-nagoya)
Ruri v1 系列的小型重排序器
3k 2