文字嵌入与检索
在 Hugging Face 生态系中,日语句子嵌入、检索及重排序领域正在快速发展。随着 RAG(检索增强生成)的普及,对高品质日语文字嵌入模型的需求不断增长。
14.1 句子嵌入模型(句子相似度)
在 Hugging Face 的句子相似度类别中,已发布许多用于日语文字语义相似度计算的模型。
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| ruri-v3-310m (cl-nagoya) | 634k | 89 | 基于 ModernBERT-Ja;支援最多 8192 个 token |
| plamo-embedding-1b (pfnet) | 486k | 49 | 10 亿参数嵌入 |
| ruri-v3-30m (cl-nagoya) | 126k | 12 | 最轻量 Ruri |
| ruri-v3-130m (cl-nagoya) | 93k | 9 | 中等规模的 Ruri v3 |
| GLuCoSE-base-ja (pkshatech) | 31k | 34 | 基于 LUKE 的句子嵌入 |
| ruri-v3-70m (cl-nagoya) | 14k | 5 | 小型 Ruri v3 |
| ruri-large (cl-nagoya) | 8k | 47 | 大型 Ruri |
| GLuCoSE-base-ja-v2 (pkshatech) | 6k | 24 | CPU 友好版本 |
| ruri-base (cl-nagoya) | 5k | 13 | 通用日语嵌入 |
| JaColBERTv2 (bclavie) | 2k | 17 | 基于 ColBERT 的日语检索 |
Ruri 系列(cl-nagoya / 名古屋大学):句子相似度类别中使用量最大的日语通用文字嵌入模型领先家族。在 v3 中,基于 ModernBERT-Ja 支援最多 8,192 个 token 的输入,提供从 30M 到 310M 的多种规模,在 JMTEB 基准测试上实现 74.5-77.2 分。ruri-v3-310m(634k/周)持续位居首位,ruri-v3-30m(126k/周)也广受使用,已成为日语嵌入模型的标准选择。中等规模的 ruri-v3-130m(93k/周)与 ruri-v3-70m(14k/周)也已站稳脚步,可依精度与推理成本的取舍选择规模正是 Ruri 系列的优势。
PLaMo-Embedding-1B(Preferred Networks):拥有 10 亿参数的大型嵌入模型,在 JMTEB 基准测试上表现优异。在 Apache v2.0 授权下免费使用。
sarashina-embedding(SB Intuitions):基于 Sarashina2.1 的 12 亿参数嵌入模型,以多阶段对比学习训练,在 JMTEB 上达到最先进的分数。
从架构角度看,Ruri 系列采用 Siamese/双编码器架构,适合实时搜索和缓存。模型规模选择参考:低延迟/边缘部署选 ruri-v3-30m(30M);均衡选 ruri-base 或 ruri-v3-310m(310M,支持 8192 词符);精度最优选 sarashina-embedding-1b(JMTEB 最先进)。
14.2 特征提取
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| sentence-bert-base-ja-mean-tokens-v2 (sonoisa) | 53k | 51 | 日语 Sentence-BERT v2 |
| japanese-clip-vit-b-16 (rinna) | 40k | 25 | 日语 CLIP |
| clip-japanese-base (LINE) | 34k | 30 | 日语 CLIP(以 10 亿对训练) |
| sentence-bert-base-ja-mean-tokens (sonoisa) | 14k | 11 | 日语 Sentence-BERT v1 |
| clip-japanese-base-v2 (LINE) | 2k | 18 | clip-japanese-base 的改良版 |
| sarashina-embedding-v2-1b (sbintuitions) | 2k | 28 | JMTEB 最先进,1792 维度 |
| t5-base-japanese (sonoisa) | 1k | 57 | 以 100GB Wikipedia/OSCAR 训练 |
亦已发布多个日语 CLIP 模型,其中 rinna/japanese-clip-vit-b-16(40k/周下载)和 LINE/clip-japanese-base(34k/周下载)最具代表性。用于学习图像与文字之间的对应关系。后续版本 clip-japanese-base-v2(2k/周下载)亦已公开。
14.3 文字重排序
RAG 管线中用于重排序(重新排列搜索结果)的日语模型也很丰富。
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| japanese-reranker-cross-encoder-small-v1 (hotchpotch) | 156k | 5 | CrossEncoder;全 HF 日语模型第 11 位 |
| ruri-v3-reranker-310m (cl-nagoya) | 137k | 18 | 基于 ModernBERT-Ja |
| japanese-reranker-xsmall-v2 (hotchpotch) | 28k | 7 | v2 版本;支援 ONNX |
| japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) | 16k | 7 | 提供从 xsmall 到 large 的多种规模 |
| ruri-reranker-small (cl-nagoya) | 3k | 2 | Ruri v1 系列的小型重排序器 |
hotchpotch 的日语重排序器系列提供从 xsmall 到 large 的多种规模,并已在 JQaRA、JaCWIR、MIRACL 及 JSQuAD 基准测试上进行评估。本次统计中,japanese-reranker-cross-encoder-small-v1 以 156k 的周下载量再度超越 ruri-v3-reranker-310m(137k),重回 text-ranking 类别首位。两者在所有日语 NLP 模型中分别排名第 11 与第 13,显示 RAG 系统对重排序的需求规模。其后是 japanese-reranker-xsmall-v2(28k)与 japanese-reranker-cross-encoder-xsmall-v1(16k)。在 v2 中,亦提供对 Flash Attention 2 及 ONNX/量化格式的支援。