14

文埋め込み・検索・リランキング(Sentence Embeddings, Retrieval & Reranking)

Hugging Faceエコシステムにおいて、日本語のテキスト埋め込み(Sentence Embeddings)、検索、リランキングの分野は急速に発展しています。RAG(Retrieval Augmented Generation)の普及に伴い、高品質な日本語テキスト埋め込みモデルへの需要が高まっています。

14.1 文埋め込みモデル(Sentence Similarity)

Hugging Faceのsentence-similarityカテゴリでは、日本語テキストの意味的類似度計算に用いられるモデルが多数公開されています。

モデル名 HF DL数 Like数 特徴
ruri-v3-310m (cl-nagoya) 634k 89 ModernBERT-Jaベース、最大8192トークン
plamo-embedding-1b (pfnet) 486k 49 1Bパラメータ埋め込み
ruri-v3-30m (cl-nagoya) 126k 12 最軽量版Ruri
ruri-v3-130m (cl-nagoya) 93k 9 中間サイズ版Ruri v3
GLuCoSE-base-ja (pkshatech) 31k 34 LUKEベース文埋め込み
ruri-v3-70m (cl-nagoya) 14k 5 小型版Ruri v3
ruri-large (cl-nagoya) 8k 47 大規模版Ruri
GLuCoSE-base-ja-v2 (pkshatech) 6k 24 CPUフレンドリー版
ruri-base (cl-nagoya) 5k 13 日本語汎用埋め込み
JaColBERTv2 (bclavie) 2k 17 ColBERTベース日本語検索

Ruriシリーズ(cl-nagoya/名古屋大学)はsentence-similarityカテゴリで最大の利用数を誇る日本語汎用テキスト埋め込みモデルの主要ファミリーであり、v3ではModernBERT-Jaをベースに最大8,192トークンの入力をサポートします。30M〜310Mの複数サイズが提供され、JMTEBベンチマークで74.5〜77.2のスコアを達成しています。ruri-v3-310m(634k/week)が引き続き首位を維持し、ruri-v3-30m(126k/week)も幅広く利用されており、日本語埋め込みモデルの標準的選択肢となっています。中間サイズのruri-v3-130m(93k/week)とruri-v3-70m(14k/week)も定着しており、精度と推論コストのトレードオフに応じてサイズを選べる点がRuriシリーズの強みとなっています。

PLaMo-Embedding-1B(Preferred Networks)は1Bパラメータの大規模埋め込みモデルであり、JMTEBベンチマークで高い性能を示します。Apache v2.0ライセンスで無料利用可能です。

sarashina-embedding(SB Intuitions)はSarashina2.1をベースとした1.2Bパラメータの埋め込みモデルであり、多段階対照学習で訓練されJMTEBで最先端スコアを達成しています。

アーキテクチャの観点では、JaColBERTv2は後期インタラクション(ColBERT方式)を採用し検索精度が高い一方、RuriシリーズはSiamese/Bi-encoder方式でリアルタイム検索・キャッシュに向いています。モデルサイズ選択の目安:低遅延・エッジ向けにはruri-v3-30m(30M)、バランス重視にはruri-baseまたはruri-v3-310m(310M、長文対応)、精度最優先にはsarashina-embedding-1b(JMTEB最先端)が適しています。

ruri-v3-310m (cl-nagoya)
ModernBERT-Jaベース、最大8192トークン
634k 89
plamo-embedding-1b (pfnet)
1Bパラメータ埋め込み
486k 49
ruri-v3-30m (cl-nagoya)
最軽量版Ruri
126k 12
ruri-v3-130m (cl-nagoya)
中間サイズ版Ruri v3
93k 9
GLuCoSE-base-ja (pkshatech)
LUKEベース文埋め込み
31k 34
ruri-v3-70m (cl-nagoya)
小型版Ruri v3
14k 5
ruri-large (cl-nagoya)
大規模版Ruri
8k 47
GLuCoSE-base-ja-v2 (pkshatech)
CPUフレンドリー版
6k 24
ruri-base (cl-nagoya)
日本語汎用埋め込み
5k 13
JaColBERTv2 (bclavie)
ColBERTベース日本語検索
2k 17
Ruriシリーズ
Ruriシリーズ(cl-nagoya/名古屋大学)はsentence-similarityカテゴリで最大の利用数を誇る日本語汎用テキスト埋め込みモデルの主要ファミリーであり、v3ではModernBERT-Jaをベースに最大8,192トークンの入力をサポートします。30M〜310Mの複数サイズが提供され、JMTEBベンチマークで74.5〜77.2のスコアを達成しています。ruri-v3-310m(634k/week)が引き続き首位を維持し、ruri-v3-30m(126k/week)も幅広く利用されており、日本語埋め込みモデルの標準的選択肢となっています。中間サイズのruri-v3-130m(93k/week)とruri-v3-70m(14k/week)も定着しており、精度と推論コストのトレードオフに応じてサイズを選べる点がRuriシリーズの強みとなっています。
PLaMo-Embedding-1B
PLaMo-Embedding-1B(Preferred Networks)は1Bパラメータの大規模埋め込みモデルであり、JMTEBベンチマークで高い性能を示します。Apache v2.0ライセンスで無料利用可能です。
sarashina-embedding
sarashina-embedding(SB Intuitions)はSarashina2.1をベースとした1.2Bパラメータの埋め込みモデルであり、多段階対照学習で訓練されJMTEBで最先端スコアを達成しています。
sarashina-embedding-1b
アーキテクチャの観点では、JaColBERTv2は後期インタラクション(ColBERT方式)を採用し検索精度が高い一方、RuriシリーズはSiamese/Bi-encoder方式でリアルタイム検索・キャッシュに向いています。モデルサイズ選択の目安:低遅延・エッジ向けにはruri-v3-30m(30M)、バランス重視にはruri-baseまたはruri-v3-310m(310M、長文対応)、精度最優先にはsarashina-embedding-1b(JMTEB最先端)が適しています。

14.2 特徴抽出(Feature Extraction)

モデル名 HF DL数 Like数 特徴
sentence-bert-base-ja-mean-tokens-v2 (sonoisa) 53k 51 日本語Sentence-BERT v2
japanese-clip-vit-b-16 (rinna) 40k 25 日本語CLIP
clip-japanese-base (LINE) 34k 30 日本語CLIP(10億ペア学習)
sentence-bert-base-ja-mean-tokens (sonoisa) 14k 11 日本語Sentence-BERT v1
clip-japanese-base-v2 (LINE) 2k 18 clip-japanese-baseの改良版
sarashina-embedding-v2-1b (sbintuitions) 2k 28 JMTEB最先端1792次元
t5-base-japanese (sonoisa) 1k 57 100GB Wikipedia/OSCARで学習

日本語CLIPモデルも複数公開されており、rinna/japanese-clip-vit-b-16(40k/week DL)とLINE/clip-japanese-base(34k/week DL)が代表的です。画像とテキストの対応関係の学習に利用されます。後継のclip-japanese-base-v2(2k/week DL)も公開されています。

sentence-bert-base-ja-mean-tokens-v2 (sonoisa)
日本語Sentence-BERT v2
53k 51
japanese-clip-vit-b-16 (rinna)
日本語CLIP
40k 25
clip-japanese-base (LINE)
日本語CLIP(10億ペア学習)
34k 30
sentence-bert-base-ja-mean-tokens (sonoisa)
日本語Sentence-BERT v1
14k 11
clip-japanese-base-v2 (LINE)
clip-japanese-baseの改良版
2k 18
sarashina-embedding-v2-1b (sbintuitions)
JMTEB最先端1792次元
2k 28
t5-base-japanese (sonoisa)
100GB Wikipedia/OSCARで学習
1k 57

14.3 テキストリランキング

RAGパイプラインにおけるリランキング(検索結果の再順位付け)のための日本語モデルも充実しています。

モデル名 HF DL数 Like数 特徴
japanese-reranker-cross-encoder-small-v1 (hotchpotch) 156k 5 CrossEncoder、全HFモデル中11位
ruri-v3-reranker-310m (cl-nagoya) 137k 18 ModernBERT-Jaベース
japanese-reranker-xsmall-v2 (hotchpotch) 28k 7 v2版、ONNX対応
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) 16k 7 xsmall〜largeの複数サイズ
ruri-reranker-small (cl-nagoya) 3k 2 Ruri v1系の小型リランカー

hotchpotch氏による日本語リランカーシリーズは、xsmallからlargeまでの複数サイズを提供し、JQaRA、JaCWIR、MIRACL、JSQuADの各ベンチマークで評価されています。今回の集計ではjapanese-reranker-cross-encoder-small-v1が週間156kダウンロードでruri-v3-reranker-310m(137k)を再び上回り、text-rankingカテゴリの首位に返り咲きました。それぞれ日本語NLPモデル全体で11位・13位に位置しており、RAGシステムにおけるリランキングの需要の大きさを示しています。以下japanese-reranker-xsmall-v2(28k)、japanese-reranker-cross-encoder-xsmall-v1(16k)と続きます。v2では Flash Attention 2対応やONNX/量子化フォーマットも提供されています。


japanese-reranker-cross-encoder-small-v1 (hotchpotch)
CrossEncoder、全HFモデル中11位
156k 5
ruri-v3-reranker-310m (cl-nagoya)
ModernBERT-Jaベース
137k 18
japanese-reranker-xsmall-v2 (hotchpotch)
v2版、ONNX対応
28k 7
japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch)
xsmall〜largeの複数サイズ
16k 7
ruri-reranker-small (cl-nagoya)
Ruri v1系の小型リランカー
3k 2