文埋め込み・検索・リランキング(Sentence Embeddings, Retrieval & Reranking)
Hugging Faceエコシステムにおいて、日本語のテキスト埋め込み(Sentence Embeddings)、検索、リランキングの分野は急速に発展しています。RAG(Retrieval Augmented Generation)の普及に伴い、高品質な日本語テキスト埋め込みモデルへの需要が高まっています。
14.1 文埋め込みモデル(Sentence Similarity)
Hugging Faceのsentence-similarityカテゴリでは、日本語テキストの意味的類似度計算に用いられるモデルが多数公開されています。
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| ruri-v3-310m (cl-nagoya) | 634k | 89 | ModernBERT-Jaベース、最大8192トークン |
| plamo-embedding-1b (pfnet) | 486k | 49 | 1Bパラメータ埋め込み |
| ruri-v3-30m (cl-nagoya) | 126k | 12 | 最軽量版Ruri |
| ruri-v3-130m (cl-nagoya) | 93k | 9 | 中間サイズ版Ruri v3 |
| GLuCoSE-base-ja (pkshatech) | 31k | 34 | LUKEベース文埋め込み |
| ruri-v3-70m (cl-nagoya) | 14k | 5 | 小型版Ruri v3 |
| ruri-large (cl-nagoya) | 8k | 47 | 大規模版Ruri |
| GLuCoSE-base-ja-v2 (pkshatech) | 6k | 24 | CPUフレンドリー版 |
| ruri-base (cl-nagoya) | 5k | 13 | 日本語汎用埋め込み |
| JaColBERTv2 (bclavie) | 2k | 17 | ColBERTベース日本語検索 |
Ruriシリーズ(cl-nagoya/名古屋大学)はsentence-similarityカテゴリで最大の利用数を誇る日本語汎用テキスト埋め込みモデルの主要ファミリーであり、v3ではModernBERT-Jaをベースに最大8,192トークンの入力をサポートします。30M〜310Mの複数サイズが提供され、JMTEBベンチマークで74.5〜77.2のスコアを達成しています。ruri-v3-310m(634k/week)が引き続き首位を維持し、ruri-v3-30m(126k/week)も幅広く利用されており、日本語埋め込みモデルの標準的選択肢となっています。中間サイズのruri-v3-130m(93k/week)とruri-v3-70m(14k/week)も定着しており、精度と推論コストのトレードオフに応じてサイズを選べる点がRuriシリーズの強みとなっています。
PLaMo-Embedding-1B(Preferred Networks)は1Bパラメータの大規模埋め込みモデルであり、JMTEBベンチマークで高い性能を示します。Apache v2.0ライセンスで無料利用可能です。
sarashina-embedding(SB Intuitions)はSarashina2.1をベースとした1.2Bパラメータの埋め込みモデルであり、多段階対照学習で訓練されJMTEBで最先端スコアを達成しています。
アーキテクチャの観点では、JaColBERTv2は後期インタラクション(ColBERT方式)を採用し検索精度が高い一方、RuriシリーズはSiamese/Bi-encoder方式でリアルタイム検索・キャッシュに向いています。モデルサイズ選択の目安:低遅延・エッジ向けにはruri-v3-30m(30M)、バランス重視にはruri-baseまたはruri-v3-310m(310M、長文対応)、精度最優先にはsarashina-embedding-1b(JMTEB最先端)が適しています。
14.2 特徴抽出(Feature Extraction)
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| sentence-bert-base-ja-mean-tokens-v2 (sonoisa) | 53k | 51 | 日本語Sentence-BERT v2 |
| japanese-clip-vit-b-16 (rinna) | 40k | 25 | 日本語CLIP |
| clip-japanese-base (LINE) | 34k | 30 | 日本語CLIP(10億ペア学習) |
| sentence-bert-base-ja-mean-tokens (sonoisa) | 14k | 11 | 日本語Sentence-BERT v1 |
| clip-japanese-base-v2 (LINE) | 2k | 18 | clip-japanese-baseの改良版 |
| sarashina-embedding-v2-1b (sbintuitions) | 2k | 28 | JMTEB最先端1792次元 |
| t5-base-japanese (sonoisa) | 1k | 57 | 100GB Wikipedia/OSCARで学習 |
日本語CLIPモデルも複数公開されており、rinna/japanese-clip-vit-b-16(40k/week DL)とLINE/clip-japanese-base(34k/week DL)が代表的です。画像とテキストの対応関係の学習に利用されます。後継のclip-japanese-base-v2(2k/week DL)も公開されています。
14.3 テキストリランキング
RAGパイプラインにおけるリランキング(検索結果の再順位付け)のための日本語モデルも充実しています。
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| japanese-reranker-cross-encoder-small-v1 (hotchpotch) | 156k | 5 | CrossEncoder、全HFモデル中11位 |
| ruri-v3-reranker-310m (cl-nagoya) | 137k | 18 | ModernBERT-Jaベース |
| japanese-reranker-xsmall-v2 (hotchpotch) | 28k | 7 | v2版、ONNX対応 |
| japanese-reranker-cross-encoder-xsmall-v1 (hotchpotch) | 16k | 7 | xsmall〜largeの複数サイズ |
| ruri-reranker-small (cl-nagoya) | 3k | 2 | Ruri v1系の小型リランカー |
hotchpotch氏による日本語リランカーシリーズは、xsmallからlargeまでの複数サイズを提供し、JQaRA、JaCWIR、MIRACL、JSQuADの各ベンチマークで評価されています。今回の集計ではjapanese-reranker-cross-encoder-small-v1が週間156kダウンロードでruri-v3-reranker-310m(137k)を再び上回り、text-rankingカテゴリの首位に返り咲きました。それぞれ日本語NLPモデル全体で11位・13位に位置しており、RAGシステムにおけるリランキングの需要の大きさを示しています。以下japanese-reranker-xsmall-v2(28k)、japanese-reranker-cross-encoder-xsmall-v1(16k)と続きます。v2では Flash Attention 2対応やONNX/量子化フォーマットも提供されています。