15

マルチモーダル

15.1 Vision-Language Models

モデル名 Star数 特徴
LLaVA-JP 64 LLaVAメソッドで訓練された日本語VLM
BLIP2-Japanese 14 BLIP2 Q-formerの日本語版
clip-japanese 13 日本語CLIPモデル
llm-jp-vila 10 VILAベースのVLMトレーニング
llm-jp-eval-mm 44 マルチモーダルLLM評価

LLaVA-JPはLLaVA手法を日本語に適用したVision-Language Modelであり、Star数64と日本語VLMで最も注目されています。

heron-vlm-leaderboard(Star 6)はVLMのベンチマークツールであり、LLaVA-Bench-In-the-WildとJapanese HERON Benchの2つのデータセットを使用します。

LLaVA-JP
LLaVAメソッドで訓練された日本語VLM
64
BLIP2-Japanese
BLIP2 Q-formerの日本語版
14
clip-japanese
日本語CLIPモデル
13
llm-jp-vila
VILAベースのVLMトレーニング
10
llm-jp-eval-mm
マルチモーダルLLM評価
44
heron-vlm-leaderboard
heron-vlm-leaderboard(Star 6)はVLMのベンチマークツールであり、LLaVA-Bench-In-the-WildとJapanese HERON Benchの2つのデータセットを使用します。
6

Hugging Faceにおけるマルチモーダルモデル

モデル名 HF DL数 Like数 カテゴリ 特徴
manga-ocr-base (kha-white) 299k 192 image-to-text マンガOCR、縦書き/横書き対応
meiki.txt.recognition.v0 (rtr46) 42k 7 image-to-text ゲームテキスト認識(D-FINE/MobileNetV4)
meiki.text.detect.v0 (rtr46) 22k 3 image-to-text ゲーム向けテキスト検出
sarashina2.2-ocr (sbintuitions) 1k 34 image-to-text 3B、Markdown/HTML/LaTeX出力
sarashina2.2-vision-3b (sbintuitions) 1k 20 image-to-text 3B VLM、SigLIPエンコーダ

manga-ocr-baseはHugging Faceで299k/weekダウンロード、Like数192と非常に高い人気を持っています。Vision Encoder-Decoderアーキテクチャで、縦書き・横書きの日本語マンガテキスト(フリガナ含む)を高精度に読み取ります。

meikiocr系モデル(rtr46)はD-FINEベースのMobileNetV4を用いた日本のビデオゲーム向けテキスト検出・認識モデルであり、認識モデルが45k/week、検出モデルが29k/weekと、マンガ以外の日本語画像テキスト認識でも実用的な利用が広がっていることを示しています。

sarashina2.2-ocr(SB Intuitions)は3BパラメータのエンドツーエンドOCRモデルであり、日本語・英語文書をMarkdownへ、表をHTML、数式をLaTeXへと構造化して出力します。SigLIP2ベースのビジョンエンコーダとSarashina2.2-3B-Instructを統合しています。

manga-ocr-base (kha-white)
マンガOCR、縦書き/横書き対応
299k 192
meiki.txt.recognition.v0 (rtr46)
ゲームテキスト認識(D-FINE/MobileNetV4)
42k 7
meiki.text.detect.v0 (rtr46)
ゲーム向けテキスト検出
22k 3
sarashina2.2-ocr (sbintuitions)
3B、Markdown/HTML/LaTeX出力
1k 34
sarashina2.2-vision-3b (sbintuitions)
3B VLM、SigLIPエンコーダ
1k 20
sarashina2.2-ocr
sarashina2.2-ocr(SB Intuitions)は3BパラメータのエンドツーエンドOCRモデルであり、日本語・英語文書をMarkdownへ、表をHTML、数式をLaTeXへと構造化して出力します。SigLIP2ベースのビジョンエンコーダとSarashina2.2-3B-Instructを統合しています。

VLM評価・データセット

  • eval_vertical_ja(llm-jp):縦書き日本語テキストにおけるマルチモーダルLLMの性能評価ベンチマーク。
  • modelvista-3lang(kuramitsulab):ソフトウェア図理解のためのVLM評価ベンチマーク(日本語・英語・韓国語対応)。Star数2。
  • business-slide-questions(Stockmark):ビジネス資料(スライド)を対象とするVQAベンチマーク「BusinessSlideVQA」。Star数2。
  • YouCook2-JP(nlab-mpg):料理動画キャプションデータセットYouCook2の日本語翻訳版。
eval_vertical_ja
- eval_vertical_ja(llm-jp):縦書き日本語テキストにおけるマルチモーダルLLMの性能評価ベンチマーク。
modelvista-3lang
- modelvista-3lang(kuramitsulab):ソフトウェア図理解のためのVLM評価ベンチマーク(日本語・英語・韓国語対応)。Star数2。
2
business-slide-questions
- business-slide-questions(Stockmark):ビジネス資料(スライド)を対象とするVQAベンチマーク「BusinessSlideVQA」。Star数2。
2
YouCook2-JP
- YouCook2-JP(nlab-mpg):料理動画キャプションデータセットYouCook2の日本語翻訳版。

15.2 画像キャプション

STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模な日本語画像キャプションデータセット。Star数90。MS-COCOの画像に対する日本語キャプションを提供します。

ClipCap-for-Japanese(Star 13)、SAT-for-Japanese(Star 2):画像キャプション手法の日本語実装。

JaSPICE(Star 9):画像キャプション評価メトリック。述語引数構造を利用した日本語向けの自動評価です。


STAIR-captions
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模な日本語画像キャプションデータセット。Star数90。MS-COCOの画像に対する日本語キャプションを提供します。
90
SAT-for-Japanese
ClipCap-for-Japanese(Star 13)、SAT-for-Japanese(Star 2):画像キャプション手法の日本語実装。
13
JaSPICE
JaSPICE(Star 9):画像キャプション評価メトリック。述語引数構造を利用した日本語向けの自動評価です。
9