マルチモーダル
15.1 Vision-Language Models
| モデル名 | Star数 | 特徴 |
|---|---|---|
| LLaVA-JP | 64 | LLaVAメソッドで訓練された日本語VLM |
| BLIP2-Japanese | 14 | BLIP2 Q-formerの日本語版 |
| clip-japanese | 13 | 日本語CLIPモデル |
| llm-jp-vila | 10 | VILAベースのVLMトレーニング |
| llm-jp-eval-mm | 44 | マルチモーダルLLM評価 |
LLaVA-JPはLLaVA手法を日本語に適用したVision-Language Modelであり、Star数64と日本語VLMで最も注目されています。
heron-vlm-leaderboard(Star 6)はVLMのベンチマークツールであり、LLaVA-Bench-In-the-WildとJapanese HERON Benchの2つのデータセットを使用します。
Hugging Faceにおけるマルチモーダルモデル
| モデル名 | HF DL数 | Like数 | カテゴリ | 特徴 |
|---|---|---|---|---|
| manga-ocr-base (kha-white) | 299k | 192 | image-to-text | マンガOCR、縦書き/横書き対応 |
| meiki.txt.recognition.v0 (rtr46) | 42k | 7 | image-to-text | ゲームテキスト認識(D-FINE/MobileNetV4) |
| meiki.text.detect.v0 (rtr46) | 22k | 3 | image-to-text | ゲーム向けテキスト検出 |
| sarashina2.2-ocr (sbintuitions) | 1k | 34 | image-to-text | 3B、Markdown/HTML/LaTeX出力 |
| sarashina2.2-vision-3b (sbintuitions) | 1k | 20 | image-to-text | 3B VLM、SigLIPエンコーダ |
manga-ocr-baseはHugging Faceで299k/weekダウンロード、Like数192と非常に高い人気を持っています。Vision Encoder-Decoderアーキテクチャで、縦書き・横書きの日本語マンガテキスト(フリガナ含む)を高精度に読み取ります。
meikiocr系モデル(rtr46)はD-FINEベースのMobileNetV4を用いた日本のビデオゲーム向けテキスト検出・認識モデルであり、認識モデルが45k/week、検出モデルが29k/weekと、マンガ以外の日本語画像テキスト認識でも実用的な利用が広がっていることを示しています。
sarashina2.2-ocr(SB Intuitions)は3BパラメータのエンドツーエンドOCRモデルであり、日本語・英語文書をMarkdownへ、表をHTML、数式をLaTeXへと構造化して出力します。SigLIP2ベースのビジョンエンコーダとSarashina2.2-3B-Instructを統合しています。
VLM評価・データセット
- eval_vertical_ja(llm-jp):縦書き日本語テキストにおけるマルチモーダルLLMの性能評価ベンチマーク。
- modelvista-3lang(kuramitsulab):ソフトウェア図理解のためのVLM評価ベンチマーク(日本語・英語・韓国語対応)。Star数2。
- business-slide-questions(Stockmark):ビジネス資料(スライド)を対象とするVQAベンチマーク「BusinessSlideVQA」。Star数2。
- YouCook2-JP(nlab-mpg):料理動画キャプションデータセットYouCook2の日本語翻訳版。
15.2 画像キャプション
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模な日本語画像キャプションデータセット。Star数90。MS-COCOの画像に対する日本語キャプションを提供します。
ClipCap-for-Japanese(Star 13)、SAT-for-Japanese(Star 2):画像キャプション手法の日本語実装。
JaSPICE(Star 9):画像キャプション評価メトリック。述語引数構造を利用した日本語向けの自動評価です。