15

多模態

15.1 視覺語言模型

模型名 Stars 說明
LLaVA-JP 64 使用 LLaVA 方法訓練的日語 VLM
BLIP2-Japanese 14 BLIP2 Q-former 的日語版本
clip-japanese 13 日語 CLIP 模型
llm-jp-vila 10 基於 VILA 的 VLM 訓練
llm-jp-eval-mm 44 多模態 LLM 評估

LLaVA-JP 是將 LLaVA 方法應用於日語的視覺語言模型,Stars:64——是日語 VLM 中獲得最多關注的。

heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日語 HERON Bench 兩個資料集的 VLM 基準測試工具。

LLaVA-JP
使用 LLaVA 方法訓練的日語 VLM
64
BLIP2-Japanese
BLIP2 Q-former 的日語版本
14
clip-japanese
日語 CLIP 模型
13
llm-jp-vila
基於 VILA 的 VLM 訓練
10
llm-jp-eval-mm
多模態 LLM 評估
44
heron-vlm-leaderboard
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日語 HERON Bench 兩個資料集的 VLM 基準測試工具。

Hugging Face 上的多模態模型

模型名 HF 下載 按讚數 類別 說明
manga-ocr-base (kha-white) 299k 192 image-to-text 漫畫 OCR;處理縱書/橫書
meiki.txt.recognition.v0 (rtr46) 42k 7 image-to-text 遊戲文字辨識(D-FINE/MobileNetV4)
meiki.text.detect.v0 (rtr46) 22k 3 image-to-text 面向電子遊戲的文字偵測
sarashina2.2-ocr (sbintuitions) 1k 34 image-to-text 3B;輸出 Markdown/HTML/LaTeX
sarashina2.2-vision-3b (sbintuitions) 1k 20 image-to-text 3B VLM;SigLIP 編碼器

manga-ocr-base 在 Hugging Face 上極受歡迎,週間下載 299k,192 個按讚數。使用視覺編碼器-解碼器架構,以高精確度讀取縱書和橫書的日本漫畫文字(包含振假名)。

meikiocr 系列模型(rtr46)是基於 D-FINE 的 MobileNetV4 日本電子遊戲文字偵測與辨識模型,辨識模型達 45k/週、偵測模型達 29k/週,顯示日語圖像文字辨識的實用需求已擴展到漫畫以外的領域。

sarashina2.2-ocr(SB Intuitions)是 3B 參數的端到端 OCR 模型,可將日語與英語文件結構化輸出為 Markdown,表格轉為 HTML、公式轉為 LaTeX。它整合了基於 SigLIP2 的視覺編碼器與 Sarashina2.2-3B-Instruct。

manga-ocr-base (kha-white)
漫畫 OCR;處理縱書/橫書
299k 192
meiki.txt.recognition.v0 (rtr46)
遊戲文字辨識(D-FINE/MobileNetV4)
42k 7
meiki.text.detect.v0 (rtr46)
面向電子遊戲的文字偵測
22k 3
sarashina2.2-ocr (sbintuitions)
3B;輸出 Markdown/HTML/LaTeX
1k 34
sarashina2.2-vision-3b (sbintuitions)
3B VLM;SigLIP 編碼器
1k 20

VLM 評估與資料集

  • eval_vertical_ja(llm-jp):評估多模態 LLM 在豎排日語文本上性能的基準測試。
  • modelvista-3lang(kuramitsulab):用於軟體圖理解的 VLM 評估基準(日語、英語、韓語)。Stars:2。
  • business-slide-questions(Stockmark):以商業資料(投影片)為對象的 VQA 基準「BusinessSlideVQA」。Stars:2。
  • YouCook2-JP(nlab-mpg):烹飪影片字幕資料集 YouCook2 的日語翻譯版。
eval_vertical_ja
- eval_vertical_ja(llm-jp):評估多模態 LLM 在豎排日語文本上性能的基準測試。
modelvista-3lang
- modelvista-3lang(kuramitsulab):用於軟體圖理解的 VLM 評估基準(日語、英語、韓語)。Stars:2。
business-slide-questions
- business-slide-questions(Stockmark):以商業資料(投影片)為對象的 VQA 基準「BusinessSlideVQA」。Stars:2。
YouCook2-JP
- YouCook2-JP(nlab-mpg):烹飪影片字幕資料集 YouCook2 的日語翻譯版。

15.2 圖像描述

STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模日語圖像描述資料集。Stars:90。為 MS-COCO 圖像提供日語說明文字。

ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):圖像描述方法的日語實作。

JaSPICE(Stars:9):圖像描述評估指標。使用謂詞論元結構的日語自動評估方法。


STAIR-captions
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模日語圖像描述資料集。Stars:90。為 MS-COCO 圖像提供日語說明文字。
SAT-for-Japanese
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):圖像描述方法的日語實作。
JaSPICE
JaSPICE(Stars:9):圖像描述評估指標。使用謂詞論元結構的日語自動評估方法。