15
多模態
15.1 視覺語言模型
| 模型名 | Stars | 說明 |
|---|---|---|
| LLaVA-JP | 64 | 使用 LLaVA 方法訓練的日語 VLM |
| BLIP2-Japanese | 14 | BLIP2 Q-former 的日語版本 |
| clip-japanese | 13 | 日語 CLIP 模型 |
| llm-jp-vila | 10 | 基於 VILA 的 VLM 訓練 |
| llm-jp-eval-mm | 44 | 多模態 LLM 評估 |
LLaVA-JP 是將 LLaVA 方法應用於日語的視覺語言模型,Stars:64——是日語 VLM 中獲得最多關注的。
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日語 HERON Bench 兩個資料集的 VLM 基準測試工具。
LLaVA-JP
使用 LLaVA 方法訓練的日語 VLM
64
BLIP2-Japanese
BLIP2 Q-former 的日語版本
14
clip-japanese
日語 CLIP 模型
13
llm-jp-vila
基於 VILA 的 VLM 訓練
10
llm-jp-eval-mm
多模態 LLM 評估
44
heron-vlm-leaderboard
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日語 HERON Bench 兩個資料集的 VLM 基準測試工具。
Hugging Face 上的多模態模型
| 模型名 | HF 下載 | 按讚數 | 類別 | 說明 |
|---|---|---|---|---|
| manga-ocr-base (kha-white) | 299k | 192 | image-to-text | 漫畫 OCR;處理縱書/橫書 |
| meiki.txt.recognition.v0 (rtr46) | 42k | 7 | image-to-text | 遊戲文字辨識(D-FINE/MobileNetV4) |
| meiki.text.detect.v0 (rtr46) | 22k | 3 | image-to-text | 面向電子遊戲的文字偵測 |
| sarashina2.2-ocr (sbintuitions) | 1k | 34 | image-to-text | 3B;輸出 Markdown/HTML/LaTeX |
| sarashina2.2-vision-3b (sbintuitions) | 1k | 20 | image-to-text | 3B VLM;SigLIP 編碼器 |
manga-ocr-base 在 Hugging Face 上極受歡迎,週間下載 299k,192 個按讚數。使用視覺編碼器-解碼器架構,以高精確度讀取縱書和橫書的日本漫畫文字(包含振假名)。
meikiocr 系列模型(rtr46)是基於 D-FINE 的 MobileNetV4 日本電子遊戲文字偵測與辨識模型,辨識模型達 45k/週、偵測模型達 29k/週,顯示日語圖像文字辨識的實用需求已擴展到漫畫以外的領域。
sarashina2.2-ocr(SB Intuitions)是 3B 參數的端到端 OCR 模型,可將日語與英語文件結構化輸出為 Markdown,表格轉為 HTML、公式轉為 LaTeX。它整合了基於 SigLIP2 的視覺編碼器與 Sarashina2.2-3B-Instruct。
manga-ocr-base (kha-white)
漫畫 OCR;處理縱書/橫書
299k 192
meiki.txt.recognition.v0 (rtr46)
遊戲文字辨識(D-FINE/MobileNetV4)
42k 7
meiki.text.detect.v0 (rtr46)
面向電子遊戲的文字偵測
22k 3
sarashina2.2-ocr (sbintuitions)
3B;輸出 Markdown/HTML/LaTeX
1k 34
sarashina2.2-vision-3b (sbintuitions)
3B VLM;SigLIP 編碼器
1k 20
VLM 評估與資料集
- eval_vertical_ja(llm-jp):評估多模態 LLM 在豎排日語文本上性能的基準測試。
- modelvista-3lang(kuramitsulab):用於軟體圖理解的 VLM 評估基準(日語、英語、韓語)。Stars:2。
- business-slide-questions(Stockmark):以商業資料(投影片)為對象的 VQA 基準「BusinessSlideVQA」。Stars:2。
- YouCook2-JP(nlab-mpg):烹飪影片字幕資料集 YouCook2 的日語翻譯版。
eval_vertical_ja
- eval_vertical_ja(llm-jp):評估多模態 LLM 在豎排日語文本上性能的基準測試。
modelvista-3lang
- modelvista-3lang(kuramitsulab):用於軟體圖理解的 VLM 評估基準(日語、英語、韓語)。Stars:2。
business-slide-questions
- business-slide-questions(Stockmark):以商業資料(投影片)為對象的 VQA 基準「BusinessSlideVQA」。Stars:2。
YouCook2-JP
- YouCook2-JP(nlab-mpg):烹飪影片字幕資料集 YouCook2 的日語翻譯版。
15.2 圖像描述
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模日語圖像描述資料集。Stars:90。為 MS-COCO 圖像提供日語說明文字。
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):圖像描述方法的日語實作。
JaSPICE(Stars:9):圖像描述評估指標。使用謂詞論元結構的日語自動評估方法。
STAIR-captions
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大規模日語圖像描述資料集。Stars:90。為 MS-COCO 圖像提供日語說明文字。
SAT-for-Japanese
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):圖像描述方法的日語實作。
JaSPICE
JaSPICE(Stars:9):圖像描述評估指標。使用謂詞論元結構的日語自動評估方法。