15

多模态

15.1 视觉语言模型

模型名 Stars 说明
LLaVA-JP 64 使用 LLaVA 方法训练的日语 VLM
BLIP2-Japanese 14 BLIP2 Q-former 的日语版本
clip-japanese 13 日语 CLIP 模型
llm-jp-vila 10 基于 VILA 的 VLM 训练
llm-jp-eval-mm 44 多模态 LLM 评估

LLaVA-JP 是将 LLaVA 方法应用于日语的视觉语言模型,Stars:64——是日语 VLM 中获得最多关注的。

heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日语 HERON Bench 两个数据集的 VLM 基准测试工具。

LLaVA-JP
使用 LLaVA 方法训练的日语 VLM
64
BLIP2-Japanese
BLIP2 Q-former 的日语版本
14
clip-japanese
日语 CLIP 模型
13
llm-jp-vila
基于 VILA 的 VLM 训练
10
llm-jp-eval-mm
多模态 LLM 评估
44
heron-vlm-leaderboard
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日语 HERON Bench 两个数据集的 VLM 基准测试工具。

Hugging Face 上的多模态模型

模型名 HF 下载 点赞数 类别 说明
manga-ocr-base (kha-white) 299k 192 image-to-text 漫画 OCR;处理纵书/横书
meiki.txt.recognition.v0 (rtr46) 42k 7 image-to-text 游戏文字识别(D-FINE/MobileNetV4)
meiki.text.detect.v0 (rtr46) 22k 3 image-to-text 面向电子游戏的文字检测
sarashina2.2-ocr (sbintuitions) 1k 34 image-to-text 3B;输出 Markdown/HTML/LaTeX
sarashina2.2-vision-3b (sbintuitions) 1k 20 image-to-text 3B VLM;SigLIP 编码器

manga-ocr-base 在 Hugging Face 上极受欢迎,周间下载 299k,192 个点赞数。使用视觉编码器-解码器架构,以高精确度读取纵书和横书的日本漫画文字(包含振假名)。

meikiocr 系列模型(rtr46)是基于 D-FINE 的 MobileNetV4 日本电子游戏文字检测与识别模型,识别模型达 45k/周、检测模型达 29k/周,显示日语图像文字识别的实用需求已扩展到漫画以外的领域。

sarashina2.2-ocr(SB Intuitions)是 3B 参数的端到端 OCR 模型,可将日语与英语文件结构化输出为 Markdown,表格转为 HTML、公式转为 LaTeX。它整合了基于 SigLIP2 的视觉编码器与 Sarashina2.2-3B-Instruct。

manga-ocr-base (kha-white)
漫画 OCR;处理纵书/横书
299k 192
meiki.txt.recognition.v0 (rtr46)
游戏文字识别(D-FINE/MobileNetV4)
42k 7
meiki.text.detect.v0 (rtr46)
面向电子游戏的文字检测
22k 3
sarashina2.2-ocr (sbintuitions)
3B;输出 Markdown/HTML/LaTeX
1k 34
sarashina2.2-vision-3b (sbintuitions)
3B VLM;SigLIP 编码器
1k 20

VLM 评估与数据集

  • eval_vertical_ja(llm-jp):评估多模态 LLM 在竖排日语文本上性能的基准测试。
  • modelvista-3lang(kuramitsulab):用于软件图理解的 VLM 评估基准(日语、英语、韩语)。Stars:2。
  • business-slide-questions(Stockmark):以商业资料(幻灯片)为对象的 VQA 基准"BusinessSlideVQA"。Stars:2。
  • YouCook2-JP(nlab-mpg):烹饪视频字幕数据集 YouCook2 的日语翻译版。
eval_vertical_ja
- eval_vertical_ja(llm-jp):评估多模态 LLM 在竖排日语文本上性能的基准测试。
modelvista-3lang
- modelvista-3lang(kuramitsulab):用于软件图理解的 VLM 评估基准(日语、英语、韩语)。Stars:2。
business-slide-questions
- business-slide-questions(Stockmark):以商业资料(幻灯片)为对象的 VQA 基准"BusinessSlideVQA"。Stars:2。
YouCook2-JP
- YouCook2-JP(nlab-mpg):烹饪视频字幕数据集 YouCook2 的日语翻译版。

15.2 图像描述

STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大规模日语图像描述数据集。Stars:90。为 MS-COCO 图像提供日语说明文字。

ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):图像描述方法的日语实作。

JaSPICE(Stars:9):图像描述评估指标。使用谓词论元结构的日语自动评估方法。


STAIR-captions
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大规模日语图像描述数据集。Stars:90。为 MS-COCO 图像提供日语说明文字。
SAT-for-Japanese
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):图像描述方法的日语实作。
JaSPICE
JaSPICE(Stars:9):图像描述评估指标。使用谓词论元结构的日语自动评估方法。