15
多模态
15.1 视觉语言模型
| 模型名 | Stars | 说明 |
|---|---|---|
| LLaVA-JP | 64 | 使用 LLaVA 方法训练的日语 VLM |
| BLIP2-Japanese | 14 | BLIP2 Q-former 的日语版本 |
| clip-japanese | 13 | 日语 CLIP 模型 |
| llm-jp-vila | 10 | 基于 VILA 的 VLM 训练 |
| llm-jp-eval-mm | 44 | 多模态 LLM 评估 |
LLaVA-JP 是将 LLaVA 方法应用于日语的视觉语言模型,Stars:64——是日语 VLM 中获得最多关注的。
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日语 HERON Bench 两个数据集的 VLM 基准测试工具。
LLaVA-JP
使用 LLaVA 方法训练的日语 VLM
64
BLIP2-Japanese
BLIP2 Q-former 的日语版本
14
clip-japanese
日语 CLIP 模型
13
llm-jp-vila
基于 VILA 的 VLM 训练
10
llm-jp-eval-mm
多模态 LLM 评估
44
heron-vlm-leaderboard
heron-vlm-leaderboard(Stars:6):使用 LLaVA-Bench-In-the-Wild 和日语 HERON Bench 两个数据集的 VLM 基准测试工具。
Hugging Face 上的多模态模型
| 模型名 | HF 下载 | 点赞数 | 类别 | 说明 |
|---|---|---|---|---|
| manga-ocr-base (kha-white) | 299k | 192 | image-to-text | 漫画 OCR;处理纵书/横书 |
| meiki.txt.recognition.v0 (rtr46) | 42k | 7 | image-to-text | 游戏文字识别(D-FINE/MobileNetV4) |
| meiki.text.detect.v0 (rtr46) | 22k | 3 | image-to-text | 面向电子游戏的文字检测 |
| sarashina2.2-ocr (sbintuitions) | 1k | 34 | image-to-text | 3B;输出 Markdown/HTML/LaTeX |
| sarashina2.2-vision-3b (sbintuitions) | 1k | 20 | image-to-text | 3B VLM;SigLIP 编码器 |
manga-ocr-base 在 Hugging Face 上极受欢迎,周间下载 299k,192 个点赞数。使用视觉编码器-解码器架构,以高精确度读取纵书和横书的日本漫画文字(包含振假名)。
meikiocr 系列模型(rtr46)是基于 D-FINE 的 MobileNetV4 日本电子游戏文字检测与识别模型,识别模型达 45k/周、检测模型达 29k/周,显示日语图像文字识别的实用需求已扩展到漫画以外的领域。
sarashina2.2-ocr(SB Intuitions)是 3B 参数的端到端 OCR 模型,可将日语与英语文件结构化输出为 Markdown,表格转为 HTML、公式转为 LaTeX。它整合了基于 SigLIP2 的视觉编码器与 Sarashina2.2-3B-Instruct。
manga-ocr-base (kha-white)
漫画 OCR;处理纵书/横书
299k 192
meiki.txt.recognition.v0 (rtr46)
游戏文字识别(D-FINE/MobileNetV4)
42k 7
meiki.text.detect.v0 (rtr46)
面向电子游戏的文字检测
22k 3
sarashina2.2-ocr (sbintuitions)
3B;输出 Markdown/HTML/LaTeX
1k 34
sarashina2.2-vision-3b (sbintuitions)
3B VLM;SigLIP 编码器
1k 20
VLM 评估与数据集
- eval_vertical_ja(llm-jp):评估多模态 LLM 在竖排日语文本上性能的基准测试。
- modelvista-3lang(kuramitsulab):用于软件图理解的 VLM 评估基准(日语、英语、韩语)。Stars:2。
- business-slide-questions(Stockmark):以商业资料(幻灯片)为对象的 VQA 基准"BusinessSlideVQA"。Stars:2。
- YouCook2-JP(nlab-mpg):烹饪视频字幕数据集 YouCook2 的日语翻译版。
eval_vertical_ja
- eval_vertical_ja(llm-jp):评估多模态 LLM 在竖排日语文本上性能的基准测试。
modelvista-3lang
- modelvista-3lang(kuramitsulab):用于软件图理解的 VLM 评估基准(日语、英语、韩语)。Stars:2。
business-slide-questions
- business-slide-questions(Stockmark):以商业资料(幻灯片)为对象的 VQA 基准"BusinessSlideVQA"。Stars:2。
YouCook2-JP
- YouCook2-JP(nlab-mpg):烹饪视频字幕数据集 YouCook2 的日语翻译版。
15.2 图像描述
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大规模日语图像描述数据集。Stars:90。为 MS-COCO 图像提供日语说明文字。
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):图像描述方法的日语实作。
JaSPICE(Stars:9):图像描述评估指标。使用谓词论元结构的日语自动评估方法。
STAIR-captions
STAIR-captions(STAIR-Lab-CIT/STAIR-captions):大规模日语图像描述数据集。Stars:90。为 MS-COCO 图像提供日语说明文字。
SAT-for-Japanese
ClipCap-for-Japanese(Stars:13)、SAT-for-Japanese(Stars:2):图像描述方法的日语实作。
JaSPICE
JaSPICE(Stars:9):图像描述评估指标。使用谓词论元结构的日语自动评估方法。