日本語ビジュアルノベルを英訳する際のセマンティック精度で大型言語モデルをランキングするリーダーボード。256サンプルに対してコサイン類似度を用い、Sugoi Translator、Google Translate、Naver Papago、Alibaba Translate などと比較するため chrF スコアを報告します。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
857
Hugging Face の Like 数
44
掲載日
2024年10月29日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 3,000 |
| 2026年1月 | 156 |
| 2026年2月 | 196 |
| 2026年3月 | — |
| 2026年4月 | 209 |
| 2026年5月 | 624 |
| 2026年6月 | — |
| 2026年7月 | 101 |
| 2026年8月 | 237 |
| 2026年9月 | 397 |
| 2026年10月 | 2,000 |
| 2026年11月 | 857 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- JMMMUJMMMU3kJMMMUは、日本語のマルチモーダルベンチマークで、ネイティブ専門家が翻訳した1,320の文化的に多様な質問(720は文化に依存しない、600は文化固有)に拡張され、現在は公開リーダーボードを備えています。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
- JAMMEvalllm-jp830JAMMEval は七つの日本語 VQA データセットを蒸留したベンチマークであり、曖昧さと非視覚的質問を除去するために二回のヒトアノテーションで改良され、マルチモーダル日本語タスクにおけるビジョン‑ランゲージモデルの信頼性の高い評価を提供します。
- jhumanevalkogi-jwu731JHumanEval は HumanEval benchmark の手翻訳版で、164 の Python programming problems を提供し、並行した英語と日本語のコメント付きで、日本語‑LLM のコード生成を評価しつつ、元の英語のエラーを保持します。
- llm-jp-evalllm-book666『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
研究分野が近いリソース
- EDINET-BenchSakanaAI662EDINET‑Bench は、10 年分の EDINET‑API 公開レポートを使用して、会計不正検出、収益予測、業界予測などのタスクで LLM を評価する日本の金融ベンチマークです。構築・評価コードが提供され、データセットは PDL 1.0 に再ライセンスされています。共通: 大規模言語モデル(LLM)・コーパス・データセット
jmed-llmsociocom59JMED-LLM: 大規模言語モデル向けの日本医学評価データセットGitHub共通: 大規模言語モデル(LLM)・コーパス・データセット
japanese-llm-benchmarkshi3z53さまざまなLLMの日本語能力を評価するためのベンチマークツール。GitHub共通: 大規模言語モデル(LLM)・コーパス・データセット- KokushiMD-10humanalysis-square327KokushiMD‑10は、10種類の日本語医療職向けの多言語ベンチマークであり、テキストのみと画像を用いた単一選択・複数選択・計算・穴埋め問題が含まれ、チェーンオブソート説明付きです。日本語、英語、または混合の分割で入手可能です。共通: コーパス・データセット・評価・ベンチマーク
- Japanese-Heron-Benchturing-motors316Japanese‑Heron‑Bench は、7つのサブカテゴリからなる21枚の画像と、それぞれが3カテゴリ(Conversation、Detail、Complex)の質問にペアリングされた日本語 VLM ベンチマークであり、CC BY ライセンス下で合計102件のクエリを含みます。共通: コーパス・データセット・評価・ベンチマーク
cameraCyberAgentAILab26CAMERA(CyberAgent Multimodal Evaluation for Ad Text GeneRAtion)は、日本の広告テキスト生成データセットです。GitHub共通: コーパス・データセット・評価・ベンチマーク