『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
666
Hugging Face の Like 数
3
掲載日
2024年9月4日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 457 |
| 2026年1月 | 109 |
| 2026年2月 | 172 |
| 2026年3月 | 126 |
| 2026年4月 | 150 |
| 2026年5月 | 173 |
| 2026年6月 | 164 |
| 2026年7月 | 308 |
| 2026年8月 | 226 |
| 2026年9月 | 145 |
| 2026年10月 | 259 |
| 2026年11月 | 666 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- JMedBenchColdog23331kJMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
- JDocQA-Reasoningricoh-ai269リコーがGENIACプロジェクトのために公開した日本語ベンチマーク「JDocQA Reasoning Bench」は、複雑なチャート・表・図を用いた1,286問の推論問題でLMMを評価し、自動化されたLLM-as‑Judgeスコアリングを使用します。
- ChouBunSakanaAI103ChouBunは、Wikipedia記事、EDINETの証券報告書、および企業文書から構築された、日本語長文コンテキストベンチマークです。抽出型QA(wiki_qa, edinet_qa)と要約型サマリー(corp_sec_qa, corp_sec_sum)の2種類のタスクを備え、THUDM/LongBench形式に標準化され、最大32768トークンのコンテキストが利用可能です。
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
研究分野が近いリソース
- JAQKETkumapo327日本語のオープンドメインQAデータセット「JAQKET」は、クイズ形式の複数選択問題(v1.0)と自由記述回答生成(v2.0)を提供し、v1.0では13 061件の訓練例と271件の検証例、v2.0では2 154件の訓練例と1 164件の検証例が含まれています。共通: 自然言語インターフェース・アノテーション・データセット構築
medLLM_QA_benchmarkaistairc6医療LLMのための英語、日本語、中国語の3か国語QA基準GitHub共通: アノテーション・データセット構築- JaQuADSkelterLabsInc916JaQuADは2022年作成の日本語QAデータセットで、Wikipediaから抽出した39,696ペアのSQuAD‑style抽出クエリで構成され、総サイズは73.2 MBです。BERT‑Japaneseでファインチューニングすると78.92 % F1(63.38 % EM)を達成します。共通: 自然言語インターフェース・アノテーション・データセット構築
- auto-wiki-qacl-nagoya747AutoWikiQA は、Swallow-MX と LLMs(ルールベースのテンプレートを使わず)を用いて Wikipedia から自動生成された質問–回答ペアを手作業でフィルタリングし、230 万件以上の無料の日本語 QA データセットです。知識教示および検索強化生成アプリケーションをサポートします。共通: アノテーション・データセット構築
- nri-fin-reasoningnri-ai707日本語の指示データセットで、632,636 のマルチターンサンプル(約6.35 Bトークン)と、GPT‑OSS‑120b の推論トレースが含まれ、オープンエンド、数学、執筆、MCQA タスクで、135 の金融トピックと 20 の一般トピックを網羅し、LLM の推論を金融でファインチューニングするよう設計されています。共通: アノテーション・データセット構築
- EDINET-BenchSakanaAI662EDINET‑Bench は、10 年分の EDINET‑API 公開レポートを使用して、会計不正検出、収益予測、業界予測などのタスクで LLM を評価する日本の金融ベンチマークです。構築・評価コードが提供され、データセットは PDL 1.0 に再ライセンスされています。共通: アノテーション・データセット構築