
日本のビクーニャQAベンチマーク
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
34
+1 (10月13日〜)
最終コミット
2024年6月
GitHub での作成日
2023年8月11日
掲載日
2023年12月21日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 33 |
| 2026年1月 | 33 |
| 2026年2月 | 33 |
| 2026年3月 | 33 |
| 2026年4月 | 33 |
| 2026年5月 | 33 |
| 2026年6月 | 33 |
| 2026年7月 | 33 |
| 2026年8月 | 33 |
| 2026年9月 | 33 |
| 2026年10月 | 33 |
| 2026年11月 | 34 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
JGLUEyahoojapan349JGLUE:日本語一般言語理解評価
llm-jp-evalllm-jp175このツールは、複数のデータセットを横断して日本語の大規模言語モデルを自動評価するものです.
jp-stabletree155JP言語モデル評価ハーネス
japanese-lm-fin-harnesspfnet-research80日本語言語モデルの金融評価ハーネス
japanese-llm-rankingyuzu-ai50このリポジトリは、YuzuAIのラクダリーダーボードをサポートしています。ラクダリーダーボードは、LMSYSのビクーナ評価の日本に特化した類似物です。
japanese-llm-roleplay-benchmarkoshizo42このリポジトリは日本語LLMのキャラクターロールプレイに関する性能を評価するために作成しました。
研究分野が近いリソース
- JEMHopQAsbintuitions297日本語マルチホップ質問応答データセット(JEMHopQA)は、質問・回答と二つのWikipedia記事を結び付ける半構造化派生ステップを提供し、派生フォーマットの更新と複数バージョンリリースにわたる回答セットの拡張が行われています。HF データセット共通: 自然言語インターフェース・質問応答
- rakuda-questionsyuzuai188Rakuda は 40 件の日本語質問—歴史・社会・政府に関する自由回答形式と地理に特化した質問—を提供し、日本語 AI アシスタントのベンチマークに使用でき、vicuna‑eval と比較可能で、datasets.load_dataset で読み込むことができます。HF データセット共通: 自然言語インターフェース・質問応答
- JQaRAhotchpotch436Retrieval‑Augmented Generation (RAG) を評価するための日本語 QA データセットで、JAQKET 質問と Wikipedia パッセージから構築され、金ラベル付きの検索関連性ラベルを持つ。HuggingFace と GitHub でリリースされ、主に nDCG@10 で評価される。HF データセット共通: 自然言語インターフェース・質問応答
- JaQuADSkelterLabsInc916JaQuADは2022年作成の日本語QAデータセットで、Wikipediaから抽出した39,696ペアのSQuAD‑style抽出クエリで構成され、総サイズは73.2 MBです。BERT‑Japaneseでファインチューニングすると78.92 % F1(63.38 % EM)を達成します。HF データセット共通: 自然言語インターフェース・質問応答
niilc-qamynlp19NIILC QAデータ共通: 自然言語インターフェース・質問応答- JAQKETkumapo327日本語のオープンドメインQAデータセット「JAQKET」は、クイズ形式の複数選択問題(v1.0)と自由記述回答生成(v2.0)を提供し、v1.0では13 061件の訓練例と271件の検証例、v2.0では2 154件の訓練例と1 164件の検証例が含まれています。HF データセット共通: 自然言語インターフェース