JMMLUは、56科目に跨る7,536問の教師作成質問を収録した、日本語のマルチタスク言語理解ベンチマークです。含まれる科目は、専門医学・心理学・会計学・哲学、及び多様な高校科目です。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
1,000
Hugging Face の Like 数
14
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 548 |
| 2026年1月 | 321 |
| 2026年2月 | 544 |
| 2026年3月 | 780 |
| 2026年4月 | 676 |
| 2026年5月 | 910 |
| 2026年6月 | 480 |
| 2026年7月 | 402 |
| 2026年8月 | 762 |
| 2026年9月 | 2,000 |
| 2026年10月 | 1,000 |
| 2026年11月 | 1,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- emilia-yodasTTS-AGI18kFate/Stay Nightのキャラクター「Emilia」の対話とロアのデータセットで、会話型言語モデルのトレーニングと評価のためにフォーマットされています。
- fgo_voices_jpdeepghs10kFGOワイフのためのJP Voice‑Text Dataset:30,800件、66.4時間の日本語音声コレクション。単一ボイスアクターのキャラクターロライン(1行約7.76 秒)で、ASR/ASVのファインチューニングと評価に有用です。
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JMTEBsbintuitions3kJMTEBは日本語テキスト埋め込みベンチマークで、5つのタスク(クラスタリング、分類、STS、検索、リランキング)と28のデータセットを特徴とし、1行で評価できるスクリプトを提供し、コミュニティの貢献を歓迎する。
- JMMMUJMMMU3kJMMMUは、日本語のマルチモーダルベンチマークで、ネイティブ専門家が翻訳した1,320の文化的に多様な質問(720は文化に依存しない、600は文化固有)に拡張され、現在は公開リーダーボードを備えています。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
研究分野が近いリソース
- jhumanevalkogi-jwu731JHumanEval は HumanEval benchmark の手翻訳版で、164 の Python programming problems を提供し、並行した英語と日本語のコメント付きで、日本語‑LLM のコード生成を評価しつつ、元の英語のエラーを保持します。共通: 多言語・テキスト生成
small_parallel_enjaodashi97機械翻訳ベンチマーク用の50k英日並列コーパス。GitHub共通: 多言語・テキスト生成
JASSMao-KU16JASS:ニューラル機械翻訳のための日本語固有のシーケンス・トゥ・シーケンス事前学習(LREC2020)&言語学的に駆動された低リソースニューラル機械翻訳のためのマルチタスク事前学習(ACM TALLIP)GitHub共通: 多言語・テキスト生成- databricks-dolly-15k-jakunishou1kdatabricks‑dolly‑15k データセットの自動翻訳された日本語版、CC‑BY‑SA‑3.0 ライセンス、2023‑05‑11に最終更新。共通: 多言語・テキスト生成
CourseraParallelCorpusMiningshyyhs15Courseraのコーパスマイニングとマルチステージファインチューニングによる講義翻訳の改善GitHub共通: 多言語・テキスト生成
open-mantra-datasetmantra-inc208AAAI21で発表された「Towards Fully Automated Manga Translation」論文で紹介されたデータセット
AAAI21で発表された「Towards Fully Automated Manga Translation」論文で紹介されたデータセットGitHub共通: 多言語・テキスト生成