JMedBenchは日本語医療・生物医学用LLMベンチマークであり、20のデータセットをMCQA、NER、STSなどを含む5つのタスクにまたがって構成しています。データセットはMedMCQA、PubMedQA、MMLUなどから取得されており、それぞれに独自のライセンスが付属しています。また、翻訳にバイアスが含まれる可能性があるため、人間によるレビューが必要であるという注意事項が記載されています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
1,000
Hugging Face の Like 数
8
掲載日
2024年9月4日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 11,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 879 |
| 2026年3月 | 975 |
| 2026年4月 | 2,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 402 |
| 2026年8月 | 2,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 1,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- llm-jp-evalllm-book666『Introduction to Large‑Scale LLM II』で使用され、llm‑jp‑eval によって作成されたクロスデータセットの日本語LLM評価用のja‑vicuna‑qa‑benchmarkのデータセットカード(Apache 2.0)。
- JDocQA-Reasoningricoh-ai269リコーがGENIACプロジェクトのために公開した日本語ベンチマーク「JDocQA Reasoning Bench」は、複雑なチャート・表・図を用いた1,286問の推論問題でLMMを評価し、自動化されたLLM-as‑Judgeスコアリングを使用します。
- ChouBunSakanaAI103ChouBunは、Wikipedia記事、EDINETの証券報告書、および企業文書から構築された、日本語長文コンテキストベンチマークです。抽出型QA(wiki_qa, edinet_qa)と要約型サマリー(corp_sec_qa, corp_sec_sum)の2種類のタスクを備え、THUDM/LongBench形式に標準化され、最大32768トークンのコンテキストが利用可能です。
- JGLUEshunk0313k日本語 NLP ベンチマーク(Yahoo Japan と早稲田大学が作成)に対する JGLUE データセットカードとロードスクリプトを更新しました。テキスト分類(MARC‑ja、JCoLA)、文対分類(JNLI)、QA(JSQuAD、JCommonsenseQA)をカバーし、リリースは GitHub と Hugging Face にリンクされています。
- JamC-QAsbintuitions2kJamC‑QA は、8つの日本文化・知識カテゴリにわたる多肢選択問題のバイリンガルベンチマークで、リーダーボードメトリクスで最先端モデルを比較します。
- JMMMU-ProJMMMU1kJMMMU‑Proは、現実的なモデルと人間による検証で視覚質問を生成して作成された画像ベースの日本語マルチモーダルベンチマークです。現在のオープンソースLMMがこのベンチマークで低い性能を示すことを明らかにし、将来のVQAベンチマーク開発に対して費用効果の高い方法を提供します。
研究分野が近いリソース
jmed-llmsociocom59JMED-LLM: 大規模言語モデル向けの日本医学評価データセットGitHub共通: 言語モデル・意味的テキスト処理- japanese-gpt-neox-smallrinna656kCC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。HF モデル共通: 言語モデル・意味的テキスト処理
- llm-jp-3-150mllm-jp75k「LLM‑jp‑3‑150m」は、情報学研究所のLLM R&D Centerが開発した150Mパラメータを有する日本語言語モデルです。Hugging Face Transformers形式で配布され、torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8 が必要です。Japanese Wikipedia、Common Crawl、WARP/PDF、WARP/HTML、Kaken データを使用し、unigram byte‑fallback tokenizer で事前学習されています。HF モデル共通: 言語モデル・意味的テキスト処理
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。HF モデル共通: 言語モデル・意味的テキスト処理
jp-stabletree155JP言語モデル評価ハーネスGitHub共通: 言語モデル・意味的テキスト処理- llm-jp-3-1.8bllm-jp3k日本語大規模言語モデル(1.8 b から 172 b beta1、インストラクションバリアント付き)のコレクションで、NIIの研究開発センターから提供され、Hugging Face Transformers 形式でパッケージ化され、1兆語以上の日本語・英語・Web コーパスを混合して事前学習されています。torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29、flash‑attn ≥ 2.5 が必要です。HF モデル共通: 言語モデル・意味的テキスト処理