
このツールは、複数のデータセットにわたって日本語のマルチモーダル大規模言語モデルを自動的に評価します。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
44
±0 (10月13日〜)
パッケージの週間ダウンロード数
81
パッケージの累計ダウンロード数
20,000
最終コミット
2026年4月
GitHub での作成日
2024年7月9日
掲載日
2025年3月25日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 40 |
| 2026年1月 | 40 |
| 2026年2月 | 41 |
| 2026年3月 | 41 |
| 2026年4月 | 41 |
| 2026年5月 | 41 |
| 2026年6月 | 42 |
| 2026年7月 | 43 |
| 2026年8月 | 43 |
| 2026年9月 | 44 |
| 2026年10月 | 44 |
| 2026年11月 | 44 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: eval-mm · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
5,989
日本からの割合(直近1年)
2.2%
依存している PyPI パッケージ
0
うち必須の依存 0
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 402 |
| 2024年10月 | 610 |
| 2024年11月 | 1,760 |
| 2024年12月 | 2,059 |
| 2025年1月 | 1,061 |
| 2025年2月 | 752 |
| 2025年3月 | 2,006 |
| 2025年4月 | 1,452 |
| 2025年5月 | 790 |
| 2025年6月 | 613 |
| 2025年7月 | 871 |
| 2025年8月 | 440 |
| 2025年9月 | 631 |
| 2025年10月 | 395 |
| 2025年11月 | 456 |
| 2025年12月 | 568 |
| 2026年1月 | 647 |
| 2026年2月 | 395 |
| 2026年3月 | 475 |
| 2026年4月 | 507 |
| 2026年5月 | 564 |
| 2026年6月 | 505 |
| 2026年7月 | 518 |
| 2026年8月 | 551 |
| 2026年9月 | 299 |
| 2026年10月 | 504 |
同じカテゴリで人気のリソース
llm-leaderboardwandb95日本のタスクのLLM評価プロジェクト
japanese-llm-rankingyuzu-ai50このリポジトリは、YuzuAIのラクダリーダーボードをサポートしています。ラクダリーダーボードは、LMSYSのビクーナ評価の日本に特化した類似物です。
japanese-llm-roleplay-benchmarkoshizo42このリポジトリは日本語LLMのキャラクターロールプレイに関する性能を評価するために作成しました。
gpt4-autoevalnorthern-system-service17GPT-4 を用いて、言語モデルの応答を自動評価するスクリプト
IgakuQA119naoto-iwase10第119回日本医師免許試験におけるLLMの評価
jp-tl-benchshisa-ai6双方向日本語-英語翻訳のためのアンカードペアワイズLLM評価
研究分野が近いリソース
jmed-llmsociocom59JMED-LLM: 大規模言語モデル向けの日本医学評価データセット共通: 言語モデル・意味的テキスト処理- japanese-gpt-neox-smallrinna656kCC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。HF モデル共通: 言語モデル・意味的テキスト処理
- llm-jp-3-150mllm-jp75k「LLM‑jp‑3‑150m」は、情報学研究所のLLM R&D Centerが開発した150Mパラメータを有する日本語言語モデルです。Hugging Face Transformers形式で配布され、torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8 が必要です。Japanese Wikipedia、Common Crawl、WARP/PDF、WARP/HTML、Kaken データを使用し、unigram byte‑fallback tokenizer で事前学習されています。HF モデル共通: 言語モデル・意味的テキスト処理
IgakuQAjungokasai52日本の医師免許試験におけるGPT-4とChatGPTの評価共通: 言語モデル・意味的テキスト処理- llm-jp-3-1.8bllm-jp3k日本語大規模言語モデル(1.8 b から 172 b beta1、インストラクションバリアント付き)のコレクションで、NIIの研究開発センターから提供され、Hugging Face Transformers 形式でパッケージ化され、1兆語以上の日本語・英語・Web コーパスを混合して事前学習されています。torch ≥ 2.3、transformers ≥ 4.40、accelerate ≥ 0.29、flash‑attn ≥ 2.5 が必要です。HF モデル共通: 言語モデル・意味的テキスト処理
- japanese-gpt-1brinna2k1.3Bパラメータ、24層のトランスフォーマー GPT-1Bは、日本語C4、CC-100、およびWikipediaで学習され、rinna Co. によって2022年1月26日にリリースされ、MITライセンスの下で利用可能です。HF モデル共通: 言語モデル・意味的テキスト処理