Japanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
13,000
Hugging Face の Like 数
21
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 16,000 |
| 2026年1月 | 13,000 |
| 2026年2月 | 6,000 |
| 2026年3月 | 3,000 |
| 2026年4月 | 21,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 5,000 |
| 2026年7月 | 10,000 |
| 2026年8月 | 4,000 |
| 2026年9月 | 5,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 13,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。
- t5-base-japanese-v1.1sonoisa17k≈100 GB の Wikipedia と OSCAR CC‑100 データ(SentencePiece で 10:1 の混合、byte‑fallback を有する)で事前学習された日本語 T5‑v1.1 モデルで、下流タスクの微調整が必要です。転移学習サンプルコードが含まれ、出力に潜在的なバイアスを示唆しています。ライセンスは CC‑BY‑SA 4.0 です。
- Llama-3.1-Swallow-8B-Instruct-v0.5-ggufmmnga7ktokyotech‑llm による Llama‑3.1‑Swallow‑8B‑Instruct‑v0.5 の GGUF conversion、TFMC/imatrix‑dataset‑for‑japanese‑LLM を組み込んだ、llama.cpp の Build/Run instructions 付き。
- sarashina2.2-3b-instruct-v0.1-ggufmmnga4kTFMC / imatrix‑dataset‑for‑japanese‑llm で構築された sbintuitions の sarashina2.2‑3b‑instruct‑v0.1 モデルの GGUF フォーマット変換。CUDA 対応推論は llama.cpp 経由で実行可能です
研究分野が近いリソース
- japanese-gpt-neox-smallrinna656kCC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。共通: 言語モデル・意味的テキスト処理
- llm-jp-3-150mllm-jp75k「LLM‑jp‑3‑150m」は、情報学研究所のLLM R&D Centerが開発した150Mパラメータを有する日本語言語モデルです。Hugging Face Transformers形式で配布され、torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8 が必要です。Japanese Wikipedia、Common Crawl、WARP/PDF、WARP/HTML、Kaken データを使用し、unigram byte‑fallback tokenizer で事前学習されています。共通: 言語モデル・意味的テキスト処理
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M は local‑global attention と RoPE を組み合わせた日本語 BERT 変種で、4.09 T tokens の日本語/英語テキストで訓練され、102 400語の語彙、8 192トークンのシーケンスをサポートし、Flash Attention 2 用に最適化されています。共通: 言語モデル・意味的テキスト処理
- deberta-v2-base-japaneseku-nlp24k日本語 DeBERTa V2 ベースモデルは、171 GBの日本語 Wikipedia、CC‑100、OSCAR データを用いて Juman++ セグメンテーションと SentencePiece トークン化で事前学習され、8枚の NVIDIA A100 GPU を 3週間使用してトレーニングされ、ファインチューニングに向けて準備ができています。共通: 言語モデル・意味的テキスト処理
- modernbert-ja-130msbintuitions12k132 Mパラメータの日本語 ModernBERT モデルで、ローカルグローバルとRoPE注意を組み合わせ、4.39 T トークン(日本語/英語)で訓練され、102 kサイズの語彙、最大8,192トークン長、Flash Attention 2 に最適化されています共通: 言語モデル・意味的テキスト処理
GPTSANtanreinama119汎用スイッチトランスをベースにした日本語モードGitHub共通: 言語モデル・意味的テキスト処理