日本語のDeBERTa‑V2ベースモデルで、171 GBの日本語Wikipedia、CC‑100、およびOSCARテキストをキャラクターレベルトークン化とワードレベルマスクで事前学習し、8台のA100 GPUで20日間訓練済みで、下流のファインチューニングに準備完了です。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
24,000
Hugging Face の Like 数
1
掲載日
—
ページ作成時から掲載
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | — |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | 5,000 |
| 2026年5月 | 2,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 7,000 |
| 2026年8月 | 5,000 |
| 2026年9月 | 7,000 |
| 2026年10月 | 13,000 |
| 2026年11月 | 24,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- bert-base-japanese-whole-word-maskingtohoku-nlp462k2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。
- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。
- bert-base-japanese-char-v2tohoku-nlp55kBERT‑base Japanese model(12層、768‑次元の hidden states、12ヘッド)を、30 M Wikipedia 文(約4 GB)で Unidic 2.1.2 を用いた単語レベルトークン化の後、文字レベルトークン化と全単語マスクを行い、512トークンのシーケンス、256バッチ、1 M トレーニングステップで訓練しました。
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M は local‑global attention と RoPE を組み合わせた日本語 BERT 変種で、4.09 T tokens の日本語/英語テキストで訓練され、102 400語の語彙、8 192トークンのシーケンスをサポートし、Flash Attention 2 用に最適化されています。
- deberta-v2-base-japaneseku-nlp24k日本語 DeBERTa V2 ベースモデルは、171 GBの日本語 Wikipedia、CC‑100、OSCAR データを用いて Juman++ セグメンテーションと SentencePiece トークン化で事前学習され、8枚の NVIDIA A100 GPU を 3週間使用してトレーニングされ、ファインチューニングに向けて準備ができています。
- line-distilbert-base-japaneseline-corporation14kLINE DistilBERT Japanese は、インハウスの BERT‑base 先生を用いて 131 GB の日本語ウェブテキストで事前学習された 66 百万パラメータの DistilBERT モデルであり、JGLUE で評価され、MeCab Unidic と SentencePiece でトークナイズされ、Apache 2.0 ライセンスの下でリリースされました。
研究分野が近いリソース
Japanese-Alpaca-LoRAkunishou141日本語に翻訳したStanford Alpacaのデータセットを用いてLLaMAをファインチューニングし作成したLow-Rank AdapterのリンクとGenerateサンプルコードGitHub共通: 言語モデル・表現学習- modernbert-ja-30msbintuitions3kModernBERT‑Ja‑30Mは、ローカルおよびグローバル注意機構をRoPEと組み合わせた日本語BERTバリアントです。4.39 TBの日本語/英語テキストで訓練され、8,192トークンのシーケンスをサポートし、30 Mから130 Mパラメータのサイズで提供され、Flash Attention 2との組み合わせで最も効果的です。共通: 言語モデル・表現学習
- modernbert-ja-70msbintuitions2kModernBERT‑Ja‑70M は、ローカルとグローバル注意を RoPE と組み合わせた軽量な日本語 BERT 変種です。4.39 T の混合言語トークンでトレーニングされ、語彙数 102 400、最大 8 192 トークンをサポートし、Flash Attention 2 に対応しています。パラメータ数は 30 M から 310 M の複数サイズで提供されます。共通: 言語モデル・表現学習
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。共通: 表現学習・言語モデル
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。共通: 表現学習・言語モデル
bert-japanesecl-tohoku551日本語テキスト用のBERTモデル。GitHub共通: 表現学習・言語モデル