DeBERTaV2 base は日本語コーパス(CC‑100、mC4、OSCAR2301、Wikipedia、Wikinews)でトレーニングされ、FP‑16 ファインチューニングで NLU タスク(JSTS、JNLI、JCommonsenseQA)に適用され、CC BY‑SA 4.0 の下でリリースされ、日本の研究助成金で資金提供されました。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
3,000
Hugging Face の Like 数
5
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | 2,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 2,000 |
| 2026年4月 | 4,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 4,000 |
| 2026年7月 | 4,000 |
| 2026年8月 | 4,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 3,000 |
| 2026年11月 | 3,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- bert-base-japanese-whole-word-maskingtohoku-nlp462k2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。
- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。
- bert-base-japanese-char-v2tohoku-nlp55kBERT‑base Japanese model(12層、768‑次元の hidden states、12ヘッド)を、30 M Wikipedia 文(約4 GB)で Unidic 2.1.2 を用いた単語レベルトークン化の後、文字レベルトークン化と全単語マスクを行い、512トークンのシーケンス、256バッチ、1 M トレーニングステップで訓練しました。
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M は local‑global attention と RoPE を組み合わせた日本語 BERT 変種で、4.09 T tokens の日本語/英語テキストで訓練され、102 400語の語彙、8 192トークンのシーケンスをサポートし、Flash Attention 2 用に最適化されています。
- deberta-v2-base-japanese-char-wwmku-nlp24k日本語のDeBERTa‑V2ベースモデルで、171 GBの日本語Wikipedia、CC‑100、およびOSCARテキストをキャラクターレベルトークン化とワードレベルマスクで事前学習し、8台のA100 GPUで20日間訓練済みで、下流のファインチューニングに準備完了です。
- deberta-v2-base-japaneseku-nlp24k日本語 DeBERTa V2 ベースモデルは、171 GBの日本語 Wikipedia、CC‑100、OSCAR データを用いて Juman++ セグメンテーションと SentencePiece トークン化で事前学習され、8枚の NVIDIA A100 GPU を 3週間使用してトレーニングされ、ファインチューニングに向けて準備ができています。
研究分野が近いリソース
- japanese-roberta-baserinna9kJapanese‑Roberta‑Base は rinna Co., Ltd. が開発した事前学習済みのマスク言語モデルで、正しいロード方法、トークン前処理、位置ID処理、および使用例に関するガイドラインがあり、先頭に [CLS] トークンが必要であることと、一貫したトークン化を強調しています。共通: 統語的テキスト処理・テキスト分割
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。共通: 統語的テキスト処理・テキスト分割
- bert-base-japanese-chartohoku-nlp11k日本語のBERT‑baseモデル(12層、768次元の隠れレイヤー、12ヘッド)は、MeCab IPA単語レベルトークン化を経て文字レベルトークン化で4000語語彙に変換し、約1700万文(2.6 GB)の日本語Wikipediaで事前学習されました。学習コードはcl‑tohoku/bert‑japaneseにあり、CC BY‑SA 3.0 でリリースされています。共通: 統語的テキスト処理・テキスト分割
- bert-base-japanese-v2tohoku-nlp9kJapanese BERT‑base (12 layers, 768 hidden, 12 heads) は、Unidic 2.1.2 単語レベルトークナイゼーション、WordPiece サブトークナイズ、および whole‑word マスクリングを使用し、4 GBの日本語Wikipedia(約30 M文)で事前学習されています。共通: 統語的テキスト処理・テキスト分割
- bert-base-japanesetohoku-nlp9k約17 Mの日本語Wikipedia文(2.6 GB)で事前学習済みのBERT base modelで、IPA dictionaryとWordPieceでトークナイズし、12層/768-dim hidden states/12 headsを有し、32 000-token vocabularyを備え、1 MステップでCloud TPUs上で訓練され、CC‑BY‑SA 3.0でリリースされています。共通: 統語的テキスト処理・テキスト分割
- deberta-v2-tiny-japaneseku-nlp14kJapanese DeBERTa V2 tinyは、約171 GBの日本語Wikipedia、CC‑100、およびOSCARコーパスで事前学習され、Juman++による形態素解析が必要です。8台のNVIDIA A100 GPUを使用して33時間で訓練され、下流タスクに微調整できます。共通: 統語的テキスト処理・言語モデル