日文 DeBERTa V2 基礎模型,已在 171 GB 日文維基百科、CC‑100 與 OSCAR 資料上使用 Juman++ 斷詞與 SentencePiece Tokenization 進行預訓練,訓練時間三週,使用八台 NVIDIA A100 GPU,已準備好進行微調。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
24,000
Hugging Face 按讚數
30
收錄日
—
自頁面建立時收錄
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 16,000 |
| 2026年1月 | 7,000 |
| 2026年2月 | 4,000 |
| 2026年3月 | 5,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 2,000 |
| 2026年6月 | 3,000 |
| 2026年7月 | 7,000 |
| 2026年8月 | 5,000 |
| 2026年9月 | 6,000 |
| 2026年10月 | 11,000 |
| 2026年11月 | 24,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 預訓練於 2019 年日本維基百科,使用 IPA 字典與整詞掩碼,12 層、768 維,32,000 詞表,512 令牌序列,1 百萬步;可於 cl‑tohoku/bert‑japanese 在 CC‑BY‑SA 條款下取得。
- deberta-v2-large-japanese-char-wwmku-nlp76kJapanese DeBERTa V2 大型模型已在 171 GB 的日語維基百科、CC‑100、與 OSCAR 上訓練,採用字符級 sentencepiece tokenization 與 whole‑word masking,已準備好通過 Hugging Face Transformers 進行下游微調。
- bert-base-japanese-char-v2tohoku-nlp55k一個 BERT‑base 日語模型(12 層,768 維隱藏狀態,12 頭)在 30 M 句子(約 4 GB)上訓練,使用 Unidic 2.1.2 詞級分詞,隨後進行字級分詞和整詞遮蔽,使用 512 令牌序列、256 批次及 1 M 訓練步驟。
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一款日語 BERT 變體,結合了 local‑global attention 與 RoPE,已在 4.09 T 個日語/英語文本 token 上訓練,支持 102 400 個詞彙、8 192 token 序列,並被優化以配合 Flash Attention 2。
- deberta-v2-base-japanese-char-wwmku-nlp24k一個以 171 GB 日本維基百科、CC‑100 與 OSCAR 文本預訓練的日語 DeBERTa‑V2 基礎模型,採用字元級分詞、全詞遮罩模式,已在 8 台 A100 GPU 上訓練 20 天,並準備好進行下游微調。
- line-distilbert-base-japaneseline-corporation14kLINE DistilBERT Japanese 是一個 66‑million‑parameter 的 DistilBERT 模型,使用內部 BERT‑base 教師在 131 GB 的日本網路文本上進行預訓練,並於 JGLUE 上評估,採用 MeCab Unidic 與 SentencePiece 進行分詞,於 Apache 2.0 授權下釋出。
研究領域相近的資源
- modernbert-ja-130msbintuitions12k一個 132 百萬參數的 Japanese ModernBERT 模型,結合 local‑global 與 RoPE attention,在 4.39 T tokens(日語/英語)上訓練,含有 102‑k‑size 的 vocab,最大 token 長度 8,192,並優化為 Flash Attention 2。共同: 語言模型・語意文本處理
GPTSANtanreinama119通用開關變壓器基於日語模式GitHub共同: 語言模型・語意文本處理
bertinformatix-inc28這個存儲庫提供了使用 RoBERTa 預訓練於日本語語料庫的片段。我們的數據集包括日本維基百科和網頁滾動文章,總共 25GB。釋出的模型是基於 HuggingFace 的模型構建的。GitHub共同: 語言模型・語意文本處理
Laboro-DistilBERT-Japaneselaboroai16勞羅 DistilBERT 日文GitHub共同: 語言模型・語意文本處理
bertjscer-ri14使用BERT(遮罩語言模型)的日語拼寫錯誤修正器。基於BERT的日語校正。GitHub共同: 語言模型・語意文本處理
medbertjpou-medinfo13在日本醫學領域中,預訓練BERT模型的試驗。GitHub共同: 語言模型・語意文本處理