ModernBERT‑Ja‑310M 是一款日語 BERT 變體,結合了 local‑global attention 與 RoPE,已在 4.09 T 個日語/英語文本 token 上訓練,支持 102 400 個詞彙、8 192 token 序列,並被優化以配合 Flash Attention 2。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
36,000
Hugging Face 按讚數
32
收錄日
2025年3月4日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 37,000 |
| 2026年1月 | 22,000 |
| 2026年2月 | 3,000 |
| 2026年3月 | 5,000 |
| 2026年4月 | 6,000 |
| 2026年5月 | 10,000 |
| 2026年6月 | 14,000 |
| 2026年7月 | 19,000 |
| 2026年8月 | 17,000 |
| 2026年9月 | 31,000 |
| 2026年10月 | 48,000 |
| 2026年11月 | 36,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 預訓練於 2019 年日本維基百科,使用 IPA 字典與整詞掩碼,12 層、768 維,32,000 詞表,512 令牌序列,1 百萬步;可於 cl‑tohoku/bert‑japanese 在 CC‑BY‑SA 條款下取得。
- deberta-v2-large-japanese-char-wwmku-nlp76kJapanese DeBERTa V2 大型模型已在 171 GB 的日語維基百科、CC‑100、與 OSCAR 上訓練,採用字符級 sentencepiece tokenization 與 whole‑word masking,已準備好通過 Hugging Face Transformers 進行下游微調。
- bert-base-japanese-char-v2tohoku-nlp55k一個 BERT‑base 日語模型(12 層,768 維隱藏狀態,12 頭)在 30 M 句子(約 4 GB)上訓練,使用 Unidic 2.1.2 詞級分詞,隨後進行字級分詞和整詞遮蔽,使用 512 令牌序列、256 批次及 1 M 訓練步驟。
- deberta-v2-base-japanese-char-wwmku-nlp24k一個以 171 GB 日本維基百科、CC‑100 與 OSCAR 文本預訓練的日語 DeBERTa‑V2 基礎模型,採用字元級分詞、全詞遮罩模式,已在 8 台 A100 GPU 上訓練 20 天,並準備好進行下游微調。
- deberta-v2-base-japaneseku-nlp24k日文 DeBERTa V2 基礎模型,已在 171 GB 日文維基百科、CC‑100 與 OSCAR 資料上使用 Juman++ 斷詞與 SentencePiece Tokenization 進行預訓練,訓練時間三週,使用八台 NVIDIA A100 GPU,已準備好進行微調。
- line-distilbert-base-japaneseline-corporation14kLINE DistilBERT Japanese 是一個 66‑million‑parameter 的 DistilBERT 模型,使用內部 BERT‑base 教師在 131 GB 的日本網路文本上進行預訓練,並於 JGLUE 上評估,採用 MeCab Unidic 與 SentencePiece 進行分詞,於 Apache 2.0 授權下釋出。
研究領域相近的資源
- modernbert-ja-130msbintuitions12k一個 132 百萬參數的 Japanese ModernBERT 模型,結合 local‑global 與 RoPE attention,在 4.39 T tokens(日語/英語)上訓練,含有 102‑k‑size 的 vocab,最大 token 長度 8,192,並優化為 Flash Attention 2。共同: 語言模型・語意文本處理
GPTSANtanreinama119通用開關變壓器基於日語模式GitHub共同: 語言模型・語意文本處理
bertinformatix-inc28這個存儲庫提供了使用 RoBERTa 預訓練於日本語語料庫的片段。我們的數據集包括日本維基百科和網頁滾動文章,總共 25GB。釋出的模型是基於 HuggingFace 的模型構建的。GitHub共同: 語言模型・語意文本處理
Laboro-DistilBERT-Japaneselaboroai16勞羅 DistilBERT 日文GitHub共同: 語言模型・語意文本處理
bertjscer-ri14使用BERT(遮罩語言模型)的日語拼寫錯誤修正器。基於BERT的日語校正。GitHub共同: 語言模型・語意文本處理
medbertjpou-medinfo13在日本醫學領域中,預訓練BERT模型的試驗。GitHub共同: 語言模型・語意文本處理