
使用Pytorch來使用BERT的日文預訓練模型。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
35
±0 (10月13日〜)
最後提交
2019年6月
GitHub 建立日期
2019年6月5日
收錄日
2022年6月16日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 35 |
| 2026年1月 | 35 |
| 2026年2月 | 35 |
| 2026年3月 | 35 |
| 2026年4月 | 35 |
| 2026年5月 | 35 |
| 2026年6月 | 35 |
| 2026年7月 | 35 |
| 2026年8月 | 35 |
| 2026年9月 | 35 |
| 2026年10月 | 35 |
| 2026年11月 | 35 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
同分類的熱門資源
lukestudio-ousia727LUKE -- 基於知識嵌入的語言理解
bert-japanesecl-tohoku551日文文本的BERT模型。
bert-japaneseyoheikikuta497使用SentencePiece的BERT模型進行日文文本處理。
gpt2-japanesetanreinama322日本語GPT2生成モデル
japanese-dialog-transformersnttcslab247NTT有限公司提供的評估日語預訓練模型的代碼。
DistilBERT-base-jpBandaiNamcoResearchInc161一個在維基百科上訓練的日本DistilBERT預訓練模型。
研究領域相近的資源
- clip-japanese-baseline-corporation34kLY Corporation 的 clip‑japanese‑base 是一個訓練於約 1 B 影像‑文字配對的日文 CLIP 模型,使用 Eva02‑B Transformer 影像編碼器並配備 12 層 BERT 文字編碼器,於 STAIR 的 R@1 成績為 0.30,於 Recruit 的準確度為 0.89,以及於 ImageNet‑1K 的準確度為 0.58,並支援零樣本影像分類與檢索。HF 模型共同: 視覺資料・多模態
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一款日語 BERT 變體,結合了 local‑global attention 與 RoPE,已在 4.09 T 個日語/英語文本 token 上訓練,支持 102 400 個詞彙、8 192 token 序列,並被優化以配合 Flash Attention 2。HF 模型共同: 語言模型・語意文本處理
- deberta-v2-base-japaneseku-nlp24k日文 DeBERTa V2 基礎模型,已在 171 GB 日文維基百科、CC‑100 與 OSCAR 資料上使用 Juman++ 斷詞與 SentencePiece Tokenization 進行預訓練,訓練時間三週,使用八台 NVIDIA A100 GPU,已準備好進行微調。HF 模型共同: 語言模型・語意文本處理
- modernbert-ja-130msbintuitions12k一個 132 百萬參數的 Japanese ModernBERT 模型,結合 local‑global 與 RoPE attention,在 4.39 T tokens(日語/英語)上訓練,含有 102‑k‑size 的 vocab,最大 token 長度 8,192,並優化為 Flash Attention 2。HF 模型共同: 語言模型・語意文本處理
nlplottakapy0210237自然語言處理的可視化模組共同: 視覺資料・多模態
vimealgon-320227使用Vim作為X11應用程式的輸入法共同: 視覺資料・多模態