日文 DeBERTa V3 基礎版本,預訓練於 LLM‑jp v1.0 的 540 B 個 token,使用已調整的 DeBERTa V3 設定,採用 unigram byte‑fallback tokenizer(無形態學分析器),並進行 fine‑tuned 於 JGLUE NLU 任務。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
13,000
Hugging Face 按讚數
21
收錄日
2024年5月13日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 16,000 |
| 2026年1月 | 13,000 |
| 2026年2月 | 6,000 |
| 2026年3月 | 3,000 |
| 2026年4月 | 21,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 5,000 |
| 2026年7月 | 10,000 |
| 2026年8月 | 4,000 |
| 2026年9月 | 5,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 13,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base(12層,768‑次元,12頭)以 Unidic 為基礎的單詞層級加字符層級標記化以及整詞遮蔽,在 CC‑100 和 2023 Wikipedia 上進行預訓練,產生了 7,027‑token 詞彙。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上訓練,使用 Unidic‑lite 詞級分詞,結合 WordPiece 子詞與全詞遮蔽,模型為 24 層、1024 維隱藏、16 頭、32k 詞表;預訓練程式碼位於 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base (12 層, 768‑維度隱藏, 12 頭, 32k 詞彙) 以完整詞遮蔽在 CC‑100 與 2023‑Jan Wikipedia 上預訓練,使用 Unidic 2.1.2 詞級分詞加 WordPiece,訓練 200 萬步。
- t5-base-japanese-v1.1sonoisa17k一個以約 100 GB 的 Wikipedia 與 OSCAR CC‑100 數據(混合 10:1、Byte‑fallback 的 SentencePiece)預訓練的日本 T5‑v1.1 模型,需對下游任務進行微調,包含遷移學習範例程式碼,提示輸出可能存在偏差,且採用 CC‑BY‑SA 4.0 授權。
- Llama-3.1-Swallow-8B-Instruct-v0.5-ggufmmnga7kGGUF 轉換 Llama‑3.1‑Swallow‑8B‑Instruct‑v0.5 由 tokyotech‑llm,結合 TFMC/imatrix‑dataset‑for‑japanese‑LLM,附帶 Build/Run 指令 for llama.cpp.
- sarashina2.2-3b-instruct-v0.1-ggufmmnga4k一個以 GGUF 格式轉換的 sbintuitions 的 sarashina2.2‑3b‑instruct‑v0.1 模型,使用 TFMC/imatrix‑dataset‑for‑japanese‑llm 建構,已準備好通過 llama.cpp 進行 CUDA 啟用推理。
研究領域相近的資源
- japanese-gpt-neox-smallrinna656k一個 12 層、768 隱藏層的日本 GPT‑NeoX 模型,訓練於 CC‑100、C4 和 Wikipedia,兼容 Huggingface,並可選擇使用一個玩具前綴調優權重,使每句結尾強制出現笑臉表情符號。共同: 語言模型・語意文本處理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m — 來自日本情報學研究院 LLM 研發中心的 150M 參數日語語言模型,已以 Hugging Face Transformers 格式發佈,需安裝 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,並以日語維基百科、Common Crawl、WARP/PDF、WARP/HTML 以及 Kaken 數據,使用 unigram byte‑fallback tokenizer 進行預訓練。共同: 語言模型・語意文本處理
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一款日語 BERT 變體,結合了 local‑global attention 與 RoPE,已在 4.09 T 個日語/英語文本 token 上訓練,支持 102 400 個詞彙、8 192 token 序列,並被優化以配合 Flash Attention 2。共同: 語言模型・語意文本處理
- deberta-v2-base-japaneseku-nlp24k日文 DeBERTa V2 基礎模型,已在 171 GB 日文維基百科、CC‑100 與 OSCAR 資料上使用 Juman++ 斷詞與 SentencePiece Tokenization 進行預訓練,訓練時間三週,使用八台 NVIDIA A100 GPU,已準備好進行微調。共同: 語言模型・語意文本處理
- modernbert-ja-130msbintuitions12k一個 132 百萬參數的 Japanese ModernBERT 模型,結合 local‑global 與 RoPE attention,在 4.39 T tokens(日語/英語)上訓練,含有 102‑k‑size 的 vocab,最大 token 長度 8,192,並優化為 Flash Attention 2。共同: 語言模型・語意文本處理
GPTSANtanreinama119通用開關變壓器基於日語模式GitHub共同: 語言模型・語意文本處理