一個日語 T5 模型,預訓練於約 100 GB 的 Wikipedia 與 OSCAR 數據,使用 SentencePiece 分詞,超越了 Google 的多語言 T5,在新聞分類基準上表現更佳,但仍需要微調,且可能產生偏見輸出。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
1,000
Hugging Face 按讚數
57
收錄日
—
自頁面建立時收錄
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 3,000 |
| 2026年1月 | 2,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 2,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 5,000 |
| 2026年6月 | 81,000 |
| 2026年7月 | 204,000 |
| 2026年8月 | 216,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 2,000 |
| 2026年11月 | 1,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k一個日本語的 Sentence‑BERT v2,經過在 cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking 上微調,並採用 MultipleNegativesRankingLoss,與 v1 相比提升了約 1.5–2 % 的準確率,並以 sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 形式釋出。
- clip-japanese-baseline-corporation34kLY Corporation 的 clip‑japanese‑base 是一個訓練於約 1 B 影像‑文字配對的日文 CLIP 模型,使用 Eva02‑B Transformer 影像編碼器並配備 12 層 BERT 文字編碼器,於 STAIR 的 R@1 成績為 0.30,於 Recruit 的準確度為 0.89,以及於 ImageNet‑1K 的準確度為 0.58,並支援零樣本影像分類與檢索。
- transformers-ud-japanese-electra-base-ginza-510megagonlabs22kja_ginza_electra 是一個 spaCy v3 Python 套件,提供已在 mC4 和 UD_Japanese_BCCWJ r2.8 上微調的日語 ELECTRA 模型(基於 megagonlabs/transformers‑ud‑japanese‑electra‑base‑discrimininator),並具備自訂 bunsetu‑phrase detection,依照 MIT license 發佈。
- sentence-bert-base-ja-mean-tokenssonoisa14kJapanese Sentence‑BERT (v1) 模型,用於生成句子嵌入,並提供改進版 v2,並可透過 Hugging Face Transformers 與自訂的 SentenceBertJapanese 類別示範使用。
- sentence-luke-japanese-base-litesonoisa10kJapanese Sentence‑LUKE 模型在與 Sentence‑BERT 相同的資料集上進行訓練,表現優於或相當於 Sentence‑BERT,基於 studio‑ousia/luke‑japanese‑base‑lite 建立,並透過 Hugging Face Transformers 的 MLukeTokenizer 與 LukeModel 使用。
- clip-japanese-base-v2line-corporation2kJapanese CLIP 模型 clip‑japanese‑base‑v2,升級至約 2 B 影像‑文字配對並 distillation,將 Eva02‑B 影像編碼器與 12 層 BERT 文本編碼器結合,以達到比其前身更高的 ImageNet‑1k 準確度 (0.708)。
研究領域相近的資源
- t5-base-japanese-v1.1sonoisa17k一個以約 100 GB 的 Wikipedia 與 OSCAR CC‑100 數據(混合 10:1、Byte‑fallback 的 SentencePiece)預訓練的日本 T5‑v1.1 模型,需對下游任務進行微調,包含遷移學習範例程式碼,提示輸出可能存在偏差,且採用 CC‑BY‑SA 4.0 授權。共同: 文本生成・語言模型
gpt2-japanesetanreinama322日本語GPT2生成モデルGitHub共同: 文本生成・語言模型
t5-japanesemegagonlabs39預訓練日語T5模型的代碼GitHub共同: 文本生成・語言模型- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一款日語 BERT 變體,結合了 local‑global attention 與 RoPE,已在 4.09 T 個日語/英語文本 token 上訓練,支持 102 400 個詞彙、8 192 token 序列,並被優化以配合 Flash Attention 2。共同: 語言模型・語意文本處理
- deberta-v2-base-japaneseku-nlp24k日文 DeBERTa V2 基礎模型,已在 171 GB 日文維基百科、CC‑100 與 OSCAR 資料上使用 Juman++ 斷詞與 SentencePiece Tokenization 進行預訓練,訓練時間三週,使用八台 NVIDIA A100 GPU,已準備好進行微調。共同: 語言模型・語意文本處理
- modernbert-ja-130msbintuitions12k一個 132 百萬參數的 Japanese ModernBERT 模型,結合 local‑global 與 RoPE attention,在 4.39 T tokens(日語/英語)上訓練,含有 102‑k‑size 的 vocab,最大 token 長度 8,192,並優化為 Flash Attention 2。共同: 語言模型・語意文本處理