A T5 v1.1 日語模型,預訓練於 mC4/ja 與 Wikipedia,採用 GEGLU 激活函式,在預訓練期間無 dropout,具有獨立的 embedding / classifier 層,以及較大的 d_model 但頭數更少,授權為 CC‑BY‑SA 4.0,可商業使用。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
3,000
Hugging Face 按讚數
3
收錄日
2024年5月13日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | 1,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | — |
| 2026年7月 | 6,000 |
| 2026年8月 | 2,000 |
| 2026年9月 | 10,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 3,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base(12層,768‑次元,12頭)以 Unidic 為基礎的單詞層級加字符層級標記化以及整詞遮蔽,在 CC‑100 和 2023 Wikipedia 上進行預訓練,產生了 7,027‑token 詞彙。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上訓練,使用 Unidic‑lite 詞級分詞,結合 WordPiece 子詞與全詞遮蔽,模型為 24 層、1024 維隱藏、16 頭、32k 詞表;預訓練程式碼位於 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base (12 層, 768‑維度隱藏, 12 頭, 32k 詞彙) 以完整詞遮蔽在 CC‑100 與 2023‑Jan Wikipedia 上預訓練,使用 Unidic 2.1.2 詞級分詞加 WordPiece,訓練 200 萬步。
- t5-base-japanese-v1.1sonoisa17k一個以約 100 GB 的 Wikipedia 與 OSCAR CC‑100 數據(混合 10:1、Byte‑fallback 的 SentencePiece)預訓練的日本 T5‑v1.1 模型,需對下游任務進行微調,包含遷移學習範例程式碼,提示輸出可能存在偏差,且採用 CC‑BY‑SA 4.0 授權。
- deberta-v3-base-japaneseku-nlp13k日文 DeBERTa V3 基礎版本,預訓練於 LLM‑jp v1.0 的 540 B 個 token,使用已調整的 DeBERTa V3 設定,採用 unigram byte‑fallback tokenizer(無形態學分析器),並進行 fine‑tuned 於 JGLUE NLU 任務。
- japanese-splade-v2hotchpotch4k高效能日文 SPLADE v2 透過 WebUI demo 可進行稀疏向量轉換與推理,使用 YAST 訓練,提供 YASEM 嵌入,並報告 JMTEB 基準結果。
研究領域相近的資源
- ruri-v3-310mcl-nagoya634kRuri v3 是一個尖端的日本語文本嵌入模型,建立於 ModernBERT‑Ja,支援最多 8,192‑token 輸入、100K‑token 詞彙表、FlashAttention‑加速推論,以及多種尺寸變體,方便快速使用 sentence‑transformer。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型
- ruri-v3-reranker-310mcl-nagoya137kRuri‑v3 Reranker 是一款以 ModernBERT‑Ja 為基礎的強大日語文本重排序器,支援多達 8,192 令牌序列、100k 令牌詞彙表、FlashAttention 以及 SentencePiece tokenizer,並可透過 sentence‑transformers 使用。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型
- ruri-v3-30mcl-nagoya126kRuri v3 是一款最先進的日文文本嵌入模型,構建於 ModernBERT‑Ja,支持高達 8,192 tokens、一個 100k‑token 詞彙表、FlashAttention 加速,並提供從 37 M 到 315 M 參數的多種規模。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型
- ruri-v3-130mcl-nagoya93kRuri v3 是一款最先進的日本語文本嵌入模型,基於 ModernBERT‑Ja 建構,支援長達 8192‑token 序列、10 萬詞彙、FlashAttention,並以 30 M 到 310 M 參數大小提供,以供 sentence‑transformers 使用。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k一個日本語的 Sentence‑BERT v2,經過在 cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking 上微調,並採用 MultipleNegativesRankingLoss,與 v1 相比提升了約 1.5–2 % 的準確率,並以 sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 形式釋出。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型
- transformers-ud-japanese-electra-base-ginza-510megagonlabs22kja_ginza_electra 是一個 spaCy v3 Python 套件,提供已在 mC4 和 UD_Japanese_BCCWJ r2.8 上微調的日語 ELECTRA 模型(基於 megagonlabs/transformers‑ud‑japanese‑electra‑base‑discrimininator),並具備自訂 bunsetu‑phrase detection,依照 MIT license 發佈。共同: 嵌入、檢索與 RAG・BERT 等預訓練模型