Japanese‑language BERT‑Base(12層,768‑次元,12頭)以 Unidic 為基礎的單詞層級加字符層級標記化以及整詞遮蔽,在 CC‑100 和 2023 Wikipedia 上進行預訓練,產生了 7,027‑token 詞彙。
其他語言的說明
統計
統計資料截至 2026年11月16日
Hugging Face 下載數(近 30 天)
130,000
Hugging Face 按讚數
11
收錄日
2024年5月13日
下載數(近 30 天)變化
以表格顯示
| 月份 | 下載(30天) |
|---|---|
| 2025年12月 | 108,000 |
| 2026年1月 | 97,000 |
| 2026年2月 | 97,000 |
| 2026年3月 | 95,000 |
| 2026年4月 | 118,000 |
| 2026年5月 | 128,000 |
| 2026年6月 | 124,000 |
| 2026年7月 | 121,000 |
| 2026年8月 | 132,000 |
| 2026年9月 | 121,000 |
| 2026年10月 | 122,000 |
| 2026年11月 | 130,000 |
各月最後一次快照時的近 30 天下載數。
同分類的熱門資源
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上訓練,使用 Unidic‑lite 詞級分詞,結合 WordPiece 子詞與全詞遮蔽,模型為 24 層、1024 維隱藏、16 頭、32k 詞表;預訓練程式碼位於 cl‑tohoku/bert‑japanese。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base (12 層, 768‑維度隱藏, 12 頭, 32k 詞彙) 以完整詞遮蔽在 CC‑100 與 2023‑Jan Wikipedia 上預訓練,使用 Unidic 2.1.2 詞級分詞加 WordPiece,訓練 200 萬步。
- t5-base-japanese-v1.1sonoisa17k一個以約 100 GB 的 Wikipedia 與 OSCAR CC‑100 數據(混合 10:1、Byte‑fallback 的 SentencePiece)預訓練的日本 T5‑v1.1 模型,需對下游任務進行微調,包含遷移學習範例程式碼,提示輸出可能存在偏差,且採用 CC‑BY‑SA 4.0 授權。
- deberta-v3-base-japaneseku-nlp13k日文 DeBERTa V3 基礎版本,預訓練於 LLM‑jp v1.0 的 540 B 個 token,使用已調整的 DeBERTa V3 設定,採用 unigram byte‑fallback tokenizer(無形態學分析器),並進行 fine‑tuned 於 JGLUE NLU 任務。
- t5-small-shortretrieva-jp3kA T5 v1.1 日語模型,預訓練於 mC4/ja 與 Wikipedia,採用 GEGLU 激活函式,在預訓練期間無 dropout,具有獨立的 embedding / classifier 層,以及較大的 d_model 但頭數更少,授權為 CC‑BY‑SA 4.0,可商業使用。
- bert-large-japanese-char-v2tohoku-nlp2k一個日語 BERT 大型模型(24 層,隱藏尺寸 1024,16 頭),在 CC‑100 和 Wikipedia 上使用 Unidic 2.1.2 的單詞級別分詞後再進行字符拆分、採用整詞遮蔽(whole‑word masking)來訓練 MLM,可透過 cl-tohoku/bert-japanese 取得。
研究領域相近的資源
- bert-base-japanese-whole-word-maskingtohoku-nlp462kJapanese BERT‑base 預訓練於 2019 年日本維基百科,使用 IPA 字典與整詞掩碼,12 層、768 維,32,000 詞表,512 令牌序列,1 百萬步;可於 cl‑tohoku/bert‑japanese 在 CC‑BY‑SA 條款下取得。共同: 表示學習・句法文本處理
- bert-base-japanese-char-v2tohoku-nlp55k一個 BERT‑base 日語模型(12 層,768 維隱藏狀態,12 頭)在 30 M 句子(約 4 GB)上訓練,使用 Unidic 2.1.2 詞級分詞,隨後進行字級分詞和整詞遮蔽,使用 512 令牌序列、256 批次及 1 M 訓練步驟。共同: 表示學習・句法文本處理
- bert-base-japanese-chartohoku-nlp11k一個 BERT‑base 日語模型(12 層,768‑維隱藏,12 頭),在約 1700 萬句來自日語維基百科(2.6 GB)的資料上進行預訓練,使用 MeCab IPA 單詞級分詞,隨後進行字符級分詞,建立一個 4000 單詞詞彙表。訓練程式碼位於 cl‑tohoku/bert‑japanese,並以 CC BY‑SA 3.0 釋出。共同: 表示學習・句法文本處理
- bert-base-japanese-v2tohoku-nlp9kJapanese BERT‑base (12 層, 768 hidden, 12 heads) 以 4 GB 的日本 Wikipedia(約 30 M 句)為預訓練資料,使用 Unidic 2.1.2 文字級別分詞、WordPiece 子分詞,與整詞掩碼。共同: 表示學習・句法文本處理
- bert-base-japanesetohoku-nlp9k一個基於 BERT base 的模型,預訓練於約 17 M 日文 Wikipedia 句子(2.6 GB),採用 IPA dictionary 與 WordPiece 進行 tokenization,擁有 12 layers/768‑dim hidden states/12 heads,32 000‑token 詞彙表,於 Cloud TPUs 上訓練 1 M steps,並以 CC‑BY‑SA 3.0 發布。共同: 表示學習・句法文本處理
- deberta-v2-large-japanese-char-wwmku-nlp76kJapanese DeBERTa V2 大型模型已在 171 GB 的日語維基百科、CC‑100、與 OSCAR 上訓練,採用字符級 sentencepiece tokenization 與 whole‑word masking,已準備好通過 Hugging Face Transformers 進行下游微調。共同: 句法文本處理・文本切分