
提供預訓練模型、程式碼和指導文件,以在日本維基百科資源上預訓練官方ALBERT(https://github.com/google-research/albert)。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
13
±0 (10月13日〜)
最後提交
2023年9月
GitHub 建立日期
2023年6月3日
收錄日
2023年6月11日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 13 |
| 2026年1月 | 13 |
| 2026年2月 | 13 |
| 2026年3月 | 13 |
| 2026年4月 | 13 |
| 2026年5月 | 13 |
| 2026年6月 | 13 |
| 2026年7月 | 13 |
| 2026年8月 | 13 |
| 2026年9月 | 13 |
| 2026年10月 | 13 |
| 2026年11月 | 13 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
同分類的熱門資源
研究領域相近的資源
jmlm_scoringminhpqn5基於遮蔽語言模型的日語和越南語評分共同: 文本生成・語言模型
t5_japanese_dialogue_generationJinyamyzk3使用T5生成對話共同: 文本生成・語言模型- deberta-v3-base-japaneseku-nlp13k日文 DeBERTa V3 基礎版本,預訓練於 LLM‑jp v1.0 的 540 B 個 token,使用已調整的 DeBERTa V3 設定,採用 unigram byte‑fallback tokenizer(無形態學分析器),並進行 fine‑tuned 於 JGLUE NLU 任務。HF 模型共同: 語言模型・語意文本處理
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large 在 CC‑100 和 Wikipedia 上訓練,使用 Unidic‑lite 詞級分詞,結合 WordPiece 子詞與全詞遮蔽,模型為 24 層、1024 維隱藏、16 頭、32k 詞表;預訓練程式碼位於 cl‑tohoku/bert‑japanese。HF 模型共同: 表示學習・語言模型
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base (12 層, 768‑維度隱藏, 12 頭, 32k 詞彙) 以完整詞遮蔽在 CC‑100 與 2023‑Jan Wikipedia 上預訓練,使用 Unidic 2.1.2 詞級分詞加 WordPiece,訓練 200 萬步。HF 模型共同: 表示學習・語言模型
- t5-base-japanese-v1.1sonoisa17k一個以約 100 GB 的 Wikipedia 與 OSCAR CC‑100 數據(混合 10:1、Byte‑fallback 的 SentencePiece)預訓練的日本 T5‑v1.1 模型,需對下游任務進行微調,包含遷移學習範例程式碼,提示輸出可能存在偏差,且採用 CC‑BY‑SA 4.0 授權。HF 模型共同: 文本生成・語言模型