
日本語のWikipediaリソースで公式ALBERT(https://github.com/google-research/albert)を事前学習するための事前学習済みモデル、コード、ガイダンスを提供します。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
13
±0 (10月13日〜)
最終コミット
2023年9月
GitHub での作成日
2023年6月3日
掲載日
2023年6月11日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 13 |
| 2026年1月 | 13 |
| 2026年2月 | 13 |
| 2026年3月 | 13 |
| 2026年4月 | 13 |
| 2026年5月 | 13 |
| 2026年6月 | 13 |
| 2026年7月 | 13 |
| 2026年8月 | 13 |
| 2026年9月 | 13 |
| 2026年10月 | 13 |
| 2026年11月 | 13 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
研究分野が近いリソース
jmlm_scoringminhpqn5日本語とベトナム語のためのマスクされた言語モデルに基づくスコアリング共通: テキスト生成・言語モデル
t5_japanese_dialogue_generationJinyamyzk3T5による会話生成共通: テキスト生成・言語モデル- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。HF モデル共通: 言語モデル・意味的テキスト処理
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。HF モデル共通: 表現学習・言語モデル
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。HF モデル共通: 表現学習・言語モデル
- t5-base-japanese-v1.1sonoisa17k≈100 GB の Wikipedia と OSCAR CC‑100 データ(SentencePiece で 10:1 の混合、byte‑fallback を有する)で事前学習された日本語 T5‑v1.1 モデルで、下流タスクの微調整が必要です。転移学習サンプルコードが含まれ、出力に潜在的なバイアスを示唆しています。ライセンスは CC‑BY‑SA 4.0 です。HF モデル共通: テキスト生成・言語モデル