Japanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
66,000
Hugging Face の Like 数
14
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 69,000 |
| 2026年1月 | 68,000 |
| 2026年2月 | 65,000 |
| 2026年3月 | 65,000 |
| 2026年4月 | 68,000 |
| 2026年5月 | 72,000 |
| 2026年6月 | 68,000 |
| 2026年7月 | 69,000 |
| 2026年8月 | 80,000 |
| 2026年9月 | 69,000 |
| 2026年10月 | 65,000 |
| 2026年11月 | 66,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。
- t5-base-japanese-v1.1sonoisa17k≈100 GB の Wikipedia と OSCAR CC‑100 データ(SentencePiece で 10:1 の混合、byte‑fallback を有する)で事前学習された日本語 T5‑v1.1 モデルで、下流タスクの微調整が必要です。転移学習サンプルコードが含まれ、出力に潜在的なバイアスを示唆しています。ライセンスは CC‑BY‑SA 4.0 です。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。
- t5-small-shortretrieva-jp3kA T5 v1.1 日本語モデルは、mC4/ja と Wikipedia で事前学習され、GEGLU 活性化を特徴とし、事前学習時にドロップアウトがなく、埋め込み/分類器層が分離され、d_model が大きくヘッド数が少ない構成です。商用利用は CC‑BY‑SA 4.0 ライセンスで許可されています。
- bert-large-japanese-char-v2tohoku-nlp2kCC‑100 と Wikipedia を使い、Unidic 2.1.2 の単語レベルトークナイズを行った後に文字分割を実施し、MLM 用の全単語マスキングを適用した日本語 BERT 大規模モデル(24 層、隠れ層サイズ 1024、16 ヘッド)で、cl-tohoku/bert-japanese にて入手可能です。
研究分野が近いリソース
bert-japanesecl-tohoku551日本語テキスト用のBERTモデル。GitHub共通: 表現学習・言語モデル
Laboro-BERT-Japaneselaboroai73ラボロBERT日本語:Webコーパスで事前学習された日本語BERTGitHub共通: 表現学習・言語モデル
language-pretrainingretarfi50日本語テキストのPyTorch実装のBERTおよびELECTRAモデル。GitHub共通: 表現学習・言語モデル
bert-japanese-aozoraakirakubo41青空文庫とウィキペディアでトレーニングされた日本語BERTで、UniDicとSudachiPyでプリトークナイズされました。GitHub共通: 表現学習・言語モデル
albert-japanesealinear-corp33日本語テキスト用のSentencePieceを使用したBERT。GitHub共通: 表現学習・言語モデル
RoBERTa-japanesetanreinama23日本語BERT事前学習モデルGitHub共通: 表現学習・言語モデル