
131 GBの日本語ウェブテキストで事前学習されたDistilBERTモデル。教師モデルは、LINE内で構築されたBERT-baseです。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
47
±0 (10月13日〜)
最終コミット
2023年3月
GitHub での作成日
2023年3月9日
掲載日
2023年3月18日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 46 |
| 2026年1月 | 46 |
| 2026年2月 | 46 |
| 2026年3月 | 46 |
| 2026年4月 | 46 |
| 2026年5月 | 46 |
| 2026年6月 | 46 |
| 2026年7月 | 46 |
| 2026年8月 | 47 |
| 2026年9月 | 47 |
| 2026年10月 | 47 |
| 2026年11月 | 47 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
lukestudio-ousia727LUKE -- 知識ベース埋め込みを用いた言語理解
bert-japanesecl-tohoku551日本語テキスト用のBERTモデル。
bert-japaneseyoheikikuta497日本語テキスト用のSentencePieceを使用したBERT。
gpt2-japanesetanreinama322日本語GPT2生成モデル
japanese-dialog-transformersnttcslab247NTT株式会社が提供する日本語事前学習モデルの評価コード。
DistilBERT-base-jpBandaiNamcoResearchInc161日本語のDistilBERT事前学習モデルで、Wikipediaで訓練されました。
研究分野が近いリソース
- line-distilbert-base-japaneseline-corporation14kLINE DistilBERT Japanese は、インハウスの BERT‑base 先生を用いて 131 GB の日本語ウェブテキストで事前学習された 66 百万パラメータの DistilBERT モデルであり、JGLUE で評価され、MeCab Unidic と SentencePiece でトークナイズされ、Apache 2.0 ライセンスの下でリリースされました。HF モデル共通: 表現学習・言語モデル
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。HF モデル共通: 表現学習・言語モデル
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。HF モデル共通: 表現学習・言語モデル
Laboro-BERT-Japaneselaboroai73ラボロBERT日本語:Webコーパスで事前学習された日本語BERT共通: 表現学習・言語モデル
language-pretrainingretarfi50日本語テキストのPyTorch実装のBERTおよびELECTRAモデル。共通: 表現学習・言語モデル
bert-japanese-aozoraakirakubo41青空文庫とウィキペディアでトレーニングされた日本語BERTで、UniDicとSudachiPyでプリトークナイズされました。共通: 表現学習・言語モデル