
【2023年版】BERTによるテキスト分類
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
232
±0 (10月13日〜)
最終コミット
2024年5月
GitHub での作成日
2023年1月14日
掲載日
2023年1月14日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 236 |
| 2026年1月 | 235 |
| 2026年2月 | 235 |
| 2026年3月 | 234 |
| 2026年4月 | 234 |
| 2026年5月 | 234 |
| 2026年6月 | 234 |
| 2026年7月 | 234 |
| 2026年8月 | 232 |
| 2026年9月 | 232 |
| 2026年10月 | 232 |
| 2026年11月 | 232 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
bert-bookstockmarkteam265「BERTによる自然言語処理入門: Transformersを使った実践プログラミング」サポートページ
fastTextJapaneseTutorialicoxfog417200日本語コーパスを使用してfastTextをトレーニングするチュートリアル
spacy_tutorialyuibi65spaCyチュートリアルの英語版と日本語版。spacy-transformers、BERT、GiNZA。
bert-classification-tutorial-2024hpprc31【2024年版】BERTによるテキスト分類
BERT_Japanese_Google_ColaboratoryYutaroOgawa29Google Colaboratoryで日本語のBERTを動かす方法です。
llm-bookghmagazine478「大規模言語モデル入門」(技術評論社, 2023)のGitHubリポジトリ
研究分野が近いリソース
awesome-bert-japanesehimkt132日本語の事前学習済みBERTモデルのリストと、単語/サブワードトークン化+語彙構築アルゴリズム情報。共通: BERT などの事前学習モデル・チュートリアル・学習資料- bert-base-japanese-whole-word-maskingtohoku-nlp462k2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。HF モデル共通: BERT などの事前学習モデル
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。HF モデル共通: BERT などの事前学習モデル
- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。HF モデル共通: BERT などの事前学習モデル
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。HF モデル共通: BERT などの事前学習モデル
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。HF モデル共通: BERT などの事前学習モデル