mC4 と UD_Japanese_BCCWJ でファインチューニングされた日本語 ELECTRA ベースの spaCy v3 モデル。SudachiTra でトークン化され、MIT ライセンスの下で ja_ginza_electra パッケージとして配布されています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
2,000
Hugging Face の Like 数
2
掲載日
2024年9月10日
同じカテゴリで人気のリソース
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。
- t5-base-japanese-v1.1sonoisa17k≈100 GB の Wikipedia と OSCAR CC‑100 データ(SentencePiece で 10:1 の混合、byte‑fallback を有する)で事前学習された日本語 T5‑v1.1 モデルで、下流タスクの微調整が必要です。転移学習サンプルコードが含まれ、出力に潜在的なバイアスを示唆しています。ライセンスは CC‑BY‑SA 4.0 です。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。
- t5-small-shortretrieva-jp3kA T5 v1.1 日本語モデルは、mC4/ja と Wikipedia で事前学習され、GEGLU 活性化を特徴とし、事前学習時にドロップアウトがなく、埋め込み/分類器層が分離され、d_model が大きくヘッド数が少ない構成です。商用利用は CC‑BY‑SA 4.0 ライセンスで許可されています。
研究分野が近いリソース
- bert-base-japanese-whole-word-maskingtohoku-nlp462k2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。共通: BERT などの事前学習モデル
- deberta-v2-large-japanese-char-wwmku-nlp76k171 GBの日本語Wikipedia、CC‑100、OSCARでトレーニングされた日本語DeBERTa V2 large modelは、文字レベルのsentencepieceトークナイズと全単語マスキングを使用し、Hugging Face Transformersを通じて下流でのファインチューニングに準備できています。共通: BERT などの事前学習モデル
- bert-base-japanese-char-v2tohoku-nlp55kBERT‑base Japanese model(12層、768‑次元の hidden states、12ヘッド)を、30 M Wikipedia 文(約4 GB)で Unidic 2.1.2 を用いた単語レベルトークン化の後、文字レベルトークン化と全単語マスクを行い、512トークンのシーケンス、256バッチ、1 M トレーニングステップで訓練しました。共通: BERT などの事前学習モデル
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M は local‑global attention と RoPE を組み合わせた日本語 BERT 変種で、4.09 T tokens の日本語/英語テキストで訓練され、102 400語の語彙、8 192トークンのシーケンスをサポートし、Flash Attention 2 用に最適化されています。共通: BERT などの事前学習モデル
- deberta-v2-base-japanese-char-wwmku-nlp24k日本語のDeBERTa‑V2ベースモデルで、171 GBの日本語Wikipedia、CC‑100、およびOSCARテキストをキャラクターレベルトークン化とワードレベルマスクで事前学習し、8台のA100 GPUで20日間訓練済みで、下流のファインチューニングに準備完了です。共通: BERT などの事前学習モデル
- deberta-v2-base-japaneseku-nlp24k日本語 DeBERTa V2 ベースモデルは、171 GBの日本語 Wikipedia、CC‑100、OSCAR データを用いて Juman++ セグメンテーションと SentencePiece トークン化で事前学習され、8枚の NVIDIA A100 GPU を 3週間使用してトレーニングされ、ファインチューニングに向けて準備ができています。共通: BERT などの事前学習モデル