A T5 v1.1 日本語モデルは、mC4/ja と Wikipedia で事前学習され、GEGLU 活性化を特徴とし、事前学習時にドロップアウトがなく、埋め込み/分類器層が分離され、d_model が大きくヘッド数が少ない構成です。商用利用は CC‑BY‑SA 4.0 ライセンスで許可されています。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
3,000
Hugging Face の Like 数
3
掲載日
2024年5月13日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | 1,000 |
| 2026年4月 | 3,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | — |
| 2026年7月 | 6,000 |
| 2026年8月 | 2,000 |
| 2026年9月 | 10,000 |
| 2026年10月 | 4,000 |
| 2026年11月 | 3,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- bert-base-japanese-char-v3tohoku-nlp130kJapanese‑language BERT‑Base (12 layers, 768‑dim, 12 heads)は、Unidic‑based word‑level plus character‑level tokenizationとwhole‑word maskingをCC‑100と2023 Wikipediaで事前学習し、7,027‑token vocabularyを生成する。
- bert-large-japanese-v2tohoku-nlp66kJapanese‑BERT‑Large は CC‑100 と Wikipedia に対して訓練され、Unidic‑lite のワードレベルトークナイゼーションを使用し、WordPiece サブワードとホールワードマスクリングを採用しています(24 層、隠れ層 1024 次元、16 ヘッド、32k 語彙)。プリトレーニングコードは cl‑tohoku/bert‑japanese にあります。
- bert-base-japanese-v3tohoku-nlp66kJapanese BERT‑base(12層、768次元の隠れ層、12ヘッド、32k語彙)は、CC‑100と2023‑Jan Wikipediaで全単語マスキングを用いて事前学習され、Unidic 2.1.2の単語レベルトークナイゼーション+WordPieceを併用し、200万ステップで学習しました。
- t5-base-japanese-v1.1sonoisa17k≈100 GB の Wikipedia と OSCAR CC‑100 データ(SentencePiece で 10:1 の混合、byte‑fallback を有する)で事前学習された日本語 T5‑v1.1 モデルで、下流タスクの微調整が必要です。転移学習サンプルコードが含まれ、出力に潜在的なバイアスを示唆しています。ライセンスは CC‑BY‑SA 4.0 です。
- deberta-v3-base-japaneseku-nlp13kJapanese DeBERTa V3 base は、LLM‑jp v1.0 から 540 B トークンで事前学習され、修正された DeBERTa V3 セットアップで訓練され、形態素解析器を使用しないユニグラム・バイトフォールバックトークナイザーを使用し、JGLUE NLUタスク用に微調整済みです。
- japanese-splade-v2hotchpotch4k高性能日本語 SPLADE v2 は、WebUI demo を通じてスパース‑ベクトル変換と推論を可能にし、YAST でトレーニングを行い、YASEM 埋め込みを提供し、JMTEB ベンチマーク結果を報告します。
研究分野が近いリソース
- ruri-v3-310mcl-nagoya634kRuri v3 は、ModernBERT‑Ja をベースとした最先端の日本語テキスト埋め込みモデルで、最大8,192トークンの入力、100Kトークンの語彙、FlashAttention で加速された推論、および高速な sentence‑transformer での使用のための複数サイズバリアントをサポートします。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル
- ruri-v3-reranker-310mcl-nagoya137kRuri‑v3 Reranker は、ModernBERT‑Ja をベースにした堅牢な日本語テキストリランカーで、最大 8,192 トークンのシーケンス、100k トークンの語彙、FlashAttention および SentencePiece tokenizer をサポートし、sentence‑transformers 経由で使用できます。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル
- ruri-v3-30mcl-nagoya126kRuri v3 は、ModernBERT‑Ja をベースに構築された最先端の日本語テキスト埋め込みモデルで、最大 8,192 トークン、100 k‑トークン語彙、FlashAttention 加速、37 M から 315 M の複数サイズに対応しています。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル
- ruri-v3-130mcl-nagoya93kRuri v3は、ModernBERT‑Jaをベースに構築された最先端の日本語テキスト埋め込みモデルで、8192トークンまでのシーケンス、10万語の語彙、FlashAttentionに対応し、sentence‑transformers用に30 M〜310 Mパラメータのサイズでリリースされます。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k日本語 Sentence‑BERT v2 は、cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking を MultipleNegativesRankingLoss でファインチューニングし、v1 に比べて約1.5〜2 % の精度向上を実現。sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 としてリリースされました。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル
- transformers-ud-japanese-electra-base-ginza-510megagonlabs22kja_ginza_electra は、mC4 と UD_Japanese_BCCWJ r2.8(megagonlabs/transformers‑ud‑japanese‑electra‑base‑discrimininator をベースにしたもの)でファインチューニングされた日本語 ELECTRA モデルを提供する spaCy v3 の Python パッケージです。カスタム bunsetu‑phrase 検出機能を備え、MIT ライセンスで配布されています。共通: 文埋め込み・検索・RAG・BERT などの事前学習モデル