FineWeb2 Edu Japanese は FineWeb2 からの約1億2000万の高品質教育用日本語テキスト(約893億トークン)を提供し、DeepSeek‑API クラスフィケーター(スコア ≥ 2.5)でフィルタリングし、ModernBERT‑Ja‑130M でトークナイズされ、512 トークン以下の小規模サブセットを含みます。
他の言語の説明
統計
2026年11月16日時点の統計
Hugging Face のダウンロード数(直近30日)
8,000
Hugging Face の Like 数
36
掲載日
2025年2月25日
ダウンロード数(直近30日)の推移
数値を表で見る
| 月 | DL(30日) |
|---|---|
| 2025年12月 | 6,000 |
| 2026年1月 | 1,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 4,000 |
| 2026年4月 | 2,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 12,000 |
| 2026年7月 | 9,000 |
| 2026年8月 | 7,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 3,000 |
| 2026年11月 | 8,000 |
各月の最後のスナップショットにおける、直近30日間のダウンロード数です。
同じカテゴリで人気のリソース
- KakologArchivesKakologArchives74k2009年から2024年までのNicoNico Liveのコメントログ(150GB超)を集約し、転換前・転換後・リアルタイムNX‑Jikkyoのキャプチャも含む、歴史的なTV‑broadcastディスカッションを簡単に取得できるAPIを提供します。
- emilia-yodasTTS-AGI18kFate/Stay Nightのキャラクター「Emilia」の対話とロアのデータセットで、会話型言語モデルのトレーニングと評価のためにフォーマットされています。
- ClimbLab-JaKantaHayashiAI15kClimbLab‑Jaは、LLM‑jp Corpus v4からフィルタリングされた3000億トークンの日本語コーパスであり、事前学習言語モデル用に20クラスタに分割され、ODC‑BYライセンス(元のソースライセンスを保持)で公開され、parquet形式で保存されています。
- llm-course-final-2026bumbuboon13k日本語ウィキペディアベースのRAGデータセット(LLMコース最終競技用)、約100万テキストチャンクと検索インデックスを含む。
- fgo_voices_jpdeepghs10kFGOワイフのためのJP Voice‑Text Dataset:30,800件、66.4時間の日本語音声コレクション。単一ボイスアクターのキャラクターロライン(1行約7.76 秒)で、ASR/ASVのファインチューニングと評価に有用です。
- Cauldron-JAturing-motors7kCauldron‑JAは、DeepL APIを使ってThe Cauldronから翻訳された44個のサブデータセットからなる日本語ビジョン‑ランゲージデータセットです。HuggingFace’s datasets library を通じて入手可能で、オリジナルセットと同一のライセンスで提供され、プロンプトはCC‑BY‑4.0でリリースされています。
研究分野が近いリソース
- wrimeshunk031323WRIMEデータセットは、日本語の投稿42,200件からなるコレクションで、筆者、3名の読者、およびその平均に対してPlutchikの8つの感情でアノテーションされています。感情分析タスク向けに、40kトレーニング、1.2kバリデーション、2kテストのスプリットで構成されています。共通: 情報抽出・テキストマイニング・アノテーション・データセット構築
- cc100-jarange3265cc100-jaは、cc100データセットの日本語部分を集めたもので、シャーディングされたParquetファイルとして提供されています。共通: 情報抽出・テキストマイニング・アノテーション・データセット構築
- financial-lakehouseYoshi-Dai5k再配布、AIトレーニング、商業利用を禁止し、アクセスには手動承認が必要なゲート付き非商用派生データセット(EDINET XBRL財務データ)共通: アノテーション・データセット構築
- Nemotron-Personas-Japannvidia5kNemotron‑Personas‑Japan は、CC BY 4.0 のオープンソースデータセットであり、高品質の合成生成された日本人ペルソナ(名前、性別、年齢、背景、婚姻状況、学歴、職業、所在地を含む)で、実際の人口統計・地理・人格分布に基づいており、確率的グラフィカルモデルと GPT‑OSS‑120B を用いて多様性を高め、バイアスを減らし、モデル崩壊を防ぎ、主権 AI の開発を支援し、商業利用をサポートするよう設計されています。共通: アノテーション・データセット構築
- mc4-jaizumi-lab2k日本語のMC4データセット (mc4-ja) のデータセットカード共通: アノテーション・データセット構築
- RyokoAI_Syosetu711Kbotp2kSyosetu711Kは、2023年3月26日〜27日に小説家になろうからスクレイピングされた約711,700本の小説で構成される日本語データセットです。全テキストとメタデータ(タイトル、著者、NCode、あらすじ等)を提供し、教師なしテキスト生成および分類タスクに利用されます。共通: アノテーション・データセット構築