FineWeb2 Edu Japanese 提供约120 million高质量教育日语文本(≈89.3 billion tokens)来自 FineWeb2,经过 DeepSeek‑API classifier(score ≥ 2.5)过滤,通过 ModernBERT‑Ja‑130M tokenized,并包含一个小-token子集(≤512 tokens)。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
8,000
Hugging Face 点赞数
36
收录日
2025年2月25日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 6,000 |
| 2026年1月 | 1,000 |
| 2026年2月 | 2,000 |
| 2026年3月 | 4,000 |
| 2026年4月 | 2,000 |
| 2026年5月 | 3,000 |
| 2026年6月 | 12,000 |
| 2026年7月 | 9,000 |
| 2026年8月 | 7,000 |
| 2026年9月 | 3,000 |
| 2026年10月 | 3,000 |
| 2026年11月 | 8,000 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- KakologArchivesKakologArchives74k聚合了2009年至2024年NicoNico Live的评论日志,总计超过150 GB,包括转移前、转移后以及实时NX‑Jikkyo捕获,提供了一个API,便于检索历史电视广播讨论。
- emilia-yodasTTS-AGI18k来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
- ClimbLab-JaKantaHayashiAI15kClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。
- llm-course-final-2026bumbuboon13k基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。
- fgo_voices_jpdeepghs10kFGO Waifus的JP Voice‑Text 数据集:一个包含30,800条记录、66.4小时日本音频的集合,收录单一配音演员角色台词(每句约7.76秒),适用于ASR/ASV微调与评估。
- Cauldron-JAturing-motors7kCauldron‑JA 是一个日语视觉‑语言数据集,包含 44 个子数据集,使用 DeepL API 从 The Cauldron 翻译而来,可通过 HuggingFace’s datasets library 获取,并与原始数据集使用相同的许可证,prompts 在 CC‑BY‑4.0 下发布。
研究领域相近的资源
- wrimeshunk031323WRIME 数据集是一个包含 42,200 条帖子的日本语集合,帖子已为作者、三位读者及其平均值标注了 Plutchik 的八种情感,结构为 40k 训练集、1.2k 验证集和 2k 测试集,用于情感分析任务。共同: 信息抽取与文本挖掘・标注与数据集构建
- cc100-jarange3265cc100-ja 是 cc100 数据集日语部分的集合,提供为分片的 Parquet 文件。共同: 信息抽取与文本挖掘・标注与数据集构建
- financial-lakehouseYoshi-Dai5k一个受限、非商业派生数据集,基于 EDINET XBRL 财务数据,禁止再分发、AI 训练和商业用途,请求访问需人工批准。共同: 标注与数据集构建
- Nemotron-Personas-Japannvidia5kNemotron‑Personas‑Japan 是一个开放源代码、CC BY 4.0 许可证的高质量、合成生成的日本人物资料数据集—包含姓名、性别、年龄、背景、婚姻状况、教育、职业和地点—基于真实世界的人口统计、地理和人格分布,并采用概率图模型和 GPT‑OSS‑120B 进行工程设计,以提升多样性、降低偏见、防止模型崩溃、支持主权 AI 发展,并支持商业使用。共同: 标注与数据集构建
- mc4-jaizumi-lab2k日本 MC4 数据集卡 (mc4-ja)共同: 标注与数据集构建
- RyokoAI_Syosetu711Kbotp2kSyosetu711K 是一个约 711,700 本小说的日本数据集,采自 2023 年 3 月 26‑27 日从 小説家になろう 抓取,提供全文及元数据(标题、作者、NCode、简介等),用于无监督文本生成和分类任务。共同: 标注与数据集构建