一份 NLP‑ready dataset,包含从 2024 年 1 月的 HTML dump 中提取的 Wikipedia articles,保留段落结构、元数据(如 disambiguation、sexual、violent flags、templates、timestamps)以及托管在 GitHub 上的 extraction scripts。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
418
Hugging Face 点赞数
18
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 490 |
| 2026年1月 | — |
| 2026年2月 | — |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | 2,000 |
| 2026年6月 | 233 |
| 2026年7月 | 441 |
| 2026年8月 | 293 |
| 2026年9月 | 854 |
| 2026年10月 | 473 |
| 2026年11月 | 418 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- KakologArchivesKakologArchives74k聚合了2009年至2024年NicoNico Live的评论日志,总计超过150 GB,包括转移前、转移后以及实时NX‑Jikkyo捕获,提供了一个API,便于检索历史电视广播讨论。
- emilia-yodasTTS-AGI18k来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
- ClimbLab-JaKantaHayashiAI15kClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。
- llm-course-final-2026bumbuboon13k基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。
- fgo_voices_jpdeepghs10kFGO Waifus的JP Voice‑Text 数据集:一个包含30,800条记录、66.4小时日本音频的集合,收录单一配音演员角色台词(每句约7.76秒),适用于ASR/ASV微调与评估。
- fineweb-2-edu-japanesehotchpotch8kFineWeb2 Edu Japanese 提供约120 million高质量教育日语文本(≈89.3 billion tokens)来自 FineWeb2,经过 DeepSeek‑API classifier(score ≥ 2.5)过滤,通过 ModernBERT‑Ja‑130M tokenized,并包含一个小-token子集(≤512 tokens)。
研究领域相近的资源
- financial-lakehouseYoshi-Dai5k一个受限、非商业派生数据集,基于 EDINET XBRL 财务数据,禁止再分发、AI 训练和商业用途,请求访问需人工批准。共同: 标注与数据集构建
- Nemotron-Personas-Japannvidia5kNemotron‑Personas‑Japan 是一个开放源代码、CC BY 4.0 许可证的高质量、合成生成的日本人物资料数据集—包含姓名、性别、年龄、背景、婚姻状况、教育、职业和地点—基于真实世界的人口统计、地理和人格分布,并采用概率图模型和 GPT‑OSS‑120B 进行工程设计,以提升多样性、降低偏见、防止模型崩溃、支持主权 AI 发展,并支持商业使用。共同: 标注与数据集构建
- mc4-jaizumi-lab2k日本 MC4 数据集卡 (mc4-ja)共同: 标注与数据集构建
- RyokoAI_Syosetu711Kbotp2kSyosetu711K 是一个约 711,700 本小说的日本数据集,采自 2023 年 3 月 26‑27 日从 小説家になろう 抓取,提供全文及元数据(标题、作者、NCode、简介等),用于无监督文本生成和分类任务。共同: 标注与数据集构建
- Japanese-Eroge-Voice-V2NandemoGHS1kJapanese‑Eroge‑Voice‑V2 提供 2,657 小时匿名 1,033,142 对 eroge 音频-转录配对(主要为女性,含 NSFW),MIT 许可用于学术研究。共同: 标注与数据集构建
- AnimuSubtitle-JPKaraKaraWitch1k一份采用 Advanced SubStation Alpha(SSA/ASS)格式的日本动漫字幕数据集,可通过 ass Python 库或像 Aegisub 这样的字幕编辑器使用,按 ODC‑BY 许可协议发布。共同: 标注与数据集构建