语料库
12.1 词性标注与 NER 语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| ner-wikipedia-dataset | 143 | Wikipedia NER 数据集 |
| KWDLC | 87 | 京都大学网络文件前导语料库 |
| IOB2Corpus | 61 | 含 IOB2 标记的 NER 语料库 |
| UD_Japanese-GSD | 29 | Google UD 日语树库 |
| ud_japanese-bccwj | 27 | BCCWJ 的 UD 树库 |
| WikipediaAnnotatedCorpus | 30 | 多层标注日语 Wikipedia |
| nijl-manyoshutei | 4 | 关西大学所藏广濑本万叶集 TEI/XML 数据(CC-BY) |
ner-wikipedia-dataset 是由 Stockmark 发布的日语 NER 数据集,Stars:143,是 NER 语料库类别中使用最广泛的。
KWDLC 是京都大学网络文件前导语料库,标注了依存结构、格关系及指代消解。Stars:87。
通用依存关系日语语料库包含多个树库:UD_Japanese-GSD(Google UD)、UD_Japanese-PUD(平行 UD)、UD_Japanese-GSDLUW(长单位词版本)及 ud_japanese-bccwj(BCCWJ 版本)。
nijl-manyoshutei(国文学研究资料馆)以 CC-BY 许可证发布了关西大学收藏的广濑本万叶集的 TEI/XML 数据。可用于古典日语文本的数字人文及注释研究。Stars:4。
12.2 平行语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| JESC | 91 | 大规模英日字幕语料库 |
| small_parallel_enja | 97 | 5 万条英日平行语料(用于基准测试) |
| cjk-compsci-terms | 160 | CJK 计算机科学术语词汇表 |
| Laboro-ParaCorpus | 19 | 日英平行语料库建构脚本 |
| jhpt | 3 | 历史日语文献原文与现代日语翻译对照数据集 |
JESC(日英字幕语料库)是由史丹佛大学发布的大规模日英字幕语料库,是机器翻译研究的标准资源之一。Stars:91。
jhpt(nict-astrec-att)是将历史日语文献的原文文本与现代日语翻译(参考译文)在片段级别进行对应的对照数据集,可用于古典日语现代化翻译研究。Stars:3。
12.3 对话语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| open2ch-dialogue-corpus | 103 | 开放 2channel 对话语料库 |
| llm-japanese-dataset | 91 | LLM 建构用聊天数据 |
| BSD | 77 | 商业场景对话语料库 |
| japanese-daily-dialogue | 62 | 日常对话数据集(5 个主题) |
| JMRD | 30 | 电影推荐对话数据集 |
| JMultiWOZ-TC | 4 | 多轮对话代理 Function Calling 评估 |
| HOTATE | 1 | 含本音・建前(内心/表面)的日语对话数据集 |
| ETCDataset | 14 | 含情感记述的会话数据集(约 1,000 对话) |
| Novel2DialCorpus | 0 | 从小说文本构建闲聊对话语料库的方法 |
| diafill-toolkit | 0 | 用大型语言模型合成填充词丰富的短发话日语对话脚本的工具包 |
llm-japanese-dataset 是 LLM 建构用的日语聊天数据集,Stars:91,引起广泛关注,反映了近期对 LLM 开发的需求。
BSD(商业场景对话)是由东京大学鹤冈研究室开发的商业场景对话语料库,包含日英语音和文字平行数据。Stars:77。
JMultiWOZ-TC(llm-jp)是用于评估多轮对话场景中代理 Function Calling 的数据集。HOTATE(爱媛大学)是融入了本音(内心想法)和建前(表面态度)这一日本文化特有概念的对话数据集。ETCDataset(电气通信大学/稻叶研究室)是一个包含约 1,000 段对话的数据集,其中每个发言都附有说话者自己记述的心情文字。
diafill-toolkit(SB Intuitions)是一个用于使用大型语言模型(LLMs)合成填充词丰富、短发话的日语对话脚本的 Python 工具包。该项目通过两个阶段生成数据:种子生成(元数据创建)和对话生成(脚本创建)。
12.4 问答与推理语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| JaQuAD | 111 | SQuAD 的日语版本 |
| JSICK | 46 | 日语句子蕴含与相似度数据集 |
| jrte-corpus | 78 | 现实文字蕴含语料库 |
| JaNLI | 18 | 对抗性自然语言推理数据集 |
| jqara | 45 | RAG 用问答数据集 |
| jemhopqa | 30 | 多跳问答数据集 |
| KUCI | 5 | 京都大学常识推理数据集 |
| JBE-QA | 0 | 日本司法考试问答数据集 |
| JSTS-Neg | 3 | 用于评估否定理解能力的日语语义相似度数据集 |
| JMedWiC | 4 | 日语医疗领域词义一致性判定数据集 |
| E2U | 0 | 文本「传达化」(无障碍转换)数据 |
| annotation-2025 | 0 | 人工与 LLM 文本解释注释对比数据 |
JaQuAD 是由 Skelter Labs 发布的 SQuAD 日语版本,Stars:111,是最受欢迎的问答数据集。广泛用作机器阅读理解的基准测试。
JBE-QA(hancules)是基于日本司法考试(律师考试)的问答数据集。包含需要专业法律推理能力的高难度题目,可用于评估 LLM 在专业法律知识方面的能力。
JSTS-Neg(reiko-y)是扩展了 JGLUE 中 JSTS 的日语语义文本相似度数据集,专门用于评估对否定表达的理解能力。例如,模型是否能正确判断「我喜欢猫」和「我不喜欢猫」的语义相似度很低,是许多 LLM 的已知弱点。Stars:3。
JMedWiC(爱媛大学 NLP 组)构建了日本医疗领域的词义一致性判定数据集,例如判断「副作用(副作用)」在不同上下文中是指药物副作用还是经济副作用。结合了掩码语言模型自动提取和人工标注。Stars:4。
E2U(社会信息学研究所)是关于「传达化」的数据集——即将文本转换为更易理解的表达。这与「简明日语」(やさしい日本語)研究及认知障碍人士的语言无障碍支持相关。
annotation-2025(Tiny-Colony)提供了用于比较人工文本解释与 LLM 输出的注释数据,可用于分析 LLM 在文本解释任务中与人类理解的偏差。
12.5 情感与毒性数据集
| 数据集名 | Stars | 说明 |
|---|---|---|
| wrime | 179 | 主观/客观情感分析数据集 |
| chABSA-dataset | 143 | 基于面向的情感分析 |
| japanese-toxic-dataset | 43 | 日语毒性模式 |
| commonsense-moral-ja | 15 | 常识道德判断数据集 |
| do-not-answer-ja | 24 | 安全评估数据集(日语版) |
WRIME 在情感分析数据集中人气最高,Stars:179。其特点是同时标注了写作者的主观情感和读者的客观情感。
12.6 LLM 训练语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| databricks-dolly-15k-ja | 89 | Dolly 训练数据的日语翻译 |
| alpaca_ja | 86 | Alpaca 数据集的日语版本 |
| oasst1-89k-ja | 16 | OASST1 的日语翻译 |
| llm-jp-corpus | 49 | LLM-jp 训练语料库 |
| instruction_ja | 24 | 日语指令数据 |
| jp-llm-corpus-pii-filter | 7 | 从 LLM 训练语料库中过滤需要特别注意的个人信息的工具 |
在 LLM 时代,大规模日语指令数据集的建构正在积极进行。databricks-dolly-15k-ja 和 alpaca_ja 是现有英语数据集的日语翻译,可轻松用于日语 LLM 微调。
oasst1-89k-ja 是 OpenAssistant Conversations Dataset(OASST1)的日语翻译版,提供人工生成的对话式指令-响应数据,适用于 RLHF 和指令微调。instruction_ja 是为 LLM 微调而整理的日语指令数据集。
llm-jp-corpus(LLM-jp)是专为 LLM-jp 系列模型构建的预训练语料库。与基于翻译的 Dolly/Alpaca 数据集不同,它是独立收集和清洗的日语网络文本、Wikipedia 及书籍语料库,更适合训练自然的日语词汇和写作风格。Stars:49。
jp-llm-corpus-pii-filter(松尾研究室)是一个用于从 LLM 训练语料库中过滤特别需要注意的个人信息(病历、犯罪记录等)的 Python 工具。Stars:7。
12.7 语音语料库
| 语料库名 | Stars | 说明 |
|---|---|---|
| reazonspeech | 406 | 从 YouTube 建构的大规模语音语料库 |
| jtubespeech | 232 | YouTube 日语语音语料库 |
| ita-corpus | 243 | ITA 语料库句子列表 |
| koniwa | 61 | 标注语音集 |
| rohan4600 | 76 | 音拍均衡语料库 |
| j-spaw | 6 | 用于说话人验证和反欺骗的日语语音语料库 |
ReazonSpeech 是由 Reazon Research 建构的大规模日语语音语料库,Stars:406——是语音语料库中人气最高的。提供用于在家建构语料库的完整工具集。
JTubeSpeech 是从 YouTube 收集的日语语音语料库,Stars:232。
J-SpAW(高道研究室)是用于说话人验证和反欺骗研究的日语语音语料库。Stars:6。
12.8 Hugging Face 上的数据集
在 Hugging Face 上已发布 215 个日语 NLP 数据集。下面列出下载数最高的数据集。
| 数据集名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| KakologArchives | 74k | 102 | Nico Nico Live 评论记录(超过 150GB) |
| fineweb-2-edu-japanese (hotchpotch) | 8k | 36 | 以教育品质筛选的日语网页文本 |
| Cauldron-JA (turing-motors) | 7k | 9 | 日语视觉语言训练数据 |
| Galgame-VisualNovel-Reupload (joujiboi) | 5k | 41 | 视觉小说语音与文本 |
| Nemotron-Personas-Japan (nvidia) | 5k | 136 | 合成日语人物志 |
| ELYZA-tasks-100 (elyza) | 2k | 103 | 100 任务日语评估集 |
| Japanese-Eroge-Voice-V2 (NandemoGHS) | 1k | 63 | 日语语音数据集 |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX 合成语音数据 |
| qg_jaquad (lmqg) | 494 | 5 | 源自 JaQuAD 的问题生成数据 |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2 镜像 |
评估基准测试数据集
| 数据集名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| JMTEB (sbintuitions) | 3k | 20 | 嵌入评估:5 个任务,28 个数据集 |
| JMMMU | 3k | 20 | 多模态问答 |
| JMedBench (Coldog2333) | 1k | 8 | 医疗/生物医学基准测试 |
| JMMLU (nlp-waseda) | 1k | 14 | 多任务理解:56 个科目,7,536 个问题 |
| EDINET-Bench (SakanaAI) | 662 | 16 | 金融基准测试 |
| JGLUE (llm-book) | 546 | 16 | 文字分类、句对分类、问答 |
ELYZA-tasks-100 以 103 个点赞数在评估类数据集中获得最高关注,透过 100 项日语任务用于 LLM 的综合能力评估。JMTEB、JMMMU(各 3k)与 JGLUE(546)等标准基准测试也持续稳定使用。
语音数据集
| 数据集名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| japanese-anime-speech-v2 (joujiboi) | 3k | 166 | 29.2 万条动漫语音样本(397.5 小时) |
| japanese-anime-speech (joujiboi) | 946 | 166 | 7.3 万条动漫语音样本(110 小时) |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX 合成语音数据 |
| reazonspeech (reazon-research) | 771 | 138 | 从 8.5 小时到 35,000 小时的 5 种大小 |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2 镜像 |
japanese-anime-speech 系列获得 166/140 个点赞数,引起极高关注,展示了对动漫语音 ASR 模型训练的巨大需求。
LLM 训练数据集
| 数据集名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| databricks-dolly-15k-ja (kunishou) | 1k | 89 | Dolly 日语翻译 |
| AnswerCarefully (llm-jp) | 644 | 194 | 提升 LLM 安全性的数据 |
| llm-japanese-dataset (izumi-lab) | 572 | 148 | 超过 900 万条 LoRA 训练样本 |
| Hachi-Alpaca (HachiML) | 322 | 16 | 使用 Mixtral 进行品质验证 |
| oasst1-89k-ja (kunishou) | 193 | 26 | OASST1 日语翻译 |
llm-japanese-dataset 在训练数据集中人气最高,达 148 个点赞数,是包含超过 900 万条样本的 LLM 微调数据集。
其他值得注意的数据集
- Nemotron-Personas-Japan(NVIDIA):136 个点赞数的高关注度。基于人口统计和地理数据的合成日语人物志。
- MOMIJI(Turing Motors):5,600 万份日语网络文件和 2.49 亿张图像。用于 VLM 训练。
- auto-wiki-qa(cl-nagoya):拥有 237 万对的日本最大免费问答数据集。
- ParallelFiction-Ja_En-100k:日语网络小说与英语翻译的平行数据。点赞数:82。