12

语料库

12.1 词性标注与 NER 语料库

语料库名 Stars 说明
ner-wikipedia-dataset 143 Wikipedia NER 数据集
KWDLC 87 京都大学网络文件前导语料库
IOB2Corpus 61 含 IOB2 标记的 NER 语料库
UD_Japanese-GSD 29 Google UD 日语树库
ud_japanese-bccwj 27 BCCWJ 的 UD 树库
WikipediaAnnotatedCorpus 30 多层标注日语 Wikipedia
nijl-manyoshutei 4 关西大学所藏广濑本万叶集 TEI/XML 数据(CC-BY)

ner-wikipedia-dataset 是由 Stockmark 发布的日语 NER 数据集,Stars:143,是 NER 语料库类别中使用最广泛的。

KWDLC 是京都大学网络文件前导语料库,标注了依存结构、格关系及指代消解。Stars:87。

通用依存关系日语语料库包含多个树库:UD_Japanese-GSD(Google UD)、UD_Japanese-PUD(平行 UD)、UD_Japanese-GSDLUW(长单位词版本)及 ud_japanese-bccwj(BCCWJ 版本)。

nijl-manyoshutei(国文学研究资料馆)以 CC-BY 许可证发布了关西大学收藏的广濑本万叶集的 TEI/XML 数据。可用于古典日语文本的数字人文及注释研究。Stars:4。

ner-wikipedia-dataset
Wikipedia NER 数据集
143
KWDLC
京都大学网络文件前导语料库
87
IOB2Corpus
含 IOB2 标记的 NER 语料库
61
UD_Japanese-GSD
Google UD 日语树库
29
ud_japanese-bccwj
BCCWJ 的 UD 树库
27
WikipediaAnnotatedCorpus
多层标注日语 Wikipedia
30
nijl-manyoshutei
关西大学所藏广濑本万叶集 TEI/XML 数据(CC-BY)
4

12.2 平行语料库

语料库名 Stars 说明
JESC 91 大规模英日字幕语料库
small_parallel_enja 97 5 万条英日平行语料(用于基准测试)
cjk-compsci-terms 160 CJK 计算机科学术语词汇表
Laboro-ParaCorpus 19 日英平行语料库建构脚本
jhpt 3 历史日语文献原文与现代日语翻译对照数据集

JESC(日英字幕语料库)是由史丹佛大学发布的大规模日英字幕语料库,是机器翻译研究的标准资源之一。Stars:91。

jhpt(nict-astrec-att)是将历史日语文献的原文文本与现代日语翻译(参考译文)在片段级别进行对应的对照数据集,可用于古典日语现代化翻译研究。Stars:3。

JESC
大规模英日字幕语料库
91
small_parallel_enja
5 万条英日平行语料(用于基准测试)
97
cjk-compsci-terms
CJK 计算机科学术语词汇表
160
Laboro-ParaCorpus
日英平行语料库建构脚本
19
jhpt
历史日语文献原文与现代日语翻译对照数据集
3

12.3 对话语料库

语料库名 Stars 说明
open2ch-dialogue-corpus 103 开放 2channel 对话语料库
llm-japanese-dataset 91 LLM 建构用聊天数据
BSD 77 商业场景对话语料库
japanese-daily-dialogue 62 日常对话数据集(5 个主题)
JMRD 30 电影推荐对话数据集
JMultiWOZ-TC 4 多轮对话代理 Function Calling 评估
HOTATE 1 含本音・建前(内心/表面)的日语对话数据集
ETCDataset 14 含情感记述的会话数据集(约 1,000 对话)
Novel2DialCorpus 0 从小说文本构建闲聊对话语料库的方法
diafill-toolkit 0 用大型语言模型合成填充词丰富的短发话日语对话脚本的工具包

llm-japanese-dataset 是 LLM 建构用的日语聊天数据集,Stars:91,引起广泛关注,反映了近期对 LLM 开发的需求。

BSD(商业场景对话)是由东京大学鹤冈研究室开发的商业场景对话语料库,包含日英语音和文字平行数据。Stars:77。

JMultiWOZ-TC(llm-jp)是用于评估多轮对话场景中代理 Function Calling 的数据集。HOTATE(爱媛大学)是融入了本音(内心想法)和建前(表面态度)这一日本文化特有概念的对话数据集。ETCDataset(电气通信大学/稻叶研究室)是一个包含约 1,000 段对话的数据集,其中每个发言都附有说话者自己记述的心情文字。

diafill-toolkit(SB Intuitions)是一个用于使用大型语言模型(LLMs)合成填充词丰富、短发话的日语对话脚本的 Python 工具包。该项目通过两个阶段生成数据:种子生成(元数据创建)和对话生成(脚本创建)。

open2ch-dialogue-corpus
开放 2channel 对话语料库
103
llm-japanese-dataset
LLM 建构用聊天数据
91
BSD
商业场景对话语料库
77
japanese-daily-dialogue
日常对话数据集(5 个主题)
62
JMRD
电影推荐对话数据集
30
JMultiWOZ-TC
多轮对话代理 Function Calling 评估
4
HOTATE
含本音・建前(内心/表面)的日语对话数据集
1
ETCDataset
含情感记述的会话数据集(约 1,000 对话)
14
Novel2DialCorpus
从小说文本构建闲聊对话语料库的方法
0
diafill-toolkit
用大型语言模型合成填充词丰富的短发话日语对话脚本的工具包
0

12.4 问答与推理语料库

语料库名 Stars 说明
JaQuAD 111 SQuAD 的日语版本
JSICK 46 日语句子蕴含与相似度数据集
jrte-corpus 78 现实文字蕴含语料库
JaNLI 18 对抗性自然语言推理数据集
jqara 45 RAG 用问答数据集
jemhopqa 30 多跳问答数据集
KUCI 5 京都大学常识推理数据集
JBE-QA 0 日本司法考试问答数据集
JSTS-Neg 3 用于评估否定理解能力的日语语义相似度数据集
JMedWiC 4 日语医疗领域词义一致性判定数据集
E2U 0 文本「传达化」(无障碍转换)数据
annotation-2025 0 人工与 LLM 文本解释注释对比数据

JaQuAD 是由 Skelter Labs 发布的 SQuAD 日语版本,Stars:111,是最受欢迎的问答数据集。广泛用作机器阅读理解的基准测试。

JBE-QA(hancules)是基于日本司法考试(律师考试)的问答数据集。包含需要专业法律推理能力的高难度题目,可用于评估 LLM 在专业法律知识方面的能力。

JSTS-Neg(reiko-y)是扩展了 JGLUE 中 JSTS 的日语语义文本相似度数据集,专门用于评估对否定表达的理解能力。例如,模型是否能正确判断「我喜欢猫」和「我不喜欢猫」的语义相似度很低,是许多 LLM 的已知弱点。Stars:3。

JMedWiC(爱媛大学 NLP 组)构建了日本医疗领域的词义一致性判定数据集,例如判断「副作用(副作用)」在不同上下文中是指药物副作用还是经济副作用。结合了掩码语言模型自动提取和人工标注。Stars:4。

E2U(社会信息学研究所)是关于「传达化」的数据集——即将文本转换为更易理解的表达。这与「简明日语」(やさしい日本語)研究及认知障碍人士的语言无障碍支持相关。

annotation-2025(Tiny-Colony)提供了用于比较人工文本解释与 LLM 输出的注释数据,可用于分析 LLM 在文本解释任务中与人类理解的偏差。

JaQuAD
SQuAD 的日语版本
111
JSICK
日语句子蕴含与相似度数据集
46
jrte-corpus
现实文字蕴含语料库
78
JaNLI
对抗性自然语言推理数据集
18
jqara
RAG 用问答数据集
45
jemhopqa
多跳问答数据集
30
KUCI
京都大学常识推理数据集
5
JBE-QA
日本司法考试问答数据集
0
JSTS-Neg
用于评估否定理解能力的日语语义相似度数据集
3
JMedWiC
日语医疗领域词义一致性判定数据集
4
E2U
文本「传达化」(无障碍转换)数据
0
annotation-2025
人工与 LLM 文本解释注释对比数据
0

12.5 情感与毒性数据集

数据集名 Stars 说明
wrime 179 主观/客观情感分析数据集
chABSA-dataset 143 基于面向的情感分析
japanese-toxic-dataset 43 日语毒性模式
commonsense-moral-ja 15 常识道德判断数据集
do-not-answer-ja 24 安全评估数据集(日语版)

WRIME 在情感分析数据集中人气最高,Stars:179。其特点是同时标注了写作者的主观情感和读者的客观情感。

wrime
主观/客观情感分析数据集
179
chABSA-dataset
基于面向的情感分析
143
japanese-toxic-dataset
日语毒性模式
43
commonsense-moral-ja
常识道德判断数据集
15
do-not-answer-ja
安全评估数据集(日语版)
24

12.6 LLM 训练语料库

语料库名 Stars 说明
databricks-dolly-15k-ja 89 Dolly 训练数据的日语翻译
alpaca_ja 86 Alpaca 数据集的日语版本
oasst1-89k-ja 16 OASST1 的日语翻译
llm-jp-corpus 49 LLM-jp 训练语料库
instruction_ja 24 日语指令数据
jp-llm-corpus-pii-filter 7 从 LLM 训练语料库中过滤需要特别注意的个人信息的工具

在 LLM 时代,大规模日语指令数据集的建构正在积极进行。databricks-dolly-15k-ja 和 alpaca_ja 是现有英语数据集的日语翻译,可轻松用于日语 LLM 微调。

oasst1-89k-ja 是 OpenAssistant Conversations Dataset(OASST1)的日语翻译版,提供人工生成的对话式指令-响应数据,适用于 RLHF 和指令微调。instruction_ja 是为 LLM 微调而整理的日语指令数据集。

llm-jp-corpus(LLM-jp)是专为 LLM-jp 系列模型构建的预训练语料库。与基于翻译的 Dolly/Alpaca 数据集不同,它是独立收集和清洗的日语网络文本、Wikipedia 及书籍语料库,更适合训练自然的日语词汇和写作风格。Stars:49。

jp-llm-corpus-pii-filter(松尾研究室)是一个用于从 LLM 训练语料库中过滤特别需要注意的个人信息(病历、犯罪记录等)的 Python 工具。Stars:7。

databricks-dolly-15k-ja
Dolly 训练数据的日语翻译
89
alpaca_ja
Alpaca 数据集的日语版本
86
oasst1-89k-ja
OASST1 的日语翻译
16
llm-jp-corpus
LLM-jp 训练语料库
49
instruction_ja
日语指令数据
24
jp-llm-corpus-pii-filter
从 LLM 训练语料库中过滤需要特别注意的个人信息的工具
7

12.7 语音语料库

语料库名 Stars 说明
reazonspeech 406 从 YouTube 建构的大规模语音语料库
jtubespeech 232 YouTube 日语语音语料库
ita-corpus 243 ITA 语料库句子列表
koniwa 61 标注语音集
rohan4600 76 音拍均衡语料库
j-spaw 6 用于说话人验证和反欺骗的日语语音语料库

ReazonSpeech 是由 Reazon Research 建构的大规模日语语音语料库,Stars:406——是语音语料库中人气最高的。提供用于在家建构语料库的完整工具集。

JTubeSpeech 是从 YouTube 收集的日语语音语料库,Stars:232。

J-SpAW(高道研究室)是用于说话人验证和反欺骗研究的日语语音语料库。Stars:6。

reazonspeech
从 YouTube 建构的大规模语音语料库
406
jtubespeech
YouTube 日语语音语料库
232
ita-corpus
ITA 语料库句子列表
243
koniwa
标注语音集
61
rohan4600
音拍均衡语料库
76
j-spaw
用于说话人验证和反欺骗的日语语音语料库
6

12.8 Hugging Face 上的数据集

在 Hugging Face 上已发布 215 个日语 NLP 数据集。下面列出下载数最高的数据集。

数据集名 HF 下载 点赞数 说明
KakologArchives 74k 102 Nico Nico Live 评论记录(超过 150GB)
fineweb-2-edu-japanese (hotchpotch) 8k 36 以教育品质筛选的日语网页文本
Cauldron-JA (turing-motors) 7k 9 日语视觉语言训练数据
Galgame-VisualNovel-Reupload (joujiboi) 5k 41 视觉小说语音与文本
Nemotron-Personas-Japan (nvidia) 5k 136 合成日语人物志
ELYZA-tasks-100 (elyza) 2k 103 100 任务日语评估集
Japanese-Eroge-Voice-V2 (NandemoGHS) 1k 63 日语语音数据集
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX 合成语音数据
qg_jaquad (lmqg) 494 5 源自 JaQuAD 的问题生成数据
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2 镜像
KakologArchives
Nico Nico Live 评论记录(超过 150GB)
74k 102
fineweb-2-edu-japanese (hotchpotch)
以教育品质筛选的日语网页文本
8k 36
Cauldron-JA (turing-motors)
日语视觉语言训练数据
7k 9
Galgame-VisualNovel-Reupload (joujiboi)
视觉小说语音与文本
5k 41
Nemotron-Personas-Japan (nvidia)
合成日语人物志
5k 136
ELYZA-tasks-100 (elyza)
100 任务日语评估集
2k 103
Japanese-Eroge-Voice-V2 (NandemoGHS)
日语语音数据集
1k 63
voicevox-voice-corpus (ayousanz)
VOICEVOX 合成语音数据
885 7
qg_jaquad (lmqg)
源自 JaQuAD 的问题生成数据
494 5
reazon-speech-v2-clone (litagin)
ReazonSpeech v2 镜像
364 12

评估基准测试数据集

数据集名 HF 下载 点赞数 说明
JMTEB (sbintuitions) 3k 20 嵌入评估:5 个任务,28 个数据集
JMMMU 3k 20 多模态问答
JMedBench (Coldog2333) 1k 8 医疗/生物医学基准测试
JMMLU (nlp-waseda) 1k 14 多任务理解:56 个科目,7,536 个问题
EDINET-Bench (SakanaAI) 662 16 金融基准测试
JGLUE (llm-book) 546 16 文字分类、句对分类、问答

ELYZA-tasks-100 以 103 个点赞数在评估类数据集中获得最高关注,透过 100 项日语任务用于 LLM 的综合能力评估。JMTEB、JMMMU(各 3k)与 JGLUE(546)等标准基准测试也持续稳定使用。

JMTEB (sbintuitions)
嵌入评估:5 个任务,28 个数据集
3k 20
JMMMU
多模态问答
3k 20
JMedBench (Coldog2333)
医疗/生物医学基准测试
1k 8
JMMLU (nlp-waseda)
多任务理解:56 个科目,7,536 个问题
1k 14
EDINET-Bench (SakanaAI)
金融基准测试
662 16
JGLUE (llm-book)
文字分类、句对分类、问答
546 16

语音数据集

数据集名 HF 下载 点赞数 说明
japanese-anime-speech-v2 (joujiboi) 3k 166 29.2 万条动漫语音样本(397.5 小时)
japanese-anime-speech (joujiboi) 946 166 7.3 万条动漫语音样本(110 小时)
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX 合成语音数据
reazonspeech (reazon-research) 771 138 从 8.5 小时到 35,000 小时的 5 种大小
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2 镜像

japanese-anime-speech 系列获得 166/140 个点赞数,引起极高关注,展示了对动漫语音 ASR 模型训练的巨大需求。

japanese-anime-speech-v2 (joujiboi)
29.2 万条动漫语音样本(397.5 小时)
3k 166
japanese-anime-speech (joujiboi)
7.3 万条动漫语音样本(110 小时)
946 166
voicevox-voice-corpus (ayousanz)
VOICEVOX 合成语音数据
885 7
reazonspeech (reazon-research)
从 8.5 小时到 35,000 小时的 5 种大小
771 138
reazon-speech-v2-clone (litagin)
ReazonSpeech v2 镜像
364 12

LLM 训练数据集

数据集名 HF 下载 点赞数 说明
databricks-dolly-15k-ja (kunishou) 1k 89 Dolly 日语翻译
AnswerCarefully (llm-jp) 644 194 提升 LLM 安全性的数据
llm-japanese-dataset (izumi-lab) 572 148 超过 900 万条 LoRA 训练样本
Hachi-Alpaca (HachiML) 322 16 使用 Mixtral 进行品质验证
oasst1-89k-ja (kunishou) 193 26 OASST1 日语翻译

llm-japanese-dataset 在训练数据集中人气最高,达 148 个点赞数,是包含超过 900 万条样本的 LLM 微调数据集。

databricks-dolly-15k-ja (kunishou)
Dolly 日语翻译
1k 89
AnswerCarefully (llm-jp)
提升 LLM 安全性的数据
644 194
llm-japanese-dataset (izumi-lab)
超过 900 万条 LoRA 训练样本
572 148
Hachi-Alpaca (HachiML)
使用 Mixtral 进行品质验证
322 16
oasst1-89k-ja (kunishou)
OASST1 日语翻译
193 26

其他值得注意的数据集

  • Nemotron-Personas-Japan(NVIDIA):136 个点赞数的高关注度。基于人口统计和地理数据的合成日语人物志。
  • MOMIJI(Turing Motors):5,600 万份日语网络文件和 2.49 亿张图像。用于 VLM 训练。
  • auto-wiki-qa(cl-nagoya):拥有 237 万对的日本最大免费问答数据集。
  • ParallelFiction-Ja_En-100k:日语网络小说与英语翻译的平行数据。点赞数:82。

Nemotron-Personas-Japan
- Nemotron-Personas-Japan(NVIDIA):136 个点赞数的高关注度。基于人口统计和地理数据的合成日语人物志。
MOMIJI
- MOMIJI(Turing Motors):5,600 万份日语网络文件和 2.49 亿张图像。用于 VLM 训练。
auto-wiki-qa
- auto-wiki-qa(cl-nagoya):拥有 237 万对的日本最大免费问答数据集。