12

語料庫

12.1 詞性標注與 NER 語料庫

語料庫名 Stars 說明
ner-wikipedia-dataset 143 Wikipedia NER 資料集
KWDLC 87 京都大學網路文件前導語料庫
IOB2Corpus 61 含 IOB2 標記的 NER 語料庫
UD_Japanese-GSD 29 Google UD 日語樹庫
ud_japanese-bccwj 27 BCCWJ 的 UD 樹庫
WikipediaAnnotatedCorpus 30 多層標注日語 Wikipedia
nijl-manyoshutei 4 關西大學所藏廣瀨本萬葉集 TEI/XML 數據(CC-BY)

ner-wikipedia-dataset 是由 Stockmark 發布的日語 NER 資料集,Stars:143,是 NER 語料庫類別中使用最廣泛的。

KWDLC 是京都大學網路文件前導語料庫,標注了依存結構、格關係及指代消解。Stars:87。

通用依存關係日語語料庫包含多個樹庫:UD_Japanese-GSD(Google UD)、UD_Japanese-PUD(平行 UD)、UD_Japanese-GSDLUW(長單位詞版本)及 ud_japanese-bccwj(BCCWJ 版本)。

nijl-manyoshutei(國文學研究資料館)以 CC-BY 許可證發布了關西大學收藏的廣瀨本萬葉集的 TEI/XML 數據。可用於古典日語文本的數字人文及注釋研究。Stars:4。

ner-wikipedia-dataset
Wikipedia NER 資料集
143
KWDLC
京都大學網路文件前導語料庫
87
IOB2Corpus
含 IOB2 標記的 NER 語料庫
61
UD_Japanese-GSD
Google UD 日語樹庫
29
ud_japanese-bccwj
BCCWJ 的 UD 樹庫
27
WikipediaAnnotatedCorpus
多層標注日語 Wikipedia
30
nijl-manyoshutei
關西大學所藏廣瀨本萬葉集 TEI/XML 數據(CC-BY)
4

12.2 平行語料庫

語料庫名 Stars 說明
JESC 91 大規模英日字幕語料庫
small_parallel_enja 97 5 萬條英日平行語料(用於基準測試)
cjk-compsci-terms 160 CJK 計算機科學術語詞彙表
Laboro-ParaCorpus 19 日英平行語料庫建構腳本
jhpt 3 歷史日語文獻原文與現代日語翻譯對照資料集

JESC(日英字幕語料庫)是由史丹佛大學發布的大規模日英字幕語料庫,是機器翻譯研究的標準資源之一。Stars:91。

jhpt(nict-astrec-att)是將歷史日語文獻的原文文本與現代日語翻譯(參考譯文)在片段級別進行對應的對照資料集,可用於古典日語現代化翻譯研究。Stars:3。

JESC
大規模英日字幕語料庫
91
small_parallel_enja
5 萬條英日平行語料(用於基準測試)
97
cjk-compsci-terms
CJK 計算機科學術語詞彙表
160
Laboro-ParaCorpus
日英平行語料庫建構腳本
19
jhpt
歷史日語文獻原文與現代日語翻譯對照資料集
3

12.3 對話語料庫

語料庫名 Stars 說明
open2ch-dialogue-corpus 103 開放 2channel 對話語料庫
llm-japanese-dataset 91 LLM 建構用聊天資料
BSD 77 商業場景對話語料庫
japanese-daily-dialogue 62 日常對話資料集(5 個主題)
JMRD 30 電影推薦對話資料集
JMultiWOZ-TC 4 多輪對話代理 Function Calling 評估
HOTATE 1 含本音・建前(內心/表面)的日語對話資料集
ETCDataset 14 含情感記述的會話資料集(約 1,000 對話)
Novel2DialCorpus 0 從小說文本構建閒聊對話語料庫的方法
diafill-toolkit 0 用大型語言模型合成填充詞豐富的短發話日語對話腳本的工具包

llm-japanese-dataset 是 LLM 建構用的日語聊天資料集,Stars:91,引起廣泛關注,反映了近期對 LLM 開發的需求。

BSD(商業場景對話)是由東京大學鶴岡研究室開發的商業場景對話語料庫,包含日英語音和文字平行資料。Stars:77。

JMultiWOZ-TC(llm-jp)是用於評估多輪對話場景中代理 Function Calling 的資料集。HOTATE(愛媛大學)是融入了本音(內心想法)和建前(表面態度)這一日本文化特有概念的對話資料集。ETCDataset(電氣通信大學/稲葉研究室)是一個包含約 1,000 段對話的資料集,其中每個發言都附有說話者自己記述的心情文字。

diafill-toolkit(SB Intuitions)是一個用於使用大型語言模型(LLMs)合成填充詞豐富、短發話的日語對話腳本的 Python 工具包。該項目通過兩個階段生成數據:種子生成(元數據創建)和對話生成(腳本創建)。

open2ch-dialogue-corpus
開放 2channel 對話語料庫
103
llm-japanese-dataset
LLM 建構用聊天資料
91
BSD
商業場景對話語料庫
77
japanese-daily-dialogue
日常對話資料集(5 個主題)
62
JMRD
電影推薦對話資料集
30
JMultiWOZ-TC
多輪對話代理 Function Calling 評估
4
HOTATE
含本音・建前(內心/表面)的日語對話資料集
1
ETCDataset
含情感記述的會話資料集(約 1,000 對話)
14
Novel2DialCorpus
從小說文本構建閒聊對話語料庫的方法
0
diafill-toolkit
用大型語言模型合成填充詞豐富的短發話日語對話腳本的工具包
0

12.4 問答與推理語料庫

語料庫名 Stars 說明
JaQuAD 111 SQuAD 的日語版本
JSICK 46 日語句子蘊含與相似度資料集
jrte-corpus 78 現實文字蘊含語料庫
JaNLI 18 對抗性自然語言推理資料集
jqara 45 RAG 用問答資料集
jemhopqa 30 多跳問答資料集
KUCI 5 京都大學常識推理資料集
JBE-QA 0 日本司法考試問答資料集
JSTS-Neg 3 用於評估否定理解能力的日語語義相似度資料集
JMedWiC 4 日語醫療領域詞義一致性判定資料集
E2U 0 文本「傳達化」(無障礙轉換)數據
annotation-2025 0 人工與 LLM 文本解釋注釋對比數據

JaQuAD 是由 Skelter Labs 發布的 SQuAD 日語版本,Stars:111,是最受歡迎的問答資料集。廣泛用作機器閱讀理解的基準測試。

JBE-QA(hancules)是基於日本司法考試(律師考試)的問答資料集。包含需要專業法律推理能力的高難度題目,可用於評估 LLM 在專業法律知識方面的能力。

JSTS-Neg(reiko-y)是擴展了 JGLUE 中 JSTS 的日語語義文本相似度資料集,專門用於評估對否定表達的理解能力。例如,模型是否能正確判斷「我喜歡貓」和「我不喜歡貓」的語義相似度很低,是許多 LLM 的已知弱點。Stars:3。

JMedWiC(愛媛大學 NLP 組)構建了日本醫療領域的詞義一致性判定資料集,例如判斷「副作用(副作用)」在不同上下文中是指藥物副作用還是經濟副作用。結合了遮罩語言模型自動提取和人工標注。Stars:4。

E2U(社會信息學研究所)是關於「傳達化」的資料集——即將文本轉換為更易理解的表達。這與「簡明日語」(やさしい日本語)研究及認知障礙人士的語言無障礙支持相關。

annotation-2025(Tiny-Colony)提供了用於比較人工文本解釋與 LLM 輸出的注釋資料,可用於分析 LLM 在文本解釋任務中與人類理解的偏差。

JaQuAD
SQuAD 的日語版本
111
JSICK
日語句子蘊含與相似度資料集
46
jrte-corpus
現實文字蘊含語料庫
78
JaNLI
對抗性自然語言推理資料集
18
jqara
RAG 用問答資料集
45
jemhopqa
多跳問答資料集
30
KUCI
京都大學常識推理資料集
5
JBE-QA
日本司法考試問答資料集
0
JSTS-Neg
用於評估否定理解能力的日語語義相似度資料集
3
JMedWiC
日語醫療領域詞義一致性判定資料集
4
E2U
文本「傳達化」(無障礙轉換)數據
0
annotation-2025
人工與 LLM 文本解釋注釋對比數據
0

12.5 情感與毒性資料集

資料集名 Stars 說明
wrime 179 主觀/客觀情感分析資料集
chABSA-dataset 143 基於面向的情感分析
japanese-toxic-dataset 43 日語毒性模式
commonsense-moral-ja 15 常識道德判斷資料集
do-not-answer-ja 24 安全評估資料集(日語版)

WRIME 在情感分析資料集中人氣最高,Stars:179。其特點是同時標注了寫作者的主觀情感和讀者的客觀情感。

wrime
主觀/客觀情感分析資料集
179
chABSA-dataset
基於面向的情感分析
143
japanese-toxic-dataset
日語毒性模式
43
commonsense-moral-ja
常識道德判斷資料集
15
do-not-answer-ja
安全評估資料集(日語版)
24

12.6 LLM 訓練語料庫

語料庫名 Stars 說明
databricks-dolly-15k-ja 89 Dolly 訓練資料的日語翻譯
alpaca_ja 86 Alpaca 資料集的日語版本
oasst1-89k-ja 16 OASST1 的日語翻譯
llm-jp-corpus 49 LLM-jp 訓練語料庫
instruction_ja 24 日語指令資料
jp-llm-corpus-pii-filter 7 從 LLM 訓練語料庫中過濾需要特別注意的個人信息的工具

在 LLM 時代,大規模日語指令資料集的建構正在積極進行。databricks-dolly-15k-ja 和 alpaca_ja 是現有英語資料集的日語翻譯,可輕鬆用於日語 LLM 微調。

oasst1-89k-ja 是 OpenAssistant Conversations Dataset(OASST1)的日語翻譯版,提供人工生成的對話式指令-響應資料,適用於 RLHF 和指令微調。instruction_ja 是為 LLM 微調而整理的日語指令資料集。

llm-jp-corpus(LLM-jp)是專為 LLM-jp 系列模型構建的預訓練語料庫。與基於翻譯的 Dolly/Alpaca 資料集不同,它是獨立收集和清洗的日語網路文本、Wikipedia 及書籍語料庫,更適合訓練自然的日語詞彙和寫作風格。Stars:49。

jp-llm-corpus-pii-filter(松尾研究室)是一個用於從 LLM 訓練語料庫中過濾特別需要注意的個人信息(病歷、犯罪記錄等)的 Python 工具。Stars:7。

databricks-dolly-15k-ja
Dolly 訓練資料的日語翻譯
89
alpaca_ja
Alpaca 資料集的日語版本
86
oasst1-89k-ja
OASST1 的日語翻譯
16
llm-jp-corpus
LLM-jp 訓練語料庫
49
instruction_ja
日語指令資料
24
jp-llm-corpus-pii-filter
從 LLM 訓練語料庫中過濾需要特別注意的個人信息的工具
7

12.7 語音語料庫

語料庫名 Stars 說明
reazonspeech 406 從 YouTube 建構的大規模語音語料庫
jtubespeech 232 YouTube 日語語音語料庫
ita-corpus 243 ITA 語料庫句子列表
koniwa 61 標注語音集
rohan4600 76 音拍均衡語料庫
j-spaw 6 用於說話人驗證和反欺騙的日語語音語料庫

ReazonSpeech 是由 Reazon Research 建構的大規模日語語音語料庫,Stars:406——是語音語料庫中人氣最高的。提供用於在家建構語料庫的完整工具集。

JTubeSpeech 是從 YouTube 收集的日語語音語料庫,Stars:232。

J-SpAW(高道研究室)是用於說話人驗證和反欺騙研究的日語語音語料庫。Stars:6。

reazonspeech
從 YouTube 建構的大規模語音語料庫
406
jtubespeech
YouTube 日語語音語料庫
232
ita-corpus
ITA 語料庫句子列表
243
koniwa
標注語音集
61
rohan4600
音拍均衡語料庫
76
j-spaw
用於說話人驗證和反欺騙的日語語音語料庫
6

12.8 Hugging Face 上的資料集

在 Hugging Face 上已發布 215 個日語 NLP 資料集。下面列出下載數最高的資料集。

資料集名 HF 下載 按讚數 說明
KakologArchives 74k 102 Nico Nico Live 評論記錄(超過 150GB)
fineweb-2-edu-japanese (hotchpotch) 8k 36 以教育品質篩選的日語網頁文字
Cauldron-JA (turing-motors) 7k 9 日語視覺語言訓練資料
Galgame-VisualNovel-Reupload (joujiboi) 5k 41 視覺小說語音與文字
Nemotron-Personas-Japan (nvidia) 5k 136 合成日語人物誌
ELYZA-tasks-100 (elyza) 2k 103 100 任務日語評估集
Japanese-Eroge-Voice-V2 (NandemoGHS) 1k 63 日語語音資料集
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX 合成語音資料
qg_jaquad (lmqg) 494 5 源自 JaQuAD 的問題生成資料
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2 鏡像
KakologArchives
Nico Nico Live 評論記錄(超過 150GB)
74k 102
fineweb-2-edu-japanese (hotchpotch)
以教育品質篩選的日語網頁文字
8k 36
Cauldron-JA (turing-motors)
日語視覺語言訓練資料
7k 9
Galgame-VisualNovel-Reupload (joujiboi)
視覺小說語音與文字
5k 41
Nemotron-Personas-Japan (nvidia)
合成日語人物誌
5k 136
ELYZA-tasks-100 (elyza)
100 任務日語評估集
2k 103
Japanese-Eroge-Voice-V2 (NandemoGHS)
日語語音資料集
1k 63
voicevox-voice-corpus (ayousanz)
VOICEVOX 合成語音資料
885 7
qg_jaquad (lmqg)
源自 JaQuAD 的問題生成資料
494 5
reazon-speech-v2-clone (litagin)
ReazonSpeech v2 鏡像
364 12

評估基準測試資料集

資料集名 HF 下載 按讚數 說明
JMTEB (sbintuitions) 3k 20 嵌入評估:5 個任務,28 個資料集
JMMMU 3k 20 多模態問答
JMedBench (Coldog2333) 1k 8 醫療/生物醫學基準測試
JMMLU (nlp-waseda) 1k 14 多任務理解:56 個科目,7,536 個問題
EDINET-Bench (SakanaAI) 662 16 金融基準測試
JGLUE (llm-book) 546 16 文字分類、句對分類、問答

ELYZA-tasks-100 以 103 個按讚數在評估類資料集中獲得最高關注,透過 100 項日語任務用於 LLM 的綜合能力評估。JMTEB、JMMMU(各 3k)與 JGLUE(546)等標準基準測試也持續穩定使用。

JMTEB (sbintuitions)
嵌入評估:5 個任務,28 個資料集
3k 20
JMMMU
多模態問答
3k 20
JMedBench (Coldog2333)
醫療/生物醫學基準測試
1k 8
JMMLU (nlp-waseda)
多任務理解:56 個科目,7,536 個問題
1k 14
EDINET-Bench (SakanaAI)
金融基準測試
662 16
JGLUE (llm-book)
文字分類、句對分類、問答
546 16

語音資料集

資料集名 HF 下載 按讚數 說明
japanese-anime-speech-v2 (joujiboi) 3k 166 29.2 萬條動漫語音樣本(397.5 小時)
japanese-anime-speech (joujiboi) 946 166 7.3 萬條動漫語音樣本(110 小時)
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX 合成語音資料
reazonspeech (reazon-research) 771 138 從 8.5 小時到 35,000 小時的 5 種大小
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2 鏡像

japanese-anime-speech 系列獲得 166/140 個按讚數,引起極高關注,展示了對動漫語音 ASR 模型訓練的巨大需求。

japanese-anime-speech-v2 (joujiboi)
29.2 萬條動漫語音樣本(397.5 小時)
3k 166
japanese-anime-speech (joujiboi)
7.3 萬條動漫語音樣本(110 小時)
946 166
voicevox-voice-corpus (ayousanz)
VOICEVOX 合成語音資料
885 7
reazonspeech (reazon-research)
從 8.5 小時到 35,000 小時的 5 種大小
771 138
reazon-speech-v2-clone (litagin)
ReazonSpeech v2 鏡像
364 12

LLM 訓練資料集

資料集名 HF 下載 按讚數 說明
databricks-dolly-15k-ja (kunishou) 1k 89 Dolly 日語翻譯
AnswerCarefully (llm-jp) 644 194 提升 LLM 安全性的資料
llm-japanese-dataset (izumi-lab) 572 148 超過 900 萬條 LoRA 訓練樣本
Hachi-Alpaca (HachiML) 322 16 使用 Mixtral 進行品質驗證
oasst1-89k-ja (kunishou) 193 26 OASST1 日語翻譯

llm-japanese-dataset 在訓練資料集中人氣最高,達 148 個按讚數,是包含超過 900 萬條樣本的 LLM 微調資料集。

databricks-dolly-15k-ja (kunishou)
Dolly 日語翻譯
1k 89
AnswerCarefully (llm-jp)
提升 LLM 安全性的資料
644 194
llm-japanese-dataset (izumi-lab)
超過 900 萬條 LoRA 訓練樣本
572 148
Hachi-Alpaca (HachiML)
使用 Mixtral 進行品質驗證
322 16
oasst1-89k-ja (kunishou)
OASST1 日語翻譯
193 26

其他值得注意的資料集

  • Nemotron-Personas-Japan(NVIDIA):136 個按讚數的高關注度。基於人口統計和地理資料的合成日語人物誌。
  • MOMIJI(Turing Motors):5,600 萬份日語網路文件和 2.49 億張圖像。用於 VLM 訓練。
  • auto-wiki-qa(cl-nagoya):擁有 237 萬對的日本最大免費問答資料集。
  • ParallelFiction-Ja_En-100k:日語網路小說與英語翻譯的平行資料。按讚數:82。

Nemotron-Personas-Japan
- Nemotron-Personas-Japan(NVIDIA):136 個按讚數的高關注度。基於人口統計和地理資料的合成日語人物誌。
MOMIJI
- MOMIJI(Turing Motors):5,600 萬份日語網路文件和 2.49 億張圖像。用於 VLM 訓練。
auto-wiki-qa
- auto-wiki-qa(cl-nagoya):擁有 237 萬對的日本最大免費問答資料集。