語料庫
12.1 詞性標注與 NER 語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| ner-wikipedia-dataset | 143 | Wikipedia NER 資料集 |
| KWDLC | 87 | 京都大學網路文件前導語料庫 |
| IOB2Corpus | 61 | 含 IOB2 標記的 NER 語料庫 |
| UD_Japanese-GSD | 29 | Google UD 日語樹庫 |
| ud_japanese-bccwj | 27 | BCCWJ 的 UD 樹庫 |
| WikipediaAnnotatedCorpus | 30 | 多層標注日語 Wikipedia |
| nijl-manyoshutei | 4 | 關西大學所藏廣瀨本萬葉集 TEI/XML 數據(CC-BY) |
ner-wikipedia-dataset 是由 Stockmark 發布的日語 NER 資料集,Stars:143,是 NER 語料庫類別中使用最廣泛的。
KWDLC 是京都大學網路文件前導語料庫,標注了依存結構、格關係及指代消解。Stars:87。
通用依存關係日語語料庫包含多個樹庫:UD_Japanese-GSD(Google UD)、UD_Japanese-PUD(平行 UD)、UD_Japanese-GSDLUW(長單位詞版本)及 ud_japanese-bccwj(BCCWJ 版本)。
nijl-manyoshutei(國文學研究資料館)以 CC-BY 許可證發布了關西大學收藏的廣瀨本萬葉集的 TEI/XML 數據。可用於古典日語文本的數字人文及注釋研究。Stars:4。
12.2 平行語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| JESC | 91 | 大規模英日字幕語料庫 |
| small_parallel_enja | 97 | 5 萬條英日平行語料(用於基準測試) |
| cjk-compsci-terms | 160 | CJK 計算機科學術語詞彙表 |
| Laboro-ParaCorpus | 19 | 日英平行語料庫建構腳本 |
| jhpt | 3 | 歷史日語文獻原文與現代日語翻譯對照資料集 |
JESC(日英字幕語料庫)是由史丹佛大學發布的大規模日英字幕語料庫,是機器翻譯研究的標準資源之一。Stars:91。
jhpt(nict-astrec-att)是將歷史日語文獻的原文文本與現代日語翻譯(參考譯文)在片段級別進行對應的對照資料集,可用於古典日語現代化翻譯研究。Stars:3。
12.3 對話語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| open2ch-dialogue-corpus | 103 | 開放 2channel 對話語料庫 |
| llm-japanese-dataset | 91 | LLM 建構用聊天資料 |
| BSD | 77 | 商業場景對話語料庫 |
| japanese-daily-dialogue | 62 | 日常對話資料集(5 個主題) |
| JMRD | 30 | 電影推薦對話資料集 |
| JMultiWOZ-TC | 4 | 多輪對話代理 Function Calling 評估 |
| HOTATE | 1 | 含本音・建前(內心/表面)的日語對話資料集 |
| ETCDataset | 14 | 含情感記述的會話資料集(約 1,000 對話) |
| Novel2DialCorpus | 0 | 從小說文本構建閒聊對話語料庫的方法 |
| diafill-toolkit | 0 | 用大型語言模型合成填充詞豐富的短發話日語對話腳本的工具包 |
llm-japanese-dataset 是 LLM 建構用的日語聊天資料集,Stars:91,引起廣泛關注,反映了近期對 LLM 開發的需求。
BSD(商業場景對話)是由東京大學鶴岡研究室開發的商業場景對話語料庫,包含日英語音和文字平行資料。Stars:77。
JMultiWOZ-TC(llm-jp)是用於評估多輪對話場景中代理 Function Calling 的資料集。HOTATE(愛媛大學)是融入了本音(內心想法)和建前(表面態度)這一日本文化特有概念的對話資料集。ETCDataset(電氣通信大學/稲葉研究室)是一個包含約 1,000 段對話的資料集,其中每個發言都附有說話者自己記述的心情文字。
diafill-toolkit(SB Intuitions)是一個用於使用大型語言模型(LLMs)合成填充詞豐富、短發話的日語對話腳本的 Python 工具包。該項目通過兩個階段生成數據:種子生成(元數據創建)和對話生成(腳本創建)。
12.4 問答與推理語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| JaQuAD | 111 | SQuAD 的日語版本 |
| JSICK | 46 | 日語句子蘊含與相似度資料集 |
| jrte-corpus | 78 | 現實文字蘊含語料庫 |
| JaNLI | 18 | 對抗性自然語言推理資料集 |
| jqara | 45 | RAG 用問答資料集 |
| jemhopqa | 30 | 多跳問答資料集 |
| KUCI | 5 | 京都大學常識推理資料集 |
| JBE-QA | 0 | 日本司法考試問答資料集 |
| JSTS-Neg | 3 | 用於評估否定理解能力的日語語義相似度資料集 |
| JMedWiC | 4 | 日語醫療領域詞義一致性判定資料集 |
| E2U | 0 | 文本「傳達化」(無障礙轉換)數據 |
| annotation-2025 | 0 | 人工與 LLM 文本解釋注釋對比數據 |
JaQuAD 是由 Skelter Labs 發布的 SQuAD 日語版本,Stars:111,是最受歡迎的問答資料集。廣泛用作機器閱讀理解的基準測試。
JBE-QA(hancules)是基於日本司法考試(律師考試)的問答資料集。包含需要專業法律推理能力的高難度題目,可用於評估 LLM 在專業法律知識方面的能力。
JSTS-Neg(reiko-y)是擴展了 JGLUE 中 JSTS 的日語語義文本相似度資料集,專門用於評估對否定表達的理解能力。例如,模型是否能正確判斷「我喜歡貓」和「我不喜歡貓」的語義相似度很低,是許多 LLM 的已知弱點。Stars:3。
JMedWiC(愛媛大學 NLP 組)構建了日本醫療領域的詞義一致性判定資料集,例如判斷「副作用(副作用)」在不同上下文中是指藥物副作用還是經濟副作用。結合了遮罩語言模型自動提取和人工標注。Stars:4。
E2U(社會信息學研究所)是關於「傳達化」的資料集——即將文本轉換為更易理解的表達。這與「簡明日語」(やさしい日本語)研究及認知障礙人士的語言無障礙支持相關。
annotation-2025(Tiny-Colony)提供了用於比較人工文本解釋與 LLM 輸出的注釋資料,可用於分析 LLM 在文本解釋任務中與人類理解的偏差。
12.5 情感與毒性資料集
| 資料集名 | Stars | 說明 |
|---|---|---|
| wrime | 179 | 主觀/客觀情感分析資料集 |
| chABSA-dataset | 143 | 基於面向的情感分析 |
| japanese-toxic-dataset | 43 | 日語毒性模式 |
| commonsense-moral-ja | 15 | 常識道德判斷資料集 |
| do-not-answer-ja | 24 | 安全評估資料集(日語版) |
WRIME 在情感分析資料集中人氣最高,Stars:179。其特點是同時標注了寫作者的主觀情感和讀者的客觀情感。
12.6 LLM 訓練語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| databricks-dolly-15k-ja | 89 | Dolly 訓練資料的日語翻譯 |
| alpaca_ja | 86 | Alpaca 資料集的日語版本 |
| oasst1-89k-ja | 16 | OASST1 的日語翻譯 |
| llm-jp-corpus | 49 | LLM-jp 訓練語料庫 |
| instruction_ja | 24 | 日語指令資料 |
| jp-llm-corpus-pii-filter | 7 | 從 LLM 訓練語料庫中過濾需要特別注意的個人信息的工具 |
在 LLM 時代,大規模日語指令資料集的建構正在積極進行。databricks-dolly-15k-ja 和 alpaca_ja 是現有英語資料集的日語翻譯,可輕鬆用於日語 LLM 微調。
oasst1-89k-ja 是 OpenAssistant Conversations Dataset(OASST1)的日語翻譯版,提供人工生成的對話式指令-響應資料,適用於 RLHF 和指令微調。instruction_ja 是為 LLM 微調而整理的日語指令資料集。
llm-jp-corpus(LLM-jp)是專為 LLM-jp 系列模型構建的預訓練語料庫。與基於翻譯的 Dolly/Alpaca 資料集不同,它是獨立收集和清洗的日語網路文本、Wikipedia 及書籍語料庫,更適合訓練自然的日語詞彙和寫作風格。Stars:49。
jp-llm-corpus-pii-filter(松尾研究室)是一個用於從 LLM 訓練語料庫中過濾特別需要注意的個人信息(病歷、犯罪記錄等)的 Python 工具。Stars:7。
12.7 語音語料庫
| 語料庫名 | Stars | 說明 |
|---|---|---|
| reazonspeech | 406 | 從 YouTube 建構的大規模語音語料庫 |
| jtubespeech | 232 | YouTube 日語語音語料庫 |
| ita-corpus | 243 | ITA 語料庫句子列表 |
| koniwa | 61 | 標注語音集 |
| rohan4600 | 76 | 音拍均衡語料庫 |
| j-spaw | 6 | 用於說話人驗證和反欺騙的日語語音語料庫 |
ReazonSpeech 是由 Reazon Research 建構的大規模日語語音語料庫,Stars:406——是語音語料庫中人氣最高的。提供用於在家建構語料庫的完整工具集。
JTubeSpeech 是從 YouTube 收集的日語語音語料庫,Stars:232。
J-SpAW(高道研究室)是用於說話人驗證和反欺騙研究的日語語音語料庫。Stars:6。
12.8 Hugging Face 上的資料集
在 Hugging Face 上已發布 215 個日語 NLP 資料集。下面列出下載數最高的資料集。
| 資料集名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| KakologArchives | 74k | 102 | Nico Nico Live 評論記錄(超過 150GB) |
| fineweb-2-edu-japanese (hotchpotch) | 8k | 36 | 以教育品質篩選的日語網頁文字 |
| Cauldron-JA (turing-motors) | 7k | 9 | 日語視覺語言訓練資料 |
| Galgame-VisualNovel-Reupload (joujiboi) | 5k | 41 | 視覺小說語音與文字 |
| Nemotron-Personas-Japan (nvidia) | 5k | 136 | 合成日語人物誌 |
| ELYZA-tasks-100 (elyza) | 2k | 103 | 100 任務日語評估集 |
| Japanese-Eroge-Voice-V2 (NandemoGHS) | 1k | 63 | 日語語音資料集 |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX 合成語音資料 |
| qg_jaquad (lmqg) | 494 | 5 | 源自 JaQuAD 的問題生成資料 |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2 鏡像 |
評估基準測試資料集
| 資料集名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| JMTEB (sbintuitions) | 3k | 20 | 嵌入評估:5 個任務,28 個資料集 |
| JMMMU | 3k | 20 | 多模態問答 |
| JMedBench (Coldog2333) | 1k | 8 | 醫療/生物醫學基準測試 |
| JMMLU (nlp-waseda) | 1k | 14 | 多任務理解:56 個科目,7,536 個問題 |
| EDINET-Bench (SakanaAI) | 662 | 16 | 金融基準測試 |
| JGLUE (llm-book) | 546 | 16 | 文字分類、句對分類、問答 |
ELYZA-tasks-100 以 103 個按讚數在評估類資料集中獲得最高關注,透過 100 項日語任務用於 LLM 的綜合能力評估。JMTEB、JMMMU(各 3k)與 JGLUE(546)等標準基準測試也持續穩定使用。
語音資料集
| 資料集名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| japanese-anime-speech-v2 (joujiboi) | 3k | 166 | 29.2 萬條動漫語音樣本(397.5 小時) |
| japanese-anime-speech (joujiboi) | 946 | 166 | 7.3 萬條動漫語音樣本(110 小時) |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX 合成語音資料 |
| reazonspeech (reazon-research) | 771 | 138 | 從 8.5 小時到 35,000 小時的 5 種大小 |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2 鏡像 |
japanese-anime-speech 系列獲得 166/140 個按讚數,引起極高關注,展示了對動漫語音 ASR 模型訓練的巨大需求。
LLM 訓練資料集
| 資料集名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| databricks-dolly-15k-ja (kunishou) | 1k | 89 | Dolly 日語翻譯 |
| AnswerCarefully (llm-jp) | 644 | 194 | 提升 LLM 安全性的資料 |
| llm-japanese-dataset (izumi-lab) | 572 | 148 | 超過 900 萬條 LoRA 訓練樣本 |
| Hachi-Alpaca (HachiML) | 322 | 16 | 使用 Mixtral 進行品質驗證 |
| oasst1-89k-ja (kunishou) | 193 | 26 | OASST1 日語翻譯 |
llm-japanese-dataset 在訓練資料集中人氣最高,達 148 個按讚數,是包含超過 900 萬條樣本的 LLM 微調資料集。
其他值得注意的資料集
- Nemotron-Personas-Japan(NVIDIA):136 個按讚數的高關注度。基於人口統計和地理資料的合成日語人物誌。
- MOMIJI(Turing Motors):5,600 萬份日語網路文件和 2.49 億張圖像。用於 VLM 訓練。
- auto-wiki-qa(cl-nagoya):擁有 237 萬對的日本最大免費問答資料集。
- ParallelFiction-Ja_En-100k:日語網路小說與英語翻譯的平行資料。按讚數:82。