12

コーパス(Corpus)

12.1 品詞タグ付き・固有表現認識コーパス

コーパス名 Star数 特徴
ner-wikipedia-dataset 143 Wikipedia NERデータセット
KWDLC 87 京大Webドキュメントリードコーパス
IOB2Corpus 61 IOB2タグ付きNERコーパス
UD_Japanese-GSD 29 Google UD日本語ツリーバンク
ud_japanese-bccwj 27 BCCWJのUDツリーバンク
WikipediaAnnotatedCorpus 30 多層注釈付き日本語Wikipedia
nijl-manyoshutei 4 関西大学所蔵廣瀬本万葉集TEI/XMLデータ(CC-BY)

ner-wikipedia-datasetはStockmark社が公開した日本語NERデータセットであり、Star数143とNERコーパスで最も広く利用されています。

KWDLCは京都大学による日本語Webドキュメントリードコーパスであり、係り受け・格・照応の注釈が付与されています。Star数87。

Universal Dependencies日本語コーパスはUD_Japanese-GSD(Google UD)、UD_Japanese-PUD(並列UD)、UD_Japanese-GSDLUW(長単位語版)、ud_japanese-bccwj(BCCWJ版)など複数のツリーバンクが整備されています。

nijl-manyoshutei(国文学研究資料館)は関西大学所蔵廣瀬本万葉集のTEI/XMLデータをCC-BYライセンスで公開したリポジトリです。古典日本語テキストのデジタル化・注釈研究に利用できます。Star数4。

ner-wikipedia-dataset
Wikipedia NERデータセット
143
KWDLC
京大Webドキュメントリードコーパス
87
IOB2Corpus
IOB2タグ付きNERコーパス
61
UD_Japanese-GSD
Google UD日本語ツリーバンク
29
ud_japanese-bccwj
BCCWJのUDツリーバンク
27
WikipediaAnnotatedCorpus
多層注釈付き日本語Wikipedia
30
nijl-manyoshutei
関西大学所蔵廣瀬本万葉集TEI/XMLデータ(CC-BY)
4

12.2 対訳コーパス

コーパス名 Star数 特徴
JESC 91 英日大規模字幕コーパス
small_parallel_enja 97 50k英日対訳(ベンチマーク用)
cjk-compsci-terms 160 CJKコンピュータ用語対照表
Laboro-ParaCorpus 19 日英対訳コーパス作成スクリプト
jhpt 3 歴史的日本語資料の原文と現代語訳対訳データセット

JESC(Japanese-English Subtitle Corpus)はスタンフォード大学が公開した大規模な日英字幕コーパスであり、機械翻訳研究の標準的なリソースの一つです。Star数91。

jhpt(nict-astrec-att)は歴史的日本語資料の原文テキストと現代語訳(参照訳)テキストをセグメント単位で対応付けた対訳データセットです。古典日本語の現代語訳研究に利用できます。Star数3。

JESC
英日大規模字幕コーパス
91
small_parallel_enja
50k英日対訳(ベンチマーク用)
97
cjk-compsci-terms
CJKコンピュータ用語対照表
160
Laboro-ParaCorpus
日英対訳コーパス作成スクリプト
19
jhpt
歴史的日本語資料の原文と現代語訳対訳データセット
3

12.3 対話コーパス

コーパス名 Star数 特徴
open2ch-dialogue-corpus 103 おーぷん2ちゃんねるの対話コーパス
llm-japanese-dataset 91 LLM構築用チャットデータ
BSD 77 ビジネスシーン対話コーパス
japanese-daily-dialogue 62 日常対話データセット(5トピック)
JMRD 30 映画推薦対話データセット
JMultiWOZ-TC 4 マルチターン対話エージェントのFunction Calling評価
HOTATE 1 本音・建前付き日本語対話データセット
ETCDataset 14 感情記述付き会話データセット(約1,000対話)
Novel2DialCorpus 0 小説テキストからの雑談対話コーパス構築手法
diafill-toolkit 0 LLMを用いたフィラー豊富な短発話対話スクリプト合成ツール

llm-japanese-datasetはLLM構築用の日本語チャットデータセットであり、近年のLLM開発需要を反映してStar数91と高い注目を集めています。

BSD(Business Scene Dialogue)は東京大学鶴岡研究室によるビジネスシーンの対話コーパスであり、日英の音声・テキスト対訳を含んでいます。Star数77。

JMultiWOZ-TC(llm-jp)はマルチターン対話シナリオでのエージェントFunction Calling評価データセットです。HOTATE(愛媛大)は本音と建前という日本文化特有の概念を組み込んだ対話データセットです。ETCDataset(電気通信大・稲葉研究室)は対話中の各発話に対して話者が記述した心情文を含む約1,000件の対話データセットです。

diafill-toolkit(SB Intuitions)はLLMを用いてフィラー(えー、あの等)を豊富に含む短発話の日本語対話スクリプトを合成するPythonツールキットです。種子生成(メタデータ作成)と対話生成(スクリプト作成)の2フェーズでデータを生成します。

open2ch-dialogue-corpus
おーぷん2ちゃんねるの対話コーパス
103
llm-japanese-dataset
LLM構築用チャットデータ
91
BSD
ビジネスシーン対話コーパス
77
japanese-daily-dialogue
日常対話データセット(5トピック)
62
JMRD
映画推薦対話データセット
30
JMultiWOZ-TC
マルチターン対話エージェントのFunction Calling評価
4
HOTATE
本音・建前付き日本語対話データセット
1
ETCDataset
感情記述付き会話データセット(約1,000対話)
14
Novel2DialCorpus
小説テキストからの雑談対話コーパス構築手法
0
diafill-toolkit
LLMを用いたフィラー豊富な短発話対話スクリプト合成ツール
0

12.4 質問応答・推論コーパス

コーパス名 Star数 特徴
JaQuAD 111 日本語版SQuAD
JSICK 46 日本語文含意・類似度データセット
jrte-corpus 78 現実的テキスト推論コーパス
JaNLI 18 敵対的自然言語推論データセット
jqara 45 RAG用質問応答データセット
jemhopqa 30 マルチホップQAデータセット
KUCI 5 京大常識推論データセット
JBE-QA 0 日本の司法試験Q&A
JSTS-Neg 3 否定理解能力評価用日本語意味的類似度データセット
JMedWiC 4 日本語医療ドメイン語義同一性判定データセット
E2U 0 テキストの「つたわる化」(アクセシビリティ変換)データ
annotation-2025 0 テキスト解釈の人手・LLM出力比較データ

JaQuADはSkelter Labsが公開した日本語版SQuADであり、Star数111と質問応答データセットで最も人気が高いです。機械読解のベンチマークとして広く利用されています。

JBE-QA(hancules)は日本の司法試験(バー試験)に基づく質問応答データセットです。法律推論能力が要求される専門性の高い問題を収録しており、LLMの専門的法律知識を評価するベンチマークとして利用できます。

JSTS-Neg(reiko-y)はJGLUEに含まれるJSTSを拡張した日本語意味的類似度データセットです。「猫が好きだ」と「猫が好きではない」のように、否定形を含む文ペアの意味的類似度判定を評価することに特化しており、LLMが否定表現を正しく理解できるかを検証できます。Star数3。

JMedWiC(愛媛大NLPグループ)はマスク言語モデルを用いて日本語医療分野の語義同一性判定データセットを構築しました。「副作用」という語が文脈によって「薬の副作用」か「経済的副作用」かなど意味が異なる場合の判定に使えます。擬似的な同義・非同義ペアの自動抽出と人手アノテーションを組み合わせています。Star数4。

E2U(社会情報学研究所)はテキストの「つたわる化」に関するデータセットです。「つたわる化」とは、認知的・言語的バリアを持つ人々にも伝わりやすい表現への変換を指し、やさしい日本語や読みやすさ研究と連携します。

annotation-2025(Tiny-Colony)はテキストの「解釈」を人手とLLM出力で比較できるアノテーションデータです。LLMが人間の解釈とどこで乖離するかを分析する際に活用できます。

JaQuAD
日本語版SQuAD
111
JSICK
日本語文含意・類似度データセット
46
jrte-corpus
現実的テキスト推論コーパス
78
JaNLI
敵対的自然言語推論データセット
18
jqara
RAG用質問応答データセット
45
jemhopqa
マルチホップQAデータセット
30
KUCI
京大常識推論データセット
5
JBE-QA
日本の司法試験Q&A
0
JSTS-Neg
否定理解能力評価用日本語意味的類似度データセット
3
JMedWiC
日本語医療ドメイン語義同一性判定データセット
4
E2U
テキストの「つたわる化」(アクセシビリティ変換)データ
0
annotation-2025
テキスト解釈の人手・LLM出力比較データ
0

12.5 感情・毒性データセット

データセット名 Star数 特徴
wrime 179 主観・客観感情分析データセット
chABSA-dataset 143 アスペクトベース感情分析
japanese-toxic-dataset 43 日本語毒性スキーマ
commonsense-moral-ja 15 常識的道徳判断データセット
do-not-answer-ja 24 安全性評価データセット(日本語版)

WRIMEはStar数179と感情分析データセットで最も高い人気を持っています。書き手の主観的感情と読み手の客観的感情の両方が注釈されている点が特徴です。

wrime
主観・客観感情分析データセット
179
chABSA-dataset
アスペクトベース感情分析
143
japanese-toxic-dataset
日本語毒性スキーマ
43
commonsense-moral-ja
常識的道徳判断データセット
15
do-not-answer-ja
安全性評価データセット(日本語版)
24

12.6 LLM学習用コーパス

コーパス名 Star数 特徴
databricks-dolly-15k-ja 89 Dolly学習データの日本語訳
alpaca_ja 86 Alpacaデータセット日本語版
oasst1-89k-ja 16 OASST1日本語翻訳
llm-jp-corpus 49 LLM-jp学習用コーパス
instruction_ja 24 日本語インストラクション
jp-llm-corpus-pii-filter 7 LLM学習コーパスからの要配慮個人情報フィルタリングツール

LLM時代に入り、大規模な日本語指示データセットの構築が活発に行われています。databricks-dolly-15k-jaとalpaca_jaは既存英語データセットの日本語翻訳であり、手軽にLLMの日本語ファインチューニングに利用できます。

oasst1-89k-jaはOpenAssistant Conversations Dataset(OASST1)の日本語翻訳版であり、人間が生成した対話形式の指示応答データを含みます。instruction_jaはLLMの日本語ファインチューニング向けに収集・整理された指示データセットです。

llm-jp-corpus(LLM-jp)は国産LLMであるLLM-jpシリーズの学習専用に構築されたコーパスです。翻訳ベースのDolly・Alpacaとは異なり、日本語Webテキスト・Wikipedia・書籍などを独自に収集・クリーニングした事前学習コーパスであり、日本語の自然な語彙・文体を学習させるのに適しています。Star数49。

jp-llm-corpus-pii-filter(松尾研究室)はLLM学習用コーパスから特に配慮が求められる「要配慮個人情報」(病歴・犯罪歴等)をフィルタリングするためのPythonツールです。Star数7。

databricks-dolly-15k-ja
Dolly学習データの日本語訳
89
alpaca_ja
Alpacaデータセット日本語版
86
oasst1-89k-ja
OASST1日本語翻訳
16
llm-jp-corpus
LLM-jp学習用コーパス
49
instruction_ja
日本語インストラクション
24
jp-llm-corpus-pii-filter
LLM学習コーパスからの要配慮個人情報フィルタリングツール
7

12.7 音声コーパス

コーパス名 Star数 特徴
reazonspeech 406 YouTubeから構築した大規模音声コーパス
jtubespeech 232 YouTube日本語音声コーパス
ita-corpus 243 ITAコーパス文章リスト
koniwa 61 注釈付き音声コレクション
rohan4600 76 モーラバランス型コーパス
j-spaw 6 話者認証・アンチスプーフィング用日本語音声コーパス

ReazonSpeechはReazon Researchが構築した大規模日本語音声コーパスであり、Star数406と音声コーパスで最高の人気を誇ります。自宅でもコーパス構築が可能なツール一式を提供しています。

JTubeSpeechはYouTubeから収集した日本語音声コーパスであり、Star数232です。

J-SpAW(高道研究室)は話者認証とアンチスプーフィング研究のための日本語音声コーパスです。Star数6。

reazonspeech
YouTubeから構築した大規模音声コーパス
406
jtubespeech
YouTube日本語音声コーパス
232
ita-corpus
ITAコーパス文章リスト
243
koniwa
注釈付き音声コレクション
61
rohan4600
モーラバランス型コーパス
76
j-spaw
話者認証・アンチスプーフィング用日本語音声コーパス
6
J-SpAW
J-SpAW(高道研究室)は話者認証とアンチスプーフィング研究のための日本語音声コーパスです。Star数6。
6

12.8 Hugging Faceにおけるデータセット

Hugging Face上では215件の日本語NLPデータセットが公開されています。ダウンロード数上位のデータセットを以下に示します。

データセット名 HF DL数 Like数 特徴
KakologArchives 74k 102 ニコニコ生放送コメントログ(150GB超)
fineweb-2-edu-japanese (hotchpotch) 8k 36 教育的品質でフィルタした日本語Webテキスト
Cauldron-JA (turing-motors) 7k 9 日本語Vision-Language学習データ
Galgame-VisualNovel-Reupload (joujiboi) 5k 41 ビジュアルノベル音声・テキスト
Nemotron-Personas-Japan (nvidia) 5k 136 合成日本人ペルソナ
ELYZA-tasks-100 (elyza) 2k 103 100タスク日本語評価セット
Japanese-Eroge-Voice-V2 (NandemoGHS) 1k 63 日本語音声データセット
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX人工音声データ
qg_jaquad (lmqg) 494 5 JaQuAD由来の質問生成データ
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2ミラー
KakologArchives
ニコニコ生放送コメントログ(150GB超)
74k 102
fineweb-2-edu-japanese (hotchpotch)
教育的品質でフィルタした日本語Webテキスト
8k 36
Cauldron-JA (turing-motors)
日本語Vision-Language学習データ
7k 9
Galgame-VisualNovel-Reupload (joujiboi)
ビジュアルノベル音声・テキスト
5k 41
Nemotron-Personas-Japan (nvidia)
合成日本人ペルソナ
5k 136
ELYZA-tasks-100 (elyza)
100タスク日本語評価セット
2k 103
Japanese-Eroge-Voice-V2 (NandemoGHS)
日本語音声データセット
1k 63
voicevox-voice-corpus (ayousanz)
VOICEVOX人工音声データ
885 7
qg_jaquad (lmqg)
JaQuAD由来の質問生成データ
494 5
reazon-speech-v2-clone (litagin)
ReazonSpeech v2ミラー
364 12

評価ベンチマーク系データセット

データセット名 HF DL数 Like数 特徴
JMTEB (sbintuitions) 3k 20 5タスク28データセットの埋め込み評価
JMMMU 3k 20 マルチモーダル質問応答
JMedBench (Coldog2333) 1k 8 医療・生物医学ベンチマーク
JMMLU (nlp-waseda) 1k 14 56科目7,536問のマルチタスク理解
EDINET-Bench (SakanaAI) 662 16 金融ベンチマーク
JGLUE (llm-book) 546 16 テキスト分類・文ペア分類・QA

ELYZA-tasks-100はLike数103と評価系データセットで最高の注目を集めており、100件の日本語タスクによるLLMの総合的な能力評価に利用されています。JMTEB・JMMMU(各3k)、JGLUE(546)といった標準ベンチマークも安定して利用されています。

JMTEB (sbintuitions)
5タスク28データセットの埋め込み評価
3k 20
JMMMU
マルチモーダル質問応答
3k 20
JMedBench (Coldog2333)
医療・生物医学ベンチマーク
1k 8
JMMLU (nlp-waseda)
56科目7,536問のマルチタスク理解
1k 14
EDINET-Bench (SakanaAI)
金融ベンチマーク
662 16
JGLUE (llm-book)
テキスト分類・文ペア分類・QA
546 16

音声系データセット

データセット名 HF DL数 Like数 特徴
japanese-anime-speech-v2 (joujiboi) 3k 166 アニメ音声292k件(397.5時間)
japanese-anime-speech (joujiboi) 946 166 アニメ音声73k件(110時間)
voicevox-voice-corpus (ayousanz) 885 7 VOICEVOX人工音声データ
reazonspeech (reazon-research) 771 138 8.5h〜35,000hの5サイズ
reazon-speech-v2-clone (litagin) 364 12 ReazonSpeech v2ミラー

japanese-anime-speechシリーズはLike数166/140と非常に高い注目を集めており、アニメ音声のASRモデル学習への需要の大きさを示しています。

japanese-anime-speech-v2 (joujiboi)
アニメ音声292k件(397.5時間)
3k 166
japanese-anime-speech (joujiboi)
アニメ音声73k件(110時間)
946 166
voicevox-voice-corpus (ayousanz)
VOICEVOX人工音声データ
885 7
reazonspeech (reazon-research)
8.5h〜35,000hの5サイズ
771 138
reazon-speech-v2-clone (litagin)
ReazonSpeech v2ミラー
364 12

LLM学習用データセット

データセット名 HF DL数 Like数 特徴
databricks-dolly-15k-ja (kunishou) 1k 89 Dolly日本語翻訳版
AnswerCarefully (llm-jp) 644 194 LLM安全性向上データ
llm-japanese-dataset (izumi-lab) 572 148 9M+サンプル、LoRA学習用
Hachi-Alpaca (HachiML) 322 16 Mixtralで品質検証済み
oasst1-89k-ja (kunishou) 193 26 OASST1日本語翻訳

llm-japanese-datasetはLike数148と学習データセットで最高の人気を持ち、9M以上のサンプルを含むLLMファインチューニング用データセットです。

databricks-dolly-15k-ja (kunishou)
Dolly日本語翻訳版
1k 89
AnswerCarefully (llm-jp)
LLM安全性向上データ
644 194
llm-japanese-dataset (izumi-lab)
9M+サンプル、LoRA学習用
572 148
Hachi-Alpaca (HachiML)
Mixtralで品質検証済み
322 16
oasst1-89k-ja (kunishou)
OASST1日本語翻訳
193 26

その他の注目データセット

  • Nemotron-Personas-Japan(NVIDIA):Like数136と高い注目。人口統計・地理データに基づく合成日本人ペルソナ。
  • MOMIJI(Turing Motors):日本語ウェブコレクション56M文書・249M画像。VLM学習用。
  • auto-wiki-qa(cl-nagoya):237万ペアの日本語最大無料QAデータセット。
  • ParallelFiction-Ja_En-100k:日本語ウェブ小説と英語翻訳の対訳データ。Like数82。

Nemotron-Personas-Japan
- Nemotron-Personas-Japan(NVIDIA):Like数136と高い注目。人口統計・地理データに基づく合成日本人ペルソナ。
MOMIJI
- MOMIJI(Turing Motors):日本語ウェブコレクション56M文書・249M画像。VLM学習用。
auto-wiki-qa
- auto-wiki-qa(cl-nagoya):237万ペアの日本語最大無料QAデータセット。