コーパス(Corpus)
12.1 品詞タグ付き・固有表現認識コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| ner-wikipedia-dataset | 143 | Wikipedia NERデータセット |
| KWDLC | 87 | 京大Webドキュメントリードコーパス |
| IOB2Corpus | 61 | IOB2タグ付きNERコーパス |
| UD_Japanese-GSD | 29 | Google UD日本語ツリーバンク |
| ud_japanese-bccwj | 27 | BCCWJのUDツリーバンク |
| WikipediaAnnotatedCorpus | 30 | 多層注釈付き日本語Wikipedia |
| nijl-manyoshutei | 4 | 関西大学所蔵廣瀬本万葉集TEI/XMLデータ(CC-BY) |
ner-wikipedia-datasetはStockmark社が公開した日本語NERデータセットであり、Star数143とNERコーパスで最も広く利用されています。
KWDLCは京都大学による日本語Webドキュメントリードコーパスであり、係り受け・格・照応の注釈が付与されています。Star数87。
Universal Dependencies日本語コーパスはUD_Japanese-GSD(Google UD)、UD_Japanese-PUD(並列UD)、UD_Japanese-GSDLUW(長単位語版)、ud_japanese-bccwj(BCCWJ版)など複数のツリーバンクが整備されています。
nijl-manyoshutei(国文学研究資料館)は関西大学所蔵廣瀬本万葉集のTEI/XMLデータをCC-BYライセンスで公開したリポジトリです。古典日本語テキストのデジタル化・注釈研究に利用できます。Star数4。
12.2 対訳コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| JESC | 91 | 英日大規模字幕コーパス |
| small_parallel_enja | 97 | 50k英日対訳(ベンチマーク用) |
| cjk-compsci-terms | 160 | CJKコンピュータ用語対照表 |
| Laboro-ParaCorpus | 19 | 日英対訳コーパス作成スクリプト |
| jhpt | 3 | 歴史的日本語資料の原文と現代語訳対訳データセット |
JESC(Japanese-English Subtitle Corpus)はスタンフォード大学が公開した大規模な日英字幕コーパスであり、機械翻訳研究の標準的なリソースの一つです。Star数91。
jhpt(nict-astrec-att)は歴史的日本語資料の原文テキストと現代語訳(参照訳)テキストをセグメント単位で対応付けた対訳データセットです。古典日本語の現代語訳研究に利用できます。Star数3。
12.3 対話コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| open2ch-dialogue-corpus | 103 | おーぷん2ちゃんねるの対話コーパス |
| llm-japanese-dataset | 91 | LLM構築用チャットデータ |
| BSD | 77 | ビジネスシーン対話コーパス |
| japanese-daily-dialogue | 62 | 日常対話データセット(5トピック) |
| JMRD | 30 | 映画推薦対話データセット |
| JMultiWOZ-TC | 4 | マルチターン対話エージェントのFunction Calling評価 |
| HOTATE | 1 | 本音・建前付き日本語対話データセット |
| ETCDataset | 14 | 感情記述付き会話データセット(約1,000対話) |
| Novel2DialCorpus | 0 | 小説テキストからの雑談対話コーパス構築手法 |
| diafill-toolkit | 0 | LLMを用いたフィラー豊富な短発話対話スクリプト合成ツール |
llm-japanese-datasetはLLM構築用の日本語チャットデータセットであり、近年のLLM開発需要を反映してStar数91と高い注目を集めています。
BSD(Business Scene Dialogue)は東京大学鶴岡研究室によるビジネスシーンの対話コーパスであり、日英の音声・テキスト対訳を含んでいます。Star数77。
JMultiWOZ-TC(llm-jp)はマルチターン対話シナリオでのエージェントFunction Calling評価データセットです。HOTATE(愛媛大)は本音と建前という日本文化特有の概念を組み込んだ対話データセットです。ETCDataset(電気通信大・稲葉研究室)は対話中の各発話に対して話者が記述した心情文を含む約1,000件の対話データセットです。
diafill-toolkit(SB Intuitions)はLLMを用いてフィラー(えー、あの等)を豊富に含む短発話の日本語対話スクリプトを合成するPythonツールキットです。種子生成(メタデータ作成)と対話生成(スクリプト作成)の2フェーズでデータを生成します。
12.4 質問応答・推論コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| JaQuAD | 111 | 日本語版SQuAD |
| JSICK | 46 | 日本語文含意・類似度データセット |
| jrte-corpus | 78 | 現実的テキスト推論コーパス |
| JaNLI | 18 | 敵対的自然言語推論データセット |
| jqara | 45 | RAG用質問応答データセット |
| jemhopqa | 30 | マルチホップQAデータセット |
| KUCI | 5 | 京大常識推論データセット |
| JBE-QA | 0 | 日本の司法試験Q&A |
| JSTS-Neg | 3 | 否定理解能力評価用日本語意味的類似度データセット |
| JMedWiC | 4 | 日本語医療ドメイン語義同一性判定データセット |
| E2U | 0 | テキストの「つたわる化」(アクセシビリティ変換)データ |
| annotation-2025 | 0 | テキスト解釈の人手・LLM出力比較データ |
JaQuADはSkelter Labsが公開した日本語版SQuADであり、Star数111と質問応答データセットで最も人気が高いです。機械読解のベンチマークとして広く利用されています。
JBE-QA(hancules)は日本の司法試験(バー試験)に基づく質問応答データセットです。法律推論能力が要求される専門性の高い問題を収録しており、LLMの専門的法律知識を評価するベンチマークとして利用できます。
JSTS-Neg(reiko-y)はJGLUEに含まれるJSTSを拡張した日本語意味的類似度データセットです。「猫が好きだ」と「猫が好きではない」のように、否定形を含む文ペアの意味的類似度判定を評価することに特化しており、LLMが否定表現を正しく理解できるかを検証できます。Star数3。
JMedWiC(愛媛大NLPグループ)はマスク言語モデルを用いて日本語医療分野の語義同一性判定データセットを構築しました。「副作用」という語が文脈によって「薬の副作用」か「経済的副作用」かなど意味が異なる場合の判定に使えます。擬似的な同義・非同義ペアの自動抽出と人手アノテーションを組み合わせています。Star数4。
E2U(社会情報学研究所)はテキストの「つたわる化」に関するデータセットです。「つたわる化」とは、認知的・言語的バリアを持つ人々にも伝わりやすい表現への変換を指し、やさしい日本語や読みやすさ研究と連携します。
annotation-2025(Tiny-Colony)はテキストの「解釈」を人手とLLM出力で比較できるアノテーションデータです。LLMが人間の解釈とどこで乖離するかを分析する際に活用できます。
12.5 感情・毒性データセット
| データセット名 | Star数 | 特徴 |
|---|---|---|
| wrime | 179 | 主観・客観感情分析データセット |
| chABSA-dataset | 143 | アスペクトベース感情分析 |
| japanese-toxic-dataset | 43 | 日本語毒性スキーマ |
| commonsense-moral-ja | 15 | 常識的道徳判断データセット |
| do-not-answer-ja | 24 | 安全性評価データセット(日本語版) |
WRIMEはStar数179と感情分析データセットで最も高い人気を持っています。書き手の主観的感情と読み手の客観的感情の両方が注釈されている点が特徴です。
12.6 LLM学習用コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| databricks-dolly-15k-ja | 89 | Dolly学習データの日本語訳 |
| alpaca_ja | 86 | Alpacaデータセット日本語版 |
| oasst1-89k-ja | 16 | OASST1日本語翻訳 |
| llm-jp-corpus | 49 | LLM-jp学習用コーパス |
| instruction_ja | 24 | 日本語インストラクション |
| jp-llm-corpus-pii-filter | 7 | LLM学習コーパスからの要配慮個人情報フィルタリングツール |
LLM時代に入り、大規模な日本語指示データセットの構築が活発に行われています。databricks-dolly-15k-jaとalpaca_jaは既存英語データセットの日本語翻訳であり、手軽にLLMの日本語ファインチューニングに利用できます。
oasst1-89k-jaはOpenAssistant Conversations Dataset(OASST1)の日本語翻訳版であり、人間が生成した対話形式の指示応答データを含みます。instruction_jaはLLMの日本語ファインチューニング向けに収集・整理された指示データセットです。
llm-jp-corpus(LLM-jp)は国産LLMであるLLM-jpシリーズの学習専用に構築されたコーパスです。翻訳ベースのDolly・Alpacaとは異なり、日本語Webテキスト・Wikipedia・書籍などを独自に収集・クリーニングした事前学習コーパスであり、日本語の自然な語彙・文体を学習させるのに適しています。Star数49。
jp-llm-corpus-pii-filter(松尾研究室)はLLM学習用コーパスから特に配慮が求められる「要配慮個人情報」(病歴・犯罪歴等)をフィルタリングするためのPythonツールです。Star数7。
12.7 音声コーパス
| コーパス名 | Star数 | 特徴 |
|---|---|---|
| reazonspeech | 406 | YouTubeから構築した大規模音声コーパス |
| jtubespeech | 232 | YouTube日本語音声コーパス |
| ita-corpus | 243 | ITAコーパス文章リスト |
| koniwa | 61 | 注釈付き音声コレクション |
| rohan4600 | 76 | モーラバランス型コーパス |
| j-spaw | 6 | 話者認証・アンチスプーフィング用日本語音声コーパス |
ReazonSpeechはReazon Researchが構築した大規模日本語音声コーパスであり、Star数406と音声コーパスで最高の人気を誇ります。自宅でもコーパス構築が可能なツール一式を提供しています。
JTubeSpeechはYouTubeから収集した日本語音声コーパスであり、Star数232です。
J-SpAW(高道研究室)は話者認証とアンチスプーフィング研究のための日本語音声コーパスです。Star数6。
12.8 Hugging Faceにおけるデータセット
Hugging Face上では215件の日本語NLPデータセットが公開されています。ダウンロード数上位のデータセットを以下に示します。
| データセット名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| KakologArchives | 74k | 102 | ニコニコ生放送コメントログ(150GB超) |
| fineweb-2-edu-japanese (hotchpotch) | 8k | 36 | 教育的品質でフィルタした日本語Webテキスト |
| Cauldron-JA (turing-motors) | 7k | 9 | 日本語Vision-Language学習データ |
| Galgame-VisualNovel-Reupload (joujiboi) | 5k | 41 | ビジュアルノベル音声・テキスト |
| Nemotron-Personas-Japan (nvidia) | 5k | 136 | 合成日本人ペルソナ |
| ELYZA-tasks-100 (elyza) | 2k | 103 | 100タスク日本語評価セット |
| Japanese-Eroge-Voice-V2 (NandemoGHS) | 1k | 63 | 日本語音声データセット |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX人工音声データ |
| qg_jaquad (lmqg) | 494 | 5 | JaQuAD由来の質問生成データ |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2ミラー |
評価ベンチマーク系データセット
| データセット名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| JMTEB (sbintuitions) | 3k | 20 | 5タスク28データセットの埋め込み評価 |
| JMMMU | 3k | 20 | マルチモーダル質問応答 |
| JMedBench (Coldog2333) | 1k | 8 | 医療・生物医学ベンチマーク |
| JMMLU (nlp-waseda) | 1k | 14 | 56科目7,536問のマルチタスク理解 |
| EDINET-Bench (SakanaAI) | 662 | 16 | 金融ベンチマーク |
| JGLUE (llm-book) | 546 | 16 | テキスト分類・文ペア分類・QA |
ELYZA-tasks-100はLike数103と評価系データセットで最高の注目を集めており、100件の日本語タスクによるLLMの総合的な能力評価に利用されています。JMTEB・JMMMU(各3k)、JGLUE(546)といった標準ベンチマークも安定して利用されています。
音声系データセット
| データセット名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| japanese-anime-speech-v2 (joujiboi) | 3k | 166 | アニメ音声292k件(397.5時間) |
| japanese-anime-speech (joujiboi) | 946 | 166 | アニメ音声73k件(110時間) |
| voicevox-voice-corpus (ayousanz) | 885 | 7 | VOICEVOX人工音声データ |
| reazonspeech (reazon-research) | 771 | 138 | 8.5h〜35,000hの5サイズ |
| reazon-speech-v2-clone (litagin) | 364 | 12 | ReazonSpeech v2ミラー |
japanese-anime-speechシリーズはLike数166/140と非常に高い注目を集めており、アニメ音声のASRモデル学習への需要の大きさを示しています。
LLM学習用データセット
| データセット名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| databricks-dolly-15k-ja (kunishou) | 1k | 89 | Dolly日本語翻訳版 |
| AnswerCarefully (llm-jp) | 644 | 194 | LLM安全性向上データ |
| llm-japanese-dataset (izumi-lab) | 572 | 148 | 9M+サンプル、LoRA学習用 |
| Hachi-Alpaca (HachiML) | 322 | 16 | Mixtralで品質検証済み |
| oasst1-89k-ja (kunishou) | 193 | 26 | OASST1日本語翻訳 |
llm-japanese-datasetはLike数148と学習データセットで最高の人気を持ち、9M以上のサンプルを含むLLMファインチューニング用データセットです。
その他の注目データセット
- Nemotron-Personas-Japan(NVIDIA):Like数136と高い注目。人口統計・地理データに基づく合成日本人ペルソナ。
- MOMIJI(Turing Motors):日本語ウェブコレクション56M文書・249M画像。VLM学習用。
- auto-wiki-qa(cl-nagoya):237万ペアの日本語最大無料QAデータセット。
- ParallelFiction-Ja_En-100k:日本語ウェブ小説と英語翻訳の対訳データ。Like数82。