
此存儲庫包含重現LLM-jp語料庫的腳本。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
49
±0 (10月13日〜)
最後提交
2023年10月
GitHub 建立日期
2023年6月14日
收錄日
2023年7月24日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 43 |
| 2026年1月 | 43 |
| 2026年2月 | 43 |
| 2026年3月 | 44 |
| 2026年4月 | 45 |
| 2026年5月 | 46 |
| 2026年6月 | 47 |
| 2026年7月 | 47 |
| 2026年8月 | 48 |
| 2026年9月 | 48 |
| 2026年10月 | 49 |
| 2026年11月 | 49 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
同分類的熱門資源
llm-japanese-datasetmasanorihirano91LLM構築用的日本語聊天資料集
jmed-llmsociocom59JMED-LLM:大型語言模型的日本醫學評估數據集
japanese-llm-benchmarkshi3z53一個評估各種LLM的日語能力的基準工具。
EDINET-BenchSakanaAI37[ICLR 2026] 在日本具有挑戰性的金融任務上評估LLMs的表現。
Japanese-RP-BenchAratako25Japanese-RP-Bench是用來測量LLM的日語角色扮演能力的基準。
do-not-answer-jakunishou242023年8月,墨爾本大學公開了安全性評估數據集『Do-Not-Answer』,該數據集已經被自動翻譯成日語,並且考慮了日本文化進行了修正,以便在日語LLM評估中使用。
研究領域相近的資源
- AnswerCarefullyllm-jp644AnswerCarefully Dataset 提供日語及多語言資料,用於商業或非商業 LLM 安全增強;禁止任何其他用途——包括安全繞過;允許帶歸屬的衍生作品;並附帶創作者對損害或服務變更之非責任免責聲明。HF 資料集共同: 標註與資料集建置
- JGLUEllm-book546JGLUE 資料集卡片,使用於《Large Language Model Introduction》一書,來源自原始倉庫,程式碼採用 CC BY‑SA 4.0 許可,資料受發行者授權,引用 Kurihara & Kawahara(以日文)並建立於 Shunsuke Kitada 的倉庫。HF 資料集共同: 標註與資料集建置
- scaling-data-constrained-llmsllm-jp402一組日文與英文網路語料庫,包括 9 B‑token 日文集(JA‑WEB‑9B)、63 B‑token 英文及日文集(EN‑WEB‑63B、JA‑WEB‑63B)以及合成版本,如改寫版 JA‑PARAPHRASE‑63B、指令式 JA‑INSTRUCT‑63B 與翻譯版 JA‑TRANSLATE‑63B,供在資料受限情境下研究對日文 LLM 進行預訓練的資料增強。HF 資料集共同: 標註與資料集建置
- kaken-trans-ja-enhpprc358日本語テキスト(kaken サブセットの llm-jp-corpus-v3 から)を Qwen/Qwen2.5-32B-Instruct で英訳し、CC-BY 4.0 ライセンスのもとでオープンな日本語–英語パラレルコーパスとして公開。元データセットの利用規約は継承されます。HF 資料集共同: 標註與資料集建置
- oasst1-21k-jallm-jp271oasst1‑21k‑ja 是一個由 DeepL 從英文 OASST1 子集衍生而來的日語指令調整資料集,通過日本的 LLM‑jp 合作項目創建;如需聯繫,請發送電子郵件至 llm‑jp@nii.ac.jp,作者包括 Kiyomaru、Matsuda、Suzuki、Han、Sugawara、Sasaki、Kurita、Nakamura、Kodama 以及 Okamoto。HF 資料集共同: 標註與資料集建置
- llm-japanese-dataset-vanillaizumi-lab255一份去除 izumi-lab 的 llm-japanese-dataset 中英日翻譯資料的日本聊天數據集,旨在通過 LoRA 進行指令回應任務的日語 LLM 微調,並以 CC‑BY‑SA 4.0 授權公開。HF 資料集共同: 標註與資料集建置