数据集卡:llm-book/ner-wikinews-dataset,来自 Livedoor News 的日语新闻语料库,按 CC BY‑ND 2.1 JP 许可授权,由 RONWIT 为书籍 “Introduction to Large Language Models” 准备。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
165
Hugging Face 点赞数
4
收录日
2024年5月13日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 473 |
| 2026年1月 | 188 |
| 2026年2月 | 236 |
| 2026年3月 | — |
| 2026年4月 | — |
| 2026年5月 | 525 |
| 2026年6月 | — |
| 2026年7月 | 134 |
| 2026年8月 | 135 |
| 2026年9月 | 124 |
| 2026年10月 | 180 |
| 2026年11月 | 165 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMedBenchColdog23331kJMedBench 是一个日语生物医学 LLM 基准,涵盖 20 个数据集,覆盖五个任务(MCQA、NER、STS 等),来源于 MedMCQA、PubMedQA、MMLU 等,每个都有自己的许可,并包含一条说明:翻译可能包含偏差,需要人工审核。
- ClimbLab-JaKantaHayashiAI15kClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。
- llm-course-final-2026bumbuboon13k基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。
- vntl-leaderboardlmg-anon857一个排行榜,按语义准确度对大型语言模型进行排名,用于将日文视觉小说翻译成英文。该排行榜使用256个样本的余弦相似度,并报告 chrF 分数,以与 Sugoi Translator、Google Translate、Naver Papago 和 Alibaba Translate 等工具进行比较。
- auto-wiki-qacl-nagoya747AutoWikiQA 是最大的免费日语问答数据集,提供超过 230 万个手工过滤的问答对,这些对是使用 Swallow‑MX 和 LLMs(不使用基于规则的模板)从维基百科自动生成的,用于支持知识教学和检索增强生成应用。
- jhumanevalkogi-jwu731JHumanEval 是 HumanEval 基准的人工翻译日语版本,提供 164 个 Python 编程问题,配有并行的英文和日文注释,用于评估日语 LLM 的代码生成,同时保留原始英文错误。
研究领域相近的资源
- AnswerCarefullyllm-jp644AnswerCarefully Dataset提供日语和多语种数据,用于商业或非商业LLM安全增强,禁止任何其他用途——包括安全规避——允许带署名的衍生作品,并声明不承担因伤害或服务变更导致的责任。共同: 大语言模型・语料库与数据集
- llm-japanese-datasetizumi-lab572用于微调 LLMs(如 LoRA)的日语指令聊天数据集,包含 9 M+ 样本,最近已更新,删除授权的 Alpaca 数据,并清理了 Wikipedia 和 ALT 输出,采用 CC‑BY‑SA 4.0 许可证发布。共同: 大语言模型・语料库与数据集
- oasst2-33k-jallm-jp551LLM‑jp 提供了一个日语指令调优数据集,该数据集是 DeepL 翻译自 oasst2 的英文子集(来自 kunishou/oasst2‑135k‑ja),并由 Kiyomaru 和 Kodama 编译。共同: 大语言模型・语料库与数据集
- JGLUEllm-book546用于《大型语言模型简介》一书的 JGLUE 数据集数据卡,来源于原始仓库,代码采用 CC BY‑SA 4.0 许可证,数据按发行者的许可协议,引用 Kurihara & Kawahara(日本语),并基于 Shunsuke Kitada 的仓库构建。共同: 大语言模型・语料库与数据集
ner-wikipedia-datasetstockmarkteam143使用维基百科进行日语专有名词提取的数据集GitHub共同: 命名实体与信息抽取・语料库与数据集
KWDLCku-nlp87京都大学网页文档引导语料库GitHub共同: 命名实体与信息抽取・语料库与数据集