
使用开放的LLMs轻松将大型英文文本数据集转换为日文文本数据集。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
33
+1 (10月13日〜)
软件包每周下载数
19
软件包累计下载数
18,000
最后提交
2025年1月
GitHub 创建日期
2024年9月22日
收录日
2024年10月29日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 24 |
| 2026年1月 | 25 |
| 2026年2月 | 26 |
| 2026年3月 | 27 |
| 2026年4月 | 28 |
| 2026年5月 | 29 |
| 2026年6月 | 29 |
| 2026年7月 | 30 |
| 2026年8月 | 31 |
| 2026年9月 | 32 |
| 2026年10月 | 32 |
| 2026年11月 | 33 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
在 PyPI 上的使用
PyPI 包:text2dataset · 截至 2026年10月 的月度数值(ClickPy)
近一年下载量
6,157
来自日本的比例(近一年)
0.6%
依赖它的 PyPI 包
0
其中必需依赖 0
PyPI 月度下载量
以表格显示
| 月份 | 下载量(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 1,446 |
| 2024年10月 | 1,730 |
| 2024年11月 | 1,412 |
| 2024年12月 | 1,865 |
| 2025年1月 | 1,077 |
| 2025年2月 | 651 |
| 2025年3月 | 856 |
| 2025年4月 | 884 |
| 2025年5月 | 407 |
| 2025年6月 | 217 |
| 2025年7月 | 437 |
| 2025年8月 | 333 |
| 2025年9月 | 561 |
| 2025年10月 | 223 |
| 2025年11月 | 285 |
| 2025年12月 | 361 |
| 2026年1月 | 683 |
| 2026年2月 | 873 |
| 2026年3月 | 198 |
| 2026年4月 | 366 |
| 2026年5月 | 1,038 |
| 2026年6月 | 1,154 |
| 2026年7月 | 400 |
| 2026年8月 | 314 |
| 2026年9月 | 162 |
| 2026年10月 | 323 |
同分类的热门资源
OneCompressionFujitsuResearch445富士通研究所推出的LLM后学习量子化(PTQ)管道。集成了QEP(NeurIPS 2025)、ILP混合精度、旋转前处理、vLLM插件。论文:arXiv:2603.28845。
easynovelassistantzuntan03237轻量且无限制和审查的日语本地LLM“LightChatAssistant-TypeB”提供简易小说生成助手。通过本地特权的永久生成功能,堆积中奖抽奖。支持朗读功能。
jparacrawl-finetuneMorinoseiMorizo104JParaCrawl预训练神经机器翻译(NMT)模型的示例用法。
llm-lora-classificationhppRC97llm-lora-classification
llm-lora-分类
llm-leaderboardwandb95日本任务的llm评估项目
sarashina2.2-ttssbintuitions90Sarashina2.2-TTS是一个基于大型语言模型开发的日本中心的文本到语音系统,由SB Intuitions开发。
研究领域相近的资源
- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。HF 模型共同: 大语言模型
- Spark-X2.5-4B-Heretic-jp-ggufsoyaakinohara589k日语适配版 Spark‑X2.5‑4B 模型(Heretic JP),具备拒绝衰减、预训练、指令调优和工具调用修复功能,可在 BF16 至 Q4_K_M 的 GGUF 量化版本中使用,约 2.5 GiB,支持 llama.cpp 的 1,048,576‑token 上下文。HF 模型共同: 大语言模型
- llm-jp-4-33b-thinking-ggufllm-jp271kLLM‑jp‑4‑33b‑thinking‑gguf 是日本国立信息学研究所的 33 B 日语语言模型,已使用 SFT 和 DPO(无 RL)预训练,可通过 LLM‑jp fork 在 llama.cpp 上使用,并在其 cookbook 中提供详细使用说明。HF 模型共同: 大语言模型
- llm-jp-4.1-8b-thinkingllm-jp80kLLM‑jp‑4.1‑8b‑thinking 是日本国立信息学研究所(NII)LLM 研发中心的一个 33 B Transformer 语言模型,采用中途预训练方式,并通过 SFT/DPO 对齐(无 RL),旨在用于日语 NLP 任务,并已在菜谱和技术博客中进行记录。HF 模型共同: 大语言模型
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。HF 模型共同: 大语言模型
- llm-jp-4-8b-instructllm-jp49kllm‑jp‑4‑8b‑instruct 是 NII 的 LLM‑jp‑4 系列 4.1 B 参数的日语 LLM,先在大型语料库上预训练,随后仅使用监督指令数据进行微调(不使用 DPO/REINFORCE),并附带类似食谱的使用指南和 byte‑fallback unigram tokenizer。HF 模型共同: 大语言模型