
使用開放式LLM輕鬆將大型英文文本數據集轉換為日文文本數據集。
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
33
+1 (10月13日〜)
套件每週下載數
19
套件累計下載數
18,000
最後提交
2025年1月
GitHub 建立日期
2024年9月22日
收錄日
2024年10月29日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 24 |
| 2026年1月 | 25 |
| 2026年2月 | 26 |
| 2026年3月 | 27 |
| 2026年4月 | 28 |
| 2026年5月 | 29 |
| 2026年6月 | 29 |
| 2026年7月 | 30 |
| 2026年8月 | 31 |
| 2026年9月 | 32 |
| 2026年10月 | 32 |
| 2026年11月 | 33 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
在 PyPI 上的使用
PyPI 套件:text2dataset · 至 2026年10月 的每月數值(ClickPy)
近一年下載數
6,157
來自日本的比例(近一年)
0.6%
依賴它的 PyPI 套件
0
其中必要依賴 0
PyPI 每月下載數
以表格顯示
| 月份 | 下載數(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 1,446 |
| 2024年10月 | 1,730 |
| 2024年11月 | 1,412 |
| 2024年12月 | 1,865 |
| 2025年1月 | 1,077 |
| 2025年2月 | 651 |
| 2025年3月 | 856 |
| 2025年4月 | 884 |
| 2025年5月 | 407 |
| 2025年6月 | 217 |
| 2025年7月 | 437 |
| 2025年8月 | 333 |
| 2025年9月 | 561 |
| 2025年10月 | 223 |
| 2025年11月 | 285 |
| 2025年12月 | 361 |
| 2026年1月 | 683 |
| 2026年2月 | 873 |
| 2026年3月 | 198 |
| 2026年4月 | 366 |
| 2026年5月 | 1,038 |
| 2026年6月 | 1,154 |
| 2026年7月 | 400 |
| 2026年8月 | 314 |
| 2026年9月 | 162 |
| 2026年10月 | 323 |
同分類的熱門資源
OneCompressionFujitsuResearch445富士通研究所提供的 LLM 專用後訓練量子化(PTQ)流程。整合了QEP(NeurIPS 2025)、ILP混合精度、旋轉前處理、vLLM插件。論文:arXiv:2603.28845。
easynovelassistantzuntan03237輕量且無規制和審查的日語本地 LLM『LightChatAssistant-TypeB』所提供的簡單小說生成助手。利用本地特權永久生成,堆積中獎的 Gacha。支援朗讀功能。
jparacrawl-finetuneMorinoseiMorizo104JParaCrawl 預訓練神經機器翻譯 (NMT) 模型的使用示例。
llm-lora-classificationhppRC97llm-lora-classification
llm-leaderboardwandb95日本任務的llm評估項目
sarashina2.2-ttssbintuitions90Sarashina2.2-TTS 是一個以日本為中心的文本轉語音系統,建立在一個大型語言模型上,由SB Intuitions開發。
研究領域相近的資源
- japanese-gpt-neox-smallrinna656k一個 12 層、768 隱藏層的日本 GPT‑NeoX 模型,訓練於 CC‑100、C4 和 Wikipedia,兼容 Huggingface,並可選擇使用一個玩具前綴調優權重,使每句結尾強制出現笑臉表情符號。HF 模型共同: 大型語言模型
- Spark-X2.5-4B-Heretic-jp-ggufsoyaakinohara589k日本語対応 Spark-X2.5-4B 模型(Heretic JP),具備拒絕衰減、預訓練、指令調整與工具呼叫修復功能,提供從 BF16 至 Q4_K_M 的 GGUF 量化版本(約 2.5 GiB),可透過 llama.cpp 使用 1,048,576‑token 上下文。HF 模型共同: 大型語言模型
- llm-jp-4-33b-thinking-ggufllm-jp271kLLM‑jp‑4‑33b‑thinking‑gguf 是來自日本情報院(National Institute of Informatics)的 33 B 日語模型,已使用 SFT 和 DPO(無 RL)進行預訓練,可透過 llama.cpp 的 LLM‑jp fork 使用,並在其食譜中包含詳細的使用說明。HF 模型共同: 大型語言模型
- llm-jp-4.1-8b-thinkingllm-jp80kLLM‑jp‑4.1‑8b‑thinking 是日本國立情報學研究所(NII)LLM 研發中心開發的 33 B 轉換器語言模型,僅在中途訓練階段完成預訓練,並透過 SFT/DPO(不使用 RL)進行對齊,專為日語 NLP 任務設計,並於食譜與技術博客中進行說明。HF 模型共同: 大型語言模型
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m — 來自日本情報學研究院 LLM 研發中心的 150M 參數日語語言模型,已以 Hugging Face Transformers 格式發佈,需安裝 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,並以日語維基百科、Common Crawl、WARP/PDF、WARP/HTML 以及 Kaken 數據,使用 unigram byte‑fallback tokenizer 進行預訓練。HF 模型共同: 大型語言模型
- llm-jp-4-8b-instructllm-jp49kllm‑jp‑4‑8b‑instruct 是 NII 的 LLM‑jp‑4 系列 4.1 B 參數的日語 LLM,先在大規模語料庫上進行預訓練,接著僅用監督式指令資料微調(不使用 DPO/REINFORCE),並附有類似食譜風格的使用指引與 byte‑fallback unigram tokenizer。HF 模型共同: 大型語言模型