
簡単に大きな英語テキストデータセットを日本語テキストデータセットに変換できます。オープンLLMsを使用してください。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
33
+1 (10月13日〜)
パッケージの週間ダウンロード数
19
パッケージの累計ダウンロード数
18,000
最終コミット
2025年1月
GitHub での作成日
2024年9月22日
掲載日
2024年10月29日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 24 |
| 2026年1月 | 25 |
| 2026年2月 | 26 |
| 2026年3月 | 27 |
| 2026年4月 | 28 |
| 2026年5月 | 29 |
| 2026年6月 | 29 |
| 2026年7月 | 30 |
| 2026年8月 | 31 |
| 2026年9月 | 32 |
| 2026年10月 | 32 |
| 2026年11月 | 33 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
PyPI での利用
PyPI パッケージ: text2dataset · 2026年10月までの月間値(ClickPy)
直近1年のダウンロード数
6,157
日本からの割合(直近1年)
0.6%
依存している PyPI パッケージ
0
うち必須の依存 0
PyPI の月間ダウンロード数
数値を表で見る
| 月 | ダウンロード数(月) |
|---|---|
| 2019年1月 | — |
| 2019年2月 | — |
| 2019年3月 | — |
| 2019年4月 | — |
| 2019年5月 | — |
| 2019年6月 | — |
| 2019年7月 | — |
| 2019年8月 | — |
| 2019年9月 | — |
| 2019年10月 | — |
| 2019年11月 | — |
| 2019年12月 | — |
| 2020年1月 | — |
| 2020年2月 | — |
| 2020年3月 | — |
| 2020年4月 | — |
| 2020年5月 | — |
| 2020年6月 | — |
| 2020年7月 | — |
| 2020年8月 | — |
| 2020年9月 | — |
| 2020年10月 | — |
| 2020年11月 | — |
| 2020年12月 | — |
| 2021年1月 | — |
| 2021年2月 | — |
| 2021年3月 | — |
| 2021年4月 | — |
| 2021年5月 | — |
| 2021年6月 | — |
| 2021年7月 | — |
| 2021年8月 | — |
| 2021年9月 | — |
| 2021年10月 | — |
| 2021年11月 | — |
| 2021年12月 | — |
| 2022年1月 | — |
| 2022年2月 | — |
| 2022年3月 | — |
| 2022年4月 | — |
| 2022年5月 | — |
| 2022年6月 | — |
| 2022年7月 | — |
| 2022年8月 | — |
| 2022年9月 | — |
| 2022年10月 | — |
| 2022年11月 | — |
| 2022年12月 | — |
| 2023年1月 | — |
| 2023年2月 | — |
| 2023年3月 | — |
| 2023年4月 | — |
| 2023年5月 | — |
| 2023年6月 | — |
| 2023年7月 | — |
| 2023年8月 | — |
| 2023年9月 | — |
| 2023年10月 | — |
| 2023年11月 | — |
| 2023年12月 | — |
| 2024年1月 | — |
| 2024年2月 | — |
| 2024年3月 | — |
| 2024年4月 | — |
| 2024年5月 | — |
| 2024年6月 | — |
| 2024年7月 | — |
| 2024年8月 | — |
| 2024年9月 | 1,446 |
| 2024年10月 | 1,730 |
| 2024年11月 | 1,412 |
| 2024年12月 | 1,865 |
| 2025年1月 | 1,077 |
| 2025年2月 | 651 |
| 2025年3月 | 856 |
| 2025年4月 | 884 |
| 2025年5月 | 407 |
| 2025年6月 | 217 |
| 2025年7月 | 437 |
| 2025年8月 | 333 |
| 2025年9月 | 561 |
| 2025年10月 | 223 |
| 2025年11月 | 285 |
| 2025年12月 | 361 |
| 2026年1月 | 683 |
| 2026年2月 | 873 |
| 2026年3月 | 198 |
| 2026年4月 | 366 |
| 2026年5月 | 1,038 |
| 2026年6月 | 1,154 |
| 2026年7月 | 400 |
| 2026年8月 | 314 |
| 2026年9月 | 162 |
| 2026年10月 | 323 |
同じカテゴリで人気のリソース
OneCompressionFujitsuResearch445富士通研究所による LLM 向け後学習量子化 (PTQ) パイプライン。QEP (NeurIPS 2025)、ILP 混合精度、回転前処理、vLLM プラグインを統合。論文: arXiv:2603.28845。
easynovelassistantzuntan03237軽量で規制も検閲もない日本語ローカル LLM『LightChatAssistant-TypeB』による、簡単なノベル生成アシスタントです。ローカル特権の永続生成 Generate forever で、当たりガチャを積み上げます。読み上げにも対応。
jparacrawl-finetuneMorinoseiMorizo104JParaCrawlの事前学習済みニューラル機械翻訳(NMT)モデルの使用例。
llm-lora-classificationhppRC97llm-lora-classification
llm-lora-分類
llm-leaderboardwandb95日本のタスクのLLM評価プロジェクト
sarashina2.2-ttssbintuitions90Sarashina2.2-TTSは、SB Intuitionsによって開発された大規模な言語モデルをベースにした日本中心のテキスト読み上げシステムです。
研究分野が近いリソース
- japanese-gpt-neox-smallrinna656kCC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。HF モデル共通: 大規模言語モデル(LLM)
- Spark-X2.5-4B-Heretic-jp-ggufsoyaakinohara589kHeretic JPに適応されたSpark‑X2.5‑4Bモデル(Japanese‑adapted Spark‑X2.5‑4B model)で、拒否抑制、事前学習、指示調整およびツール呼び出し修復が組み込まれており、BF16からQ4_K_MまでのGGUF量子化版(約2.5 GiB)が利用可能です。1,048,576トークンコンテキストでllama.cppを介して使用できます。HF モデル共通: 大規模言語モデル(LLM)
- llm-jp-4-33b-thinking-ggufllm-jp271kLLM‑jp‑4‑33b‑thinking‑ggufは、国立情報学研究所から提供される33 Bの日本語言語モデルで、SFTとDPO(RLなし)で事前訓練されています。llama.cppではLLM‑jpフォーク経由で利用可能で、詳細な使用方法がクックブックに記載されています。HF モデル共通: 大規模言語モデル(LLM)
- llm-jp-4.1-8b-thinkingllm-jp80kLLM‑jp‑4.1‑8b‑thinking は、NII の LLM R&D Center が開発した 33 B トランスフォーマー言語モデルで、途中でのみ事前学習され、SFT/DPO(RL を使用しない)によって調整されています。日本語 NLP タスク向けに設計され、クックブックと技術ブログで文書化されています。HF モデル共通: 大規模言語モデル(LLM)
- llm-jp-3-150mllm-jp75k「LLM‑jp‑3‑150m」は、情報学研究所のLLM R&D Centerが開発した150Mパラメータを有する日本語言語モデルです。Hugging Face Transformers形式で配布され、torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8 が必要です。Japanese Wikipedia、Common Crawl、WARP/PDF、WARP/HTML、Kaken データを使用し、unigram byte‑fallback tokenizer で事前学習されています。HF モデル共通: 大規模言語モデル(LLM)
- llm-jp-4-8b-instructllm-jp49kllm‑jp‑4‑8b‑instructは、NIIのLLM‑jp‑4シリーズからの4.1 Bパラメータを持つ日本語LLMで、大規模コーパスで事前学習され、次に教師付き指示データのみでファインチューニングされ(DPO/REINFORCEは使用していない)、料理本スタイルの使用ガイドとbyte‑fallbackユニグラムトークナイザーが付属します。HF モデル共通: 大規模言語モデル(LLM)