
LLM勉強会(LLM-jp)で開発しているLLM用のトークナイザー関連をまとめたリポジトリです.
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
54
+1 (10月13日〜)
最終コミット
2026年9月
GitHub での作成日
2023年7月13日
掲載日
2023年10月23日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 44 |
| 2026年1月 | 44 |
| 2026年2月 | 45 |
| 2026年3月 | 46 |
| 2026年4月 | 47 |
| 2026年5月 | 47 |
| 2026年6月 | 48 |
| 2026年7月 | 48 |
| 2026年8月 | 49 |
| 2026年9月 | 50 |
| 2026年10月 | 53 |
| 2026年11月 | 54 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
japanese-llm-rankingyuzu-ai50このリポジトリは、YuzuAIのラクダリーダーボードをサポートしています。ラクダリーダーボードは、LMSYSのビクーナ評価の日本に特化した類似物です。
llm-jp-evalllm-jp175このツールは、複数のデータセットを横断して日本語の大規模言語モデルを自動評価するものです.
llm-lora-classificationhppRC97llm-lora-classification
llm-lora-分類
llm-jp-sftllm-jp66このリポジトリには、LLM-jpモデルの教師ありファインチューニングのためのコードが含まれています。
Japanese-BPEEncodertanreinama42日本語-BPEエンコーダー
japanese-llm-roleplay-benchmarkoshizo42このリポジトリは日本語LLMのキャラクターロールプレイに関する性能を評価するために作成しました。
研究分野が近いリソース
yomichanFooSoft1.1kChromeとFirefox用の日本語ポップアップ辞書拡張機能。共通: 多言語・アノテーション・データセット構築
jmdict-yomitanyomidevs332Yomitan/YomichanのためのJMdict、JMnedict、KANJIDIC。共通: 多言語・アノテーション・データセット構築
jamdictneocl172Jim Breen氏のJMdict、KanjiDic2、JMnedict、漢字ラジカルマッピングを操作するためのPython 3ライブラリ共通: 多言語・アノテーション・データセット構築
elmo-japanesecl-tohoku4エルモ-日本語共通: 多言語・語彙・辞書・入力メソッド
aoveceggplants3簡単な青空文庫のWord2Vecビルダー - 青空文庫の全書籍を対象としたWord2Vecモデルの構築と構築済みモデル共通: アノテーション・データセット構築・語彙・辞書・入力メソッド
japagenretrieva1日本語タスクにおけるLLMを用いた疑似学習データ生成の検討共通: アノテーション・データセット構築・語彙・辞書・入力メソッド