
異なるトークナイザーは、スクリプト連続言語における下流タスクでどのように機能するか?:日本語のケーススタディ - ACL SRW 2023
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
6
±0 (10月13日〜)
最終コミット
2023年6月
GitHub での作成日
2023年5月2日
掲載日
2023年7月18日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 6 |
| 2026年1月 | 6 |
| 2026年2月 | 6 |
| 2026年3月 | 6 |
| 2026年4月 | 6 |
| 2026年5月 | 6 |
| 2026年6月 | 6 |
| 2026年7月 | 6 |
| 2026年8月 | 6 |
| 2026年9月 | 6 |
| 2026年10月 | 6 |
| 2026年11月 | 6 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
ginza-transformersmegagonlabs16spacy-transformersでカスタムトークナイザーを使用する
allennlp-shiba-modelshunk03112ShibaのためのAllenNLP統合:日本のCANINEモデル
jptranstokenizerretarfi5トランスフォーマーライブラリの日本語トークナイザー
JGLUEyahoojapan349JGLUE:日本語一般言語理解評価
llm-jp-evalllm-jp175このツールは、複数のデータセットを横断して日本語の大規模言語モデルを自動評価するものです.
jp-stabletree155JP言語モデル評価ハーネス
研究分野が近いリソース
toirotaishi-i122日本語トークナイザーの比較ツール共通: 責任ある信頼できるNLP・統語的テキスト処理
SudachiTraWorksApplications81トランスフォーマー用の日本語トークナイザー共通: 統語的テキスト処理・テキスト分割
tokenizer-speed-benchlegalforce-research4様々なトークナイザーの比較コード共通: 責任ある信頼できるNLP・統語的テキスト処理
TinySegmenterMakershogo8214874TinySegmenter用の学習モデルを自作するためのツール.共通: 統語的テキスト処理・テキスト分割
nlp-recipes-jaupura66日本語の自然言語処理のサンプルコード共通: 統語的テキスト処理・テキスト分割
react-native-japanese-tokenizercraftzdog40React Native用の非同期日本語トークナイザーネイティブプラグイン(iOSおよびAndroid用)共通: 統語的テキスト処理・テキスト分割