
PythonにおけるNグラム言語モデル。
他の言語の説明
統計
2026年11月17日時点の統計
GitHub の Star 数
5
±0 (10月13日〜)
最終コミット
2017年12月
GitHub での作成日
2017年12月5日
掲載日
2022年8月8日
Star 数の推移
数値を表で見る
| 月 | Star |
|---|---|
| 2025年12月 | 5 |
| 2026年1月 | 5 |
| 2026年2月 | 5 |
| 2026年3月 | 5 |
| 2026年4月 | 5 |
| 2026年5月 | 5 |
| 2026年6月 | 5 |
| 2026年7月 | 5 |
| 2026年8月 | 5 |
| 2026年9月 | 5 |
| 2026年10月 | 5 |
| 2026年11月 | 5 |
各月の最後のスナップショット。Star 数は 1,000 以上では 100 単位に丸められています。
同じカテゴリで人気のリソース
yomiyasunanaism3.3kAI生成された日本語を自然な日本語に磨くためのエージェントスキル / 自然な日本語へのAI生成日本語の推敲エージェントスキル
mozc-devicesgoogle3k自動的にcode.google.com/p/mozc-morseからエクスポートされました。
manga-ocrkha-white2.8k日本語のマンガを中心に、光学文字認識についての説明。
natural-japanesecoji2.1k仕事の日本語を、読みやすくわかりやすく書く・直すための Agent Skill です。
voicevox_engineVOICEVOX1.8k無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXの音声合成エンジン
mokurokha-white1.8kブラウザ内で選択可能なテキストで日本のマンガを読む。
研究分野が近いリソース
- japanese-gpt-neox-smallrinna656kCC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。HF モデル共通: 言語モデル・意味的テキスト処理
- llm-jp-3-150mllm-jp75k「LLM‑jp‑3‑150m」は、情報学研究所のLLM R&D Centerが開発した150Mパラメータを有する日本語言語モデルです。Hugging Face Transformers形式で配布され、torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8 が必要です。Japanese Wikipedia、Common Crawl、WARP/PDF、WARP/HTML、Kaken データを使用し、unigram byte‑fallback tokenizer で事前学習されています。HF モデル共通: 言語モデル・意味的テキスト処理
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k日本語 Sentence‑BERT v2 は、cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking を MultipleNegativesRankingLoss でファインチューニングし、v1 に比べて約1.5〜2 % の精度向上を実現。sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 としてリリースされました。HF モデル共通: 言語モデル・意味的テキスト処理
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M は local‑global attention と RoPE を組み合わせた日本語 BERT 変種で、4.09 T tokens の日本語/英語テキストで訓練され、102 400語の語彙、8 192トークンのシーケンスをサポートし、Flash Attention 2 用に最適化されています。HF モデル共通: 言語モデル・意味的テキスト処理
- kotoba-whisper-v2.0kotoba-tech25kKotoba‑Whisper v2.0 は、OpenAI Whisper large‑v3 から蒸留された日本語 ASR モデルで、7.2 million ReazonSpeech クリップで訓練され、ドメイン内テストで教師の CER/WER と同等の性能を維持しつつ 6.3 倍速で動作します。stable‑ts/punctuation のサポートと完全なトレーニングコードが GitHub にあります。HF モデル共通: 言語モデル・意味的テキスト処理
- deberta-v2-base-japaneseku-nlp24k日本語 DeBERTa V2 ベースモデルは、171 GBの日本語 Wikipedia、CC‑100、OSCAR データを用いて Juman++ セグメンテーションと SentencePiece トークン化で事前学習され、8枚の NVIDIA A100 GPU を 3週間使用してトレーニングされ、ファインチューニングに向けて準備ができています。HF モデル共通: 言語モデル・意味的テキスト処理