
Python中的Ngram语言模型。
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
5
±0 (10月13日〜)
最后提交
2017年12月
GitHub 创建日期
2017年12月5日
收录日
2022年8月8日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 5 |
| 2026年1月 | 5 |
| 2026年2月 | 5 |
| 2026年3月 | 5 |
| 2026年4月 | 5 |
| 2026年5月 | 5 |
| 2026年6月 | 5 |
| 2026年7月 | 5 |
| 2026年8月 | 5 |
| 2026年9月 | 5 |
| 2026年10月 | 5 |
| 2026年11月 | 5 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
yomiyasunanaism3.3kAI生成的日本语自然化代理技能/将AI生成的日本语推敲为自然日本语的代理技能
mozc-devicesgoogle3k自动从code.google.com/p/mozc-morse导出
manga-ocrkha-white2.8k关于日文文本的光学字符识别,主要关注于日本漫画。
natural-japanesecoji2.1k这是用于写作和修改工作日本语,使其易读易懂的代理技能。
voicevox_engineVOICEVOX1.8k免费使用的中等质量的文本朗读软件,VOICEVOX的语音合成引擎
mokurokha-white1.8k在浏览器中阅读日本漫画,可选择文本。
研究领域相近的资源
- japanese-gpt-neox-smallrinna656k一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。HF 模型共同: 语言模型・语义文本处理
- llm-jp-3-150mllm-jp75kLLM‑jp‑3‑150m——来自国立信息学研究所LLM研发中心的150 M参数日语语言模型——以 Hugging Face Transformers 格式发布,需要 torch ≥ 2.3.0、transformers ≥ 4.40.1、accelerate ≥ 0.29.3、flash‑attn ≥ 2.5.8,并且在日本维基百科、Common Crawl、WARP/PDF、WARP/HTML 和 Kaken 数据上使用 unigram byte‑fallback tokenizer 进行预训练。HF 模型共同: 语言模型・语义文本处理
- sentence-bert-base-ja-mean-tokens-v2sonoisa53k一款在 cl‑tohoku/bert‑base‑japanese‑whole‑word‑masking 上使用 MultipleNegativesRankingLoss 细调的 Japanese Sentence‑BERT v2,较 v1 提升了约 1.5–2 %的准确率,并以 sonoisa/sentence‑bert‑base‑ja‑mean‑tokens‑v2 发布。HF 模型共同: 语言模型・语义文本处理
- modernbert-ja-310msbintuitions36kModernBERT‑Ja‑310M 是一种日语 BERT 变体,融合了局部-全局注意力和 RoPE,训练于 4.09 T 日语/英语文本,支持 102 400 词汇量、8 192 令牌序列,并针对 Flash Attention 2 进行了优化。HF 模型共同: 语言模型・语义文本处理
- kotoba-whisper-v2.0kotoba-tech25kKotoba‑Whisper v2.0 是从 OpenAI Whisper large‑v3 蒸馏出的日语 ASR 模型,训练于 720 万个 ReazonSpeech 剪辑,推理速度快 6.3 倍,同时在同域测试中匹配教师模型的 CER/WER,并提供 stable‑ts/标点支持以及完整的训练代码在 GitHub 上。HF 模型共同: 语言模型・语义文本处理
- deberta-v2-base-japaneseku-nlp24kJapanese DeBERTa V2 基础模型已在 171 GB 的日语维基百科、CC‑100 和 OSCAR 数据上预训练,使用 Juman++ 分词和 SentencePiece 标记化,经过三周在八块 NVIDIA A100 GPU 上训练,现已准备好用于微调。HF 模型共同: 语言模型・语义文本处理