
使用Sudachi和NWJC的日语词嵌入
其他语言的说明
统计
统计数据截至 2026年11月17日
GitHub Star 数
179
+2 (10月13日〜)
最后提交
2024年3月
GitHub 创建日期
2019年11月15日
收录日
2022年6月9日
Star 数变化
以表格显示
| 月份 | Star |
|---|---|
| 2025年12月 | 168 |
| 2026年1月 | 168 |
| 2026年2月 | 170 |
| 2026年3月 | 171 |
| 2026年4月 | 173 |
| 2026年5月 | 175 |
| 2026年6月 | 176 |
| 2026年7月 | 177 |
| 2026年8月 | 178 |
| 2026年9月 | 178 |
| 2026年10月 | 178 |
| 2026年11月 | 179 |
各月最后一次快照。1,000 以上的 Star 数按 100 取整。
同分类的热门资源
jawiki_word_vector_updaterkamigaito12使用最新的日本语Wikipedia转储数据,使用MeCab在IPA词典和最新的Neologd词典中进行形态分析,并基于其结果学习word2vec、fastText和GloVe的词向量表示的脚本。
dependency-based-japanese-word-embeddingslapras-inc8这是AI LAB文章“係り受けに基づく日本語単語埋込(基于依存关系的日语词嵌入)”的存储库(文章网址https://ai-lab.lapras.com/nlp/japanese-word-embedding/)。
japanese-words-to-vectorsphilipperemy87使用Gensim和Mecab的Word2vec(单词到向量)方法来处理日语。
embedrankyagays48EmbedRank的Python实现
elmo-japanesecl-tohoku4艾尔莫-日语
aoveceggplants3易用的青空文库Word2Vec构建器 - 包含所有书籍的Word2Vec构建器和预先构建的模型。
研究领域相近的资源
- ruri-v3-310mcl-nagoya634kRuri v3 是基于 ModernBERT‑Ja 的先进日语文本嵌入模型,支持多达 8,192 词元输入,100K 词元词汇表,FlashAttention 加速推理,并提供多种尺寸变体,便于快速使用 sentence‑transformer。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-30mcl-nagoya126kRuri v3是一个最先进的日语文本嵌入模型,基于ModernBERT‑Ja构建,支持最多8,192个标记,拥有100 k词汇量,支持FlashAttention加速,并提供多种规模,从37 M到315 M参数。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-130mcl-nagoya93kRuri v3 是基于 ModernBERT‑Ja 的前沿日语文本嵌入模型,支持最多 8192 token 序列、100K token 词汇量、FlashAttention,并以 30 M 至 310 M 参数规模发布,供 sentence‑transformers 使用。HF 模型共同: 表示学习・语义文本处理
- GLuCoSE-base-japkshatech31kGLuCoSE 是一个基于 LUKE 的日语句子嵌入模型,输出 768 维均值池化向量(最多 512 个标记),在 Web 和 NLI/搜索数据上训练,在相似性基准测试中达到了 0.864 的 Spearman 相关系数和 0.818 的 Pearson 相关系数。HF 模型共同: 表示学习・语义文本处理
- plamo-embedding-1bpfnet486kPLaMo‑Embedding‑1B 是 Preferred Networks 的一款日语文本嵌入模型,它将日语文本转换为向量,用于信息检索、分类和聚类,在 JMTEB 基准上表现出强大性能,并且在 Apache v2.0 许可证下可免费使用。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-70mcl-nagoya14kRuri v3 提供高性能的日语文本嵌入,支持至 8192 个 token,拥有 100k 个 token 的词汇表,支持 FlashAttention,并提供多种模型规模(30 m–310 m),以实现高效推理和通过 sentence‑transformers 进行微调。HF 模型共同: 表示学习・语义文本处理