日语维基百科句子被转换为各种嵌入和 FAISS 索引,提供 Hugging Face Space 演示、转换脚本,以及对搜索、问答和 OpenAI text-embedding-3-small 在 RAG 中的评估;嵌入模型为 OpenAI‑licensed,其他为 CC‑BY‑SA‑4.0。
其他语言的说明
统计
统计数据截至 2026年11月16日
Hugging Face 下载数(近 30 天)
731
Hugging Face 点赞数
3
收录日
2024年10月29日
下载数(近 30 天)变化
以表格显示
| 月份 | 下载(30天) |
|---|---|
| 2025年12月 | 2,000 |
| 2026年1月 | 3,000 |
| 2026年2月 | 243 |
| 2026年3月 | 250 |
| 2026年4月 | 472 |
| 2026年5月 | 417 |
| 2026年6月 | 473 |
| 2026年7月 | 297 |
| 2026年8月 | 508 |
| 2026年9月 | 1,000 |
| 2026年10月 | 901 |
| 2026年11月 | 731 |
各月最后一次快照时的近 30 天下载数。
同分类的热门资源
- JMTEBsbintuitions3kJMTEB 是一个日本文本嵌入基准,包含 5 个任务(聚类、分类、STS、检索、再排序)和 28 个数据集,提供一行评估脚本,并邀请社区贡献。
- JQaRAhotchpotch436一个用于评估 Retrieval‑Augmented Generation(RAG)的日语 QA 数据集,由 JAQKET 问题和 Wikipedia 段落以及金标准检索相关性标签构建,并在 HuggingFace 和 GitHub 上发布,主要依据 nDCG@10 评分。
- msmarco-ja-hard-negativeshotchpotch408日语硬负采样与MSMARCO-JA数据集评估,详细说明归一化、过滤、BAAI/BGE重排序器选择、随机抽样、SPLADE基准排名以及卡方分析,显示出比原始 mMARCO(ja) 统计显著更高的正率。
- RAG-Evaluation-Dataset-JAallganize246通过发布数据集、自动评估框架以及 Claude 3.5‑Sonnet、GPT‑4o 等模型的比较结果,提供跨金融、电信、制造、公共、零售五个行业领域的日语 RAG 基准。
- Japanese-RAG-Generator-Benchmarkneoai-inc113Japanese RAG Generator Benchmark (J‑RAGBench) 提供了一个多分类 QA 数据集——涵盖 Integration、Reasoning、Logical、Table 和 Abstention——旨在评估日本 RAG 生成器,采用人工努力和 GPT‑4.1 构建,并在 CC BY‑SA 4.0 许可下发布。
- emilia-yodasTTS-AGI18k来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
研究领域相近的资源
ja.text8Hironsan113用于词嵌入的日语文本8语料库。GitHub共同: 表示学习・语义文本处理- plamo-embedding-1bpfnet486kPLaMo‑Embedding‑1B 是 Preferred Networks 的一款日语文本嵌入模型,它将日语文本转换为向量,用于信息检索、分类和聚类,在 JMTEB 基准上表现出强大性能,并且在 Apache v2.0 许可证下可免费使用。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-70mcl-nagoya14kRuri v3 提供高性能的日语文本嵌入,支持至 8192 个 token,拥有 100k 个 token 的词汇表,支持 FlashAttention,并提供多种模型规模(30 m–310 m),以实现高效推理和通过 sentence‑transformers 进行微调。HF 模型共同: 表示学习・语义文本处理
- japanese-splade-v2hotchpotch4k高性能的日本 SPLADE v2 通过 WebUI demo 实现稀疏向量转换和推理,使用 YAST 进行训练,提供 YASEM 嵌入,并报告 JMTEB benchmark 结果。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-310mcl-nagoya634kRuri v3 是基于 ModernBERT‑Ja 的先进日语文本嵌入模型,支持多达 8,192 词元输入,100K 词元词汇表,FlashAttention 加速推理,并提供多种尺寸变体,便于快速使用 sentence‑transformer。HF 模型共同: 表示学习・语义文本处理
- ruri-v3-30mcl-nagoya126kRuri v3是一个最先进的日语文本嵌入模型,基于ModernBERT‑Ja构建,支持最多8,192个标记,拥有100 k词汇量,支持FlashAttention加速,并提供多种规模,从37 M到315 M参数。HF 模型共同: 表示学习・语义文本处理