聚合了2009年至2024年NicoNico Live的评论日志,总计超过150 GB,包括转移前、转移后以及实时NX‑Jikkyo捕获,提供了一个API,便于检索历史电视广播讨论。
探索资源
可组合关键词、用途、任务与分类进行筛选。条件会保留在网址中,可直接分享。
🤗 Transformers:面向文本、视觉、音频及多模态领域最先进机器学习模型的模型定义框架,同时支持推理与训练。
Japanese wav2vec‑2 XLSR‑53 在 Common Voice 6.1、CSS10 与 JSUT 上微调,需 16 kHz 音频,并可通过 HuggingSound 或 HuggingFace 管道使用。
将任意 PDF 或图像文档转换为可供 AI 使用的结构化数据。一个连接图像/PDF 与大语言模型的强大、轻量级 OCR 工具包,支持100多种语言。
将 PDF 与 Office 文档等复杂文档转换为适用于智能体工作流、可供大语言模型使用的 Markdown/JSON。
一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。
TTS-AGI/emilia-yodas
HF 数据集来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。
Ruri v3 是基于 ModernBERT‑Ja 的先进日语文本嵌入模型,支持多达 8,192 词元输入,100K 词元词汇表,FlashAttention 加速推理,并提供多种尺寸变体,便于快速使用 sentence‑transformer。
ClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。
日语适配版 Spark‑X2.5‑4B 模型(Heretic JP),具备拒绝衰减、预训练、指令调优和工具调用修复功能,可在 BF16 至 Q4_K_M 的 GGUF 量化版本中使用,约 2.5 GiB,支持 llama.cpp 的 1,048,576‑token 上下文。
基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。
LiquidAI 的 LFM 2.5‑Audio 1.5B JP 模型的量化 GGUF 版本,包括语言、音频编码器和声码器权重(F32/F16/Q8_0/Q4_0),以及使用 llama.cpp 的 ASR 和 TTS CLI/Server 运行器。
Qdrant —— 面向下一代 AI 的高性能大规模向量数据库与向量搜索引擎,也提供云端版本 https://cloud.qdrant.io/。
开箱即用的 OCR,支持80多种语言以及拉丁字母、中文、阿拉伯文、天城文、西里尔字母等主流书写体系。
PLaMo‑Embedding‑1B 是 Preferred Networks 的一款日语文本嵌入模型,它将日语文本转换为向量,用于信息检索、分类和聚类,在 JMTEB 基准上表现出强大性能,并且在 Apache v2.0 许可证下可免费使用。
面向 AI 就绪数据的 PDF 解析器,可自动化 PDF 无障碍处理,开源。
deepghs/fgo_voices_jp
HF 数据集FGO Waifus的JP Voice‑Text 数据集:一个包含30,800条记录、66.4小时日本音频的集合,收录单一配音演员角色台词(每句约7.76秒),适用于ASR/ASV微调与评估。
Algolia + Pinecone 的开源替代方案,也是比 ElasticSearch 更易用的替代方案 ⚡ 🔍 ✨ 快速、容错拼写错误的内存模糊搜索引擎,用于打造愉悦的搜索体验。
Japanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。
FineWeb2 Edu Japanese 提供约120 million高质量教育日语文本(≈89.3 billion tokens)来自 FineWeb2,经过 DeepSeek‑API classifier(score ≥ 2.5)过滤,通过 ModernBERT‑Ja‑130M tokenized,并包含一个小-token子集(≤512 tokens)。