探索资源

可组合关键词、用途、任务与分类进行筛选。条件会保留在网址中,可直接分享。

共 1,553 条,符合 1,553 条

聚合了2009年至2024年NicoNico Live的评论日志,总计超过150 GB,包括转移前、转移后以及实时NX‑Jikkyo捕获,提供了一个API,便于检索历史电视广播讨论。

Hugging Face 下载数(近 30 天): 74kHugging Face 点赞数: 102数据集

🤗 Transformers:面向文本、视觉、音频及多模态领域最先进机器学习模型的模型定义框架,同时支持推理与训练。

GitHub Star 数: 167k最后提交: 2026年11月NLP 管道

Japanese wav2vec‑2 XLSR‑53 在 Common Voice 6.1、CSS10 与 JSUT 上微调,需 16 kHz 音频,并可通过 HuggingSound 或 HuggingFace 管道使用。

Hugging Face 下载数(近 30 天): 16MHugging Face 点赞数: 119语音识别

通过大规模弱监督实现的鲁棒语音识别。

GitHub Star 数: 110k最后提交: 2026年8月语音识别

将任意 PDF 或图像文档转换为可供 AI 使用的结构化数据。一个连接图像/PDF 与大语言模型的强大、轻量级 OCR 工具包,支持100多种语言。

GitHub Star 数: 91k最后提交: 2026年9月OCR 与文档 AI

将 PDF 与 Office 文档等复杂文档转换为适用于智能体工作流、可供大语言模型使用的 Markdown/JSON。

GitHub Star 数: 81k最后提交: 2026年11月OCR 与文档 AI

一个 12 层、768 隐藏层的日语 GPT‑NeoX 模型,训练数据为 CC‑100、C4 以及 Wikipedia,兼容 Huggingface,并配备可选的玩具前缀调优权重,能强制每个句子末尾以笑脸表情符号结束。

Hugging Face 下载数(近 30 天): 656kHugging Face 点赞数: 15文本生成

来自 Fate/Stay Night 的角色 “Emilia” 的对话和背景故事数据集,格式化用于训练和评估会话语言模型。

Hugging Face 下载数(近 30 天): 18kHugging Face 点赞数: 6数据集

仅需1分钟的语音数据即可训练出优秀的语音合成模型!(少样本声音克隆)

GitHub Star 数: 62k最后提交: 2026年11月语音合成

Ruri v3 是基于 ModernBERT‑Ja 的先进日语文本嵌入模型,支持多达 8,192 词元输入,100K 词元词汇表,FlashAttention 加速推理,并提供多种尺寸变体,便于快速使用 sentence‑transformer。

Hugging Face 下载数(近 30 天): 634kHugging Face 点赞数: 89句子相似度

Milvus 是一个专为可扩展向量近似最近邻(ANN)搜索打造的高性能云原生向量数据库。

GitHub Star 数: 46k最后提交: 2026年11月全文检索

ClimbLab‑Ja 是一个300 亿标记的日语语料库,从 LLM‑jp Corpus v4 过滤而来,分为20个簇用于预训练语言模型,以 ODC‑BY 许可证发布,保留原始来源许可,并以 parquet 格式存储。

Hugging Face 下载数(近 30 天): 15kHugging Face 点赞数: 2数据集

suno-ai/bark

多语言

🔊 基于文本提示的生成式音频模型。

GitHub Star 数: 39k最后提交: 2024年4月语音合成

日语适配版 Spark‑X2.5‑4B 模型(Heretic JP),具备拒绝衰减、预训练、指令调优和工具调用修复功能,可在 BF16 至 Q4_K_M 的 GGUF 量化版本中使用,约 2.5 GiB,支持 llama.cpp 的 1,048,576‑token 上下文。

Hugging Face 下载数(近 30 天): 589kHugging Face 点赞数: 22文本生成

VoxCPM2:无需分词器的语音合成,实现多语言语音生成、创意声音设计与逼真的声音克隆。

GitHub Star 数: 38k最后提交: 2026年11月语音合成

hankcs/HanLP

多语言

面向下一个十年的自然语言处理。分词、词性标注、命名实体识别、句法与语义依存分析、文档分类。

GitHub Star 数: 37k最后提交: 2026年11月NLP 管道

基于日语维基百科的LLM课程期末竞赛RAG数据集,包含约100万文本块和搜索索引。

Hugging Face 下载数(近 30 天): 13kHugging Face 点赞数: 37数据集

LiquidAI 的 LFM 2.5‑Audio 1.5B JP 模型的量化 GGUF 版本,包括语言、音频编码器和声码器权重(F32/F16/Q8_0/Q4_0),以及使用 llama.cpp 的 ASR 和 TTS CLI/Server 运行器。

Hugging Face 下载数(近 30 天): 506kHugging Face 点赞数: 37音频转音频

qdrant/qdrant

多语言

Qdrant —— 面向下一代 AI 的高性能大规模向量数据库与向量搜索引擎,也提供云端版本 https://cloud.qdrant.io/。

GitHub Star 数: 35k最后提交: 2026年11月全文检索

💫 Python 实现的工业级自然语言处理(NLP)。

GitHub Star 数: 34k最后提交: 2026年10月NLP 管道

开箱即用的 OCR,支持80多种语言以及拉丁字母、中文、阿拉伯文、天城文、西里尔字母等主流书写体系。

GitHub Star 数: 30k最后提交: 2026年11月OCR 与文档 AI

PLaMo‑Embedding‑1B 是 Preferred Networks 的一款日语文本嵌入模型,它将日语文本转换为向量,用于信息检索、分类和聚类,在 JMTEB 基准上表现出强大性能,并且在 Apache v2.0 许可证下可免费使用。

Hugging Face 下载数(近 30 天): 486kHugging Face 点赞数: 49句子相似度

FGO Waifus的JP Voice‑Text 数据集:一个包含30,800条记录、66.4小时日本音频的集合,收录单一配音演员角色台词(每句约7.76秒),适用于ASR/ASV微调与评估。

Hugging Face 下载数(近 30 天): 10kHugging Face 点赞数: 17数据集

Algolia + Pinecone 的开源替代方案,也是比 ElasticSearch 更易用的替代方案 ⚡ 🔍 ✨ 快速、容错拼写错误的内存模糊搜索引擎,用于打造愉悦的搜索体验。

GitHub Star 数: 27k最后提交: 2026年11月全文检索

Japanese BERT‑base 在 2019 年日本维基百科上预训练,使用 IPA‑dictionary 与全词掩码,12 层 768 维,32,000 词表,512 标记序列,1 M 步骤,可在 cl‑tohoku/bert‑japanese 获取,遵循 CC‑BY‑SA 许可。

Hugging Face 下载数(近 30 天): 462kHugging Face 点赞数: 76掩码语言模型

多语言大型语音生成模型,提供推理、训练与部署的全栈能力。

GitHub Star 数: 24k最后提交: 2026年5月语音合成

FineWeb2 Edu Japanese 提供约120 million高质量教育日语文本(≈89.3 billion tokens)来自 FineWeb2,经过 DeepSeek‑API classifier(score ≥ 2.5)过滤,通过 ModernBERT‑Ja‑130M tokenized,并包含一个小-token子集(≤512 tokens)。

Hugging Face 下载数(近 30 天): 8kHugging Face 点赞数: 36数据集

WhisperX:具备词级时间戳(及说话人分离)的自动语音识别。

GitHub Star 数: 24k最后提交: 2026年11月语音识别