聚合自 2009‑2024 年的 NicoNico Live 評論日誌超過 150 GB,包括轉換前、轉換後及實時 NX‑Jikkyo 捕獲,並提供 API 以方便檢索歷史 TV‑broadcast 討論。
探索資源
可組合關鍵字、用途、任務與分類來篩選。條件會保留在網址中,可直接分享。
🤗 Transformers:面向文字、視覺、音訊及多模態領域最先進機器學習模型的模型定義框架,同時支援推論與訓練。
日語 wav2vec‑2 XLSR‑53 在 Common Voice 6.1、CSS10 與 JSUT 上微調,需要 16 kHz 音訊,並可透過 HuggingSound 或 HuggingFace pipelines 使用。
將任意 PDF 或影像文件轉換為可供 AI 使用的結構化資料。一個連接影像/PDF 與大型語言模型的強大、輕量級 OCR 工具包,支援100多種語言。
將 PDF 與 Office 文件等複雜文件轉換為適用於代理工作流程、可供大型語言模型使用的 Markdown/JSON。
一個 12 層、768 隱藏層的日本 GPT‑NeoX 模型,訓練於 CC‑100、C4 和 Wikipedia,兼容 Huggingface,並可選擇使用一個玩具前綴調優權重,使每句結尾強制出現笑臉表情符號。
TTS-AGI/emilia-yodas
HF 資料集來自 Fate/Stay Night 角色「Emilia」的對話與傳說資料集,格式化用於訓練與評估對話語言模型。
Ruri v3 是一個尖端的日本語文本嵌入模型,建立於 ModernBERT‑Ja,支援最多 8,192‑token 輸入、100K‑token 詞彙表、FlashAttention‑加速推論,以及多種尺寸變體,方便快速使用 sentence‑transformer。
ClimbLab‑Ja 是一個三千億標記的日語語料庫,從 LLM‑jp Corpus v4 過濾後分成 20 個群集,用於預訓練語言模型,以 ODC‑BY 授權發佈,保留原始來源授權並以 parquet 格式存儲。
日本語対応 Spark-X2.5-4B 模型(Heretic JP),具備拒絕衰減、預訓練、指令調整與工具呼叫修復功能,提供從 BF16 至 Q4_K_M 的 GGUF 量化版本(約 2.5 GiB),可透過 llama.cpp 使用 1,048,576‑token 上下文。
基於日文 Wikipedia 的 RAG 資料集,供 LLM 課程期末競賽使用,包含約 100 萬個文本片段及搜尋索引。
量化 GGUF 版本的 LiquidAI LFM 2.5‑Audio 1.5B JP 模型,包括語言、音訊編碼器和聲碼器權重(F32/F16/Q8_0/Q4_0),以及使用 llama.cpp 的 ASR 與 TTS CLI/Server 運行器。
Qdrant —— 面向下一代 AI 的高效能大規模向量資料庫與向量搜尋引擎,也提供雲端版本 https://cloud.qdrant.io/。
開箱即用的 OCR,支援80多種語言以及拉丁字母、中文、阿拉伯文、天城文、西里爾字母等主流書寫體系。
PLaMo‑Embedding‑1B 是 Preferred Networks 開發的日本文本嵌入模型,能將日文文本轉換為向量,用於資訊檢索、分類與聚類,在 JMTEB 基準測試上表現優異,且以 Apache v2.0 license 免費提供。
面向 AI 就緒資料的 PDF 解析器,可自動化 PDF 無障礙處理,開源。
deepghs/fgo_voices_jp
HF 資料集FGO Waifu 的 JP Voice‑Text 資料集:包含 30,800 條記錄、66.4 小時的日語音訊集合,涵蓋單一配音員角色台詞(每條約 7.76 秒),適用於 ASR/ASV 微調與評估。
Algolia + Pinecone 的開源替代方案,也是比 ElasticSearch 更易用的替代方案 ⚡ 🔍 ✨ 快速、容錯拼字錯誤的記憶體內模糊搜尋引擎,用於打造愉悅的搜尋體驗。
Japanese BERT‑base 預訓練於 2019 年日本維基百科,使用 IPA 字典與整詞掩碼,12 層、768 維,32,000 詞表,512 令牌序列,1 百萬步;可於 cl‑tohoku/bert‑japanese 在 CC‑BY‑SA 條款下取得。
FineWeb2 Edu Japanese 交付約 120 million 高品質教育用日語文本(≈89.3 billion tokens)來自 FineWeb2,經 DeepSeek‑API classifier(score ≥ 2.5)過濾,使用 ModernBERT‑Ja‑130M 分詞,並包含小型 token 子集(≤512 tokens)。