KakologArchives/KakologArchives
HF データセット2009年から2024年までのNicoNico Liveのコメントログ(150GB超)を集約し、転換前・転換後・リアルタイムNX‑Jikkyoのキャプチャも含む、歴史的なTV‑broadcastディスカッションを簡単に取得できるAPIを提供します。
キーワード・目的・タスク・カテゴリを組み合わせて絞り込めます。条件は URL に残るので、そのまま共有できます。
2009年から2024年までのNicoNico Liveのコメントログ(150GB超)を集約し、転換前・転換後・リアルタイムNX‑Jikkyoのキャプチャも含む、歴史的なTV‑broadcastディスカッションを簡単に取得できるAPIを提供します。
🤗 Transformers:テキスト・画像・音声・マルチモーダルの最先端機械学習モデルのためのモデル定義フレームワークで、推論と学習の両方に対応。
Japanese wav2vec‑2 XLSR‑53 は Common Voice 6.1、CSS10、JSUT で微調整され、16 kHz オーディオを必要とし、HuggingSound または HuggingFace パイプラインで使用できます。
あらゆるPDFや画像ドキュメントをAI向けの構造化データに変換。画像・PDFとLLMの橋渡しをする、強力で軽量なOCRツールキット。100以上の言語に対応。
PDFやOffice文書などの複雑なドキュメントを、エージェント型ワークフロー向けのLLM対応 Markdown/JSON に変換。
CC‑100、C4、Wikipedia で学習された12‑layer、768‑hidden の日本語 GPT‑NeoX モデル。Huggingface と互換性があり、各文の末尾に必ず笑顔の絵文字を付けるオプションのトイプレフィックス調整ウェイトが付属しています。
Fate/Stay Nightのキャラクター「Emilia」の対話とロアのデータセットで、会話型言語モデルのトレーニングと評価のためにフォーマットされています。
Tesseract オープンソースOCRエンジン(メインリポジトリ)
わずか1分の音声データでも、優れた音声合成モデルを学習できる!(少数サンプルによる声質クローン)
サイトやアプリケーションにAI駆動のハイブリッド検索をもたらす、超高速な検索エンジンAPI。
Ruri v3 は、ModernBERT‑Ja をベースとした最先端の日本語テキスト埋め込みモデルで、最大8,192トークンの入力、100Kトークンの語彙、FlashAttention で加速された推論、および高速な sentence‑transformer での使用のための複数サイズバリアントをサポートします。
Milvus は、スケーラブルなベクトル近似最近傍探索(ANN検索)のために構築された、高性能でクラウドネイティブなベクトルデータベース。
ClimbLab‑Jaは、LLM‑jp Corpus v4からフィルタリングされた3000億トークンの日本語コーパスであり、事前学習言語モデル用に20クラスタに分割され、ODC‑BYライセンス(元のソースライセンスを保持)で公開され、parquet形式で保存されています。
100以上の言語に対応した純粋な JavaScript 製OCR 📖🎉🖥。
Heretic JPに適応されたSpark‑X2.5‑4Bモデル(Japanese‑adapted Spark‑X2.5‑4B model)で、拒否抑制、事前学習、指示調整およびツール呼び出し修復が組み込まれており、BF16からQ4_K_MまでのGGUF量子化版(約2.5 GiB)が利用可能です。1,048,576トークンコンテキストでllama.cppを介して使用できます。
VoxCPM2:トークナイザー不要の音声合成で、多言語音声生成・クリエイティブな音声デザイン・実物さながらの声質クローンを実現。
次の10年のための自然言語処理。単語分割、品詞タグ付け、固有表現認識、統語・意味依存構造解析、文書分類。
日本語ウィキペディアベースのRAGデータセット(LLMコース最終競技用)、約100万テキストチャンクと検索インデックスを含む。
LiquidAI の LFM 2.5‑Audio 1.5B JP モデルの量子化 GGUF バージョン(言語、オーディオエンコーダー、およびボコーダー重み:F32/F16/Q8_0/Q4_0)と、llama.cpp を使用した ASR と TTS の CLI/Server ランナー。
Qdrant ── 次世代AIのための高性能・大規模ベクトルデータベース兼ベクトル検索エンジン。クラウド版(https://cloud.qdrant.io/)も利用可能。
80以上の言語と、ラテン文字・中国語・アラビア語・デーヴァナーガリー・キリル文字などの主要な文字体系に対応した、すぐに使えるOCR。
PLaMo‑Embedding‑1B は、Preferred Networks が提供する日本語テキスト埋め込みモデルで、情報検索、分類、クラスタリングのために日本語テキストをベクトルに変換します。JMTEB ベンチマークで高い性能を示し、Apache v2.0 license の下で無料で利用できます。
AI対応データのためのPDFパーサー。PDFアクセシビリティを自動化。オープンソース。
FGOワイフのためのJP Voice‑Text Dataset:30,800件、66.4時間の日本語音声コレクション。単一ボイスアクターのキャラクターロライン(1行約7.76 秒)で、ASR/ASVのファインチューニングと評価に有用です。
Algolia + Pinecone のオープンソース代替であり、ElasticSearch よりも使いやすい代替でもある ⚡ 🔍 ✨ 快適な検索体験を構築するための、高速でタイポに強いインメモリのあいまい検索エンジン。
2019年の日本語Wikipediaを対象に、IPA辞書と全単語マスキングを用いて事前学習されたJapanese BERT‑base、12層、768次元、32,000語語彙、512トークンシーケンス、1Mステップ、CC‑BY‑SAの下でcl‑tohoku/bert‑japaneseから入手可能。
FineWeb2 Edu Japanese は FineWeb2 からの約1億2000万の高品質教育用日本語テキスト(約893億トークン)を提供し、DeepSeek‑API クラスフィケーター(スコア ≥ 2.5)でフィルタリングし、ModernBERT‑Ja‑130M でトークナイズされ、512 トークン以下の小規模サブセットを含みます。