
日本維卡尼亞QA基準
其他語言的說明
統計
統計資料截至 2026年11月17日
GitHub Star 數
34
+1 (10月13日〜)
最後提交
2024年6月
GitHub 建立日期
2023年8月11日
收錄日
2023年12月21日
Star 數變化
以表格顯示
| 月份 | Star |
|---|---|
| 2025年12月 | 33 |
| 2026年1月 | 33 |
| 2026年2月 | 33 |
| 2026年3月 | 33 |
| 2026年4月 | 33 |
| 2026年5月 | 33 |
| 2026年6月 | 33 |
| 2026年7月 | 33 |
| 2026年8月 | 33 |
| 2026年9月 | 33 |
| 2026年10月 | 33 |
| 2026年11月 | 34 |
各月最後一次快照。1,000 以上的 Star 數以 100 為單位四捨五入。
同分類的熱門資源
JGLUEyahoojapan349JGLUE:日本通用語言理解評估
llm-jp-evalllm-jp175這個工具可以跨多個數據集對日語大規模語言模型進行自動評估。
jp-stabletree155JP 語言模型評估工具
japanese-lm-fin-harnesspfnet-research80日語語言模型金融評估工具
japanese-llm-rankingyuzu-ai50這個儲存庫支援YuzuAI的Rakuda排行榜,該排行榜是日本語言模型的日本專用版本,類似於LMSYS的Vicuna評估。
japanese-llm-roleplay-benchmarkoshizo42這個存儲庫是為了評估日本語LLM的角色扮演性能而創建的。
研究領域相近的資源
- JEMHopQAsbintuitions297日本多跳問答資料集(JEMHopQA),提供問題、答案以及將兩篇維基百科文章連結的半結構化推導步驟,並更新了推導格式及擴充了跨多個版本發布的答案集合。HF 資料集共同: 自然語言介面・問答
- rakuda-questionsyuzuai188Rakuda 提供 40 個日文問題—針對歷史、社會與政府的開放式題目,以及針對地理的專門題目—作為基準測試日本 AI 助手的資料,與 vicuna‑eval 相似,並可透過 datasets.load_dataset 載入。HF 資料集共同: 自然語言介面・問答
- JQaRAhotchpotch436一個日語 QA 數據集,用於評估 Retrieval‑Augmented Generation (RAG),由 JAQKET 題目與 Wikipedia 文章構建,帶有金鑰檢索相關性標簽,已於 HuggingFace 和 GitHub 發布,主要以 nDCG@10 作為評分指標。HF 資料集共同: 自然語言介面・問答
- JaQuADSkelterLabsInc916JaQuAD 是 2022 年的日本 QA 資料集,包含 39,696 對 SQuAD‑style 抽取式問答對,來源於 Wikipedia,總量 73.2 MB,當使用 BERT‑Japanese 微調時,F1 分數達 78.92 %(EM 63.38 %)。HF 資料集共同: 自然語言介面・問答
niilc-qamynlp19NIILC QA 數據共同: 自然語言介面・問答- JAQKETkumapo327一個日語開放領域問答資料集 JAQKET,提供測驗式多選題(v1.0)與自由文字答案生成(v2.0),其中 v1.0 具有 13 061 個訓練範例和 271 個驗證範例,而 v2.0 擁有 2 154 個訓練範例和 1 164 個驗證範例。HF 資料集共同: 自然語言介面