機器翻譯
8.1 神經機器翻譯
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 預訓練 NMT 模型的使用範例。Stars:104。JParaCrawl 是大規模日英平行語料庫,是機器翻譯研究的重要資源。
JASS(Mao-KU/JASS):提出日語專用的序列到序列預訓練。於 LREC 2020 發表。Stars:16。
plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻譯 CLI。Stars:351,人氣頗高。可在本地執行。
8.2 翻譯工具
FuguMT 相關工具:
- tra-fugu:使用 FuguMT 的日英及英日翻譯工具
- fugumt:FuguMT 翻譯環境;亦支援 PDF 翻譯
pdf-translator(discus0434/pdf-translator):在保留原始版面的情況下將英文 PDF 翻譯為日語的工具。Stars:347。
8.3 翻譯評估
PheMT(cl-tohoku/PheMT):用於評估日英機器翻譯魯棒性的基於現象的評估資料集。包含專有名詞、縮略語、口語表達及變體四種語言現象的附加標注(COLING 2020)。Stars:20。
Hugging Face 上的翻譯模型
| 模型名 | HF 下載 | 按讚數 | 說明 |
|---|---|---|---|
| opus-mt-ja-en (Helsinki-NLP) | 37k | 77 | 以 Opus 語料庫訓練;BLEU 41.7 |
| vntl-llama3-8b-v2-gguf (lmg-anon) | 20k | 17 | 視覺小說日英翻譯 |
| Sugoi-14B-Ultra-GGUF (sugoitoolkit) | 10k | 20 | BLEU 21.38、對 RPG Maker 形式強 |
| LFM2-350M-ENJP-MT-GGUF (LiquidAI) | 5k | 45 | 輕量 350M 參數翻譯 |
| plamo-2-translate (pfnet) | 2k | 130 | PFN 大規模翻譯模型 |
vntl-llama3-8b-v2-gguf 的下載數從前次的 714k 大幅減少至 20k(全日語 NLP 模型第 40 名),翻譯類別的首位已由 Helsinki-NLP 的 opus-mt-ja-en(37k,77 個按讚數)取代。vntl-llama3 是一個基於 LLaMA 3 的模型,針對日語視覺小說的英語翻譯進行了優化,反映出文化內容翻譯的需求。
Sugoi-14B-Ultra-GGUF(sugoitoolkit)以週下載量 10k 達到 BLEU 21.38 的日英翻譯模型。對 RPG Maker 形式的括號文字與 JSON 輸出特別強,廣泛應用於遊戲翻譯與內容本地化領域。
plamo-2-translate(Preferred Networks):獲得 130 個按讚數,是專為翻譯任務設計的大型語言模型,評價甚高。