08

機器翻譯

8.1 神經機器翻譯

jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 預訓練 NMT 模型的使用範例。Stars:104。JParaCrawl 是大規模日英平行語料庫,是機器翻譯研究的重要資源。

JASS(Mao-KU/JASS):提出日語專用的序列到序列預訓練。於 LREC 2020 發表。Stars:16。

plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻譯 CLI。Stars:351,人氣頗高。可在本地執行。

jparacrawl-finetune
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 預訓練 NMT 模型的使用範例。Stars:104。JParaCrawl 是大規模日英平行語料庫,是機器翻譯研究的重要資源。
JASS
JASS(Mao-KU/JASS):提出日語專用的序列到序列預訓練。於 LREC 2020 發表。Stars:16。
plamo-translate-cli
plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻譯 CLI。Stars:351,人氣頗高。可在本地執行。

8.2 翻譯工具

FuguMT 相關工具:

  • tra-fugu:使用 FuguMT 的日英及英日翻譯工具
  • fugumt:FuguMT 翻譯環境;亦支援 PDF 翻譯

pdf-translator(discus0434/pdf-translator):在保留原始版面的情況下將英文 PDF 翻譯為日語的工具。Stars:347。

pdf-translator
pdf-translator(discus0434/pdf-translator):在保留原始版面的情況下將英文 PDF 翻譯為日語的工具。Stars:347。

8.3 翻譯評估

PheMT(cl-tohoku/PheMT):用於評估日英機器翻譯魯棒性的基於現象的評估資料集。包含專有名詞、縮略語、口語表達及變體四種語言現象的附加標注(COLING 2020)。Stars:20。

PheMT
PheMT(cl-tohoku/PheMT):用於評估日英機器翻譯魯棒性的基於現象的評估資料集。包含專有名詞、縮略語、口語表達及變體四種語言現象的附加標注(COLING 2020)。Stars:20。

Hugging Face 上的翻譯模型

模型名 HF 下載 按讚數 說明
opus-mt-ja-en (Helsinki-NLP) 37k 77 以 Opus 語料庫訓練;BLEU 41.7
vntl-llama3-8b-v2-gguf (lmg-anon) 20k 17 視覺小說日英翻譯
Sugoi-14B-Ultra-GGUF (sugoitoolkit) 10k 20 BLEU 21.38、對 RPG Maker 形式強
LFM2-350M-ENJP-MT-GGUF (LiquidAI) 5k 45 輕量 350M 參數翻譯
plamo-2-translate (pfnet) 2k 130 PFN 大規模翻譯模型

vntl-llama3-8b-v2-gguf 的下載數從前次的 714k 大幅減少至 20k(全日語 NLP 模型第 40 名),翻譯類別的首位已由 Helsinki-NLP 的 opus-mt-ja-en(37k,77 個按讚數)取代。vntl-llama3 是一個基於 LLaMA 3 的模型,針對日語視覺小說的英語翻譯進行了優化,反映出文化內容翻譯的需求。

Sugoi-14B-Ultra-GGUF(sugoitoolkit)以週下載量 10k 達到 BLEU 21.38 的日英翻譯模型。對 RPG Maker 形式的括號文字與 JSON 輸出特別強,廣泛應用於遊戲翻譯與內容本地化領域。

plamo-2-translate(Preferred Networks):獲得 130 個按讚數,是專為翻譯任務設計的大型語言模型,評價甚高。


opus-mt-ja-en (Helsinki-NLP)
以 Opus 語料庫訓練;BLEU 41.7
37k 77
vntl-llama3-8b-v2-gguf (lmg-anon)
視覺小說日英翻譯
20k 17
Sugoi-14B-Ultra-GGUF (sugoitoolkit)
BLEU 21.38、對 RPG Maker 形式強
10k 20
LFM2-350M-ENJP-MT-GGUF (LiquidAI)
輕量 350M 參數翻譯
5k 45
plamo-2-translate (pfnet)
PFN 大規模翻譯模型
2k 130
plamo-2-translate
plamo-2-translate(Preferred Networks):獲得 130 個按讚數,是專為翻譯任務設計的大型語言模型,評價甚高。