机器翻译
8.1 神经机器翻译
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 预训练 NMT 模型的使用范例。Stars:104。JParaCrawl 是大规模日英平行语料库,是机器翻译研究的重要资源。
JASS(Mao-KU/JASS):提出日语专用的序列到序列预训练。于 LREC 2020 发表。Stars:16。
plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻译 CLI。Stars:351,人气颇高。可在本地执行。
8.2 翻译工具
FuguMT 相关工具:
- tra-fugu:使用 FuguMT 的日英及英日翻译工具
- fugumt:FuguMT 翻译环境;亦支援 PDF 翻译
pdf-translator(discus0434/pdf-translator):在保留原始版面的情况下将英文 PDF 翻译为日语的工具。Stars:347。
8.3 翻译评估
PheMT(cl-tohoku/PheMT):用于评估日英机器翻译鲁棒性的基于现象的评估数据集。包含专有名词、缩略语、口语表达及变体四种语言现象的附加标注(COLING 2020)。Stars:20。
Hugging Face 上的翻译模型
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| opus-mt-ja-en (Helsinki-NLP) | 37k | 77 | 以 Opus 语料库训练;BLEU 41.7 |
| vntl-llama3-8b-v2-gguf (lmg-anon) | 20k | 17 | 视觉小说日英翻译 |
| Sugoi-14B-Ultra-GGUF (sugoitoolkit) | 10k | 20 | BLEU 21.38、对 RPG Maker 形式强 |
| LFM2-350M-ENJP-MT-GGUF (LiquidAI) | 5k | 45 | 轻量 350M 参数翻译 |
| plamo-2-translate (pfnet) | 2k | 130 | PFN 大规模翻译模型 |
vntl-llama3-8b-v2-gguf 的下载数从上次的 714k 大幅减少至 20k(全日语 NLP 模型第 40 名),翻译类别的首位已由 Helsinki-NLP 的 opus-mt-ja-en(37k,77 个点赞数)取代。vntl-llama3 是一个基于 LLaMA 3 的模型,针对日语视觉小说的英语翻译进行了优化,反映出文化内容翻译的需求。
Sugoi-14B-Ultra-GGUF(sugoitoolkit)以周下载量 10k 达到 BLEU 21.38 的日英翻译模型。对 RPG Maker 形式的括号文本与 JSON 输出特别强,广泛应用于游戏翻译与内容本地化领域。
plamo-2-translate(Preferred Networks):获得 130 个点赞数,是专为翻译任务设计的大型语言模型,评价甚高。