08

机器翻译

8.1 神经机器翻译

jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 预训练 NMT 模型的使用范例。Stars:104。JParaCrawl 是大规模日英平行语料库,是机器翻译研究的重要资源。

JASS(Mao-KU/JASS):提出日语专用的序列到序列预训练。于 LREC 2020 发表。Stars:16。

plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻译 CLI。Stars:351,人气颇高。可在本地执行。

jparacrawl-finetune
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl 预训练 NMT 模型的使用范例。Stars:104。JParaCrawl 是大规模日英平行语料库,是机器翻译研究的重要资源。
JASS
JASS(Mao-KU/JASS):提出日语专用的序列到序列预训练。于 LREC 2020 发表。Stars:16。
plamo-translate-cli
plamo-translate-cli(pfnet/plamo-translate-cli):使用 Preferred Networks 的 plamo-2-translate 模型的翻译 CLI。Stars:351,人气颇高。可在本地执行。

8.2 翻译工具

FuguMT 相关工具:

  • tra-fugu:使用 FuguMT 的日英及英日翻译工具
  • fugumt:FuguMT 翻译环境;亦支援 PDF 翻译

pdf-translator(discus0434/pdf-translator):在保留原始版面的情况下将英文 PDF 翻译为日语的工具。Stars:347。

pdf-translator
pdf-translator(discus0434/pdf-translator):在保留原始版面的情况下将英文 PDF 翻译为日语的工具。Stars:347。

8.3 翻译评估

PheMT(cl-tohoku/PheMT):用于评估日英机器翻译鲁棒性的基于现象的评估数据集。包含专有名词、缩略语、口语表达及变体四种语言现象的附加标注(COLING 2020)。Stars:20。

PheMT
PheMT(cl-tohoku/PheMT):用于评估日英机器翻译鲁棒性的基于现象的评估数据集。包含专有名词、缩略语、口语表达及变体四种语言现象的附加标注(COLING 2020)。Stars:20。

Hugging Face 上的翻译模型

模型名 HF 下载 点赞数 说明
opus-mt-ja-en (Helsinki-NLP) 37k 77 以 Opus 语料库训练;BLEU 41.7
vntl-llama3-8b-v2-gguf (lmg-anon) 20k 17 视觉小说日英翻译
Sugoi-14B-Ultra-GGUF (sugoitoolkit) 10k 20 BLEU 21.38、对 RPG Maker 形式强
LFM2-350M-ENJP-MT-GGUF (LiquidAI) 5k 45 轻量 350M 参数翻译
plamo-2-translate (pfnet) 2k 130 PFN 大规模翻译模型

vntl-llama3-8b-v2-gguf 的下载数从上次的 714k 大幅减少至 20k(全日语 NLP 模型第 40 名),翻译类别的首位已由 Helsinki-NLP 的 opus-mt-ja-en(37k,77 个点赞数)取代。vntl-llama3 是一个基于 LLaMA 3 的模型,针对日语视觉小说的英语翻译进行了优化,反映出文化内容翻译的需求。

Sugoi-14B-Ultra-GGUF(sugoitoolkit)以周下载量 10k 达到 BLEU 21.38 的日英翻译模型。对 RPG Maker 形式的括号文本与 JSON 输出特别强,广泛应用于游戏翻译与内容本地化领域。

plamo-2-translate(Preferred Networks):获得 130 个点赞数,是专为翻译任务设计的大型语言模型,评价甚高。


opus-mt-ja-en (Helsinki-NLP)
以 Opus 语料库训练;BLEU 41.7
37k 77
vntl-llama3-8b-v2-gguf (lmg-anon)
视觉小说日英翻译
20k 17
Sugoi-14B-Ultra-GGUF (sugoitoolkit)
BLEU 21.38、对 RPG Maker 形式强
10k 20
LFM2-350M-ENJP-MT-GGUF (LiquidAI)
轻量 350M 参数翻译
5k 45
plamo-2-translate (pfnet)
PFN 大规模翻译模型
2k 130
plamo-2-translate
plamo-2-translate(Preferred Networks):获得 130 个点赞数,是专为翻译任务设计的大型语言模型,评价甚高。