08

機械翻訳(Machine Translation)

8.1 ニューラル機械翻訳

jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl事前学習済みNMTモデルの使用例。Star数104。JParaCrawlは大規模な日英対訳データであり、機械翻訳研究の重要なリソースです。

JASS(Mao-KU/JASS):日本語固有のSequence-to-Sequence事前学習を提案。LREC 2020で発表。Star数16。

plamo-translate-cli(pfnet/plamo-translate-cli):Preferred Networksのplamo-2-translateモデルを利用した翻訳CLI。Star数351と高い人気です。ローカル実行可能。

jparacrawl-finetune
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl事前学習済みNMTモデルの使用例。Star数104。JParaCrawlは大規模な日英対訳データであり、機械翻訳研究の重要なリソースです。
104
JASS
JASS(Mao-KU/JASS):日本語固有のSequence-to-Sequence事前学習を提案。LREC 2020で発表。Star数16。
16
plamo-translate-cli
plamo-translate-cli(pfnet/plamo-translate-cli):Preferred Networksのplamo-2-translateモデルを利用した翻訳CLI。Star数351と高い人気です。ローカル実行可能。
351

8.2 翻訳ツール

FuguMT関連ツール群:

  • tra-fugu:FuguMTを使用した日英・英日翻訳ツール
  • fugumt:FuguMT翻訳環境。PDFの翻訳にも対応

pdf-translator(discus0434/pdf-translator):英語PDFを日本語に翻訳し、元のレイアウトを保持するツール。Star数347。

pdf-translator
pdf-translator(discus0434/pdf-translator):英語PDFを日本語に翻訳し、元のレイアウトを保持するツール。Star数347。
347

8.3 翻訳評価

PheMT(cl-tohoku/PheMT):日英機械翻訳の堅牢性に関する現象別評価データセット。固有名詞、略語、口語表現、変異形の4つの言語現象に対する追加注釈を含んでいます(COLING 2020)。Star数20。

PheMT
PheMT(cl-tohoku/PheMT):日英機械翻訳の堅牢性に関する現象別評価データセット。固有名詞、略語、口語表現、変異形の4つの言語現象に対する追加注釈を含んでいます(COLING 2020)。Star数20。
20

Hugging Faceにおける翻訳モデル

モデル名 HF DL数 Like数 特徴
opus-mt-ja-en (Helsinki-NLP) 37k 77 Opusコーパス学習、BLEU 41.7
vntl-llama3-8b-v2-gguf (lmg-anon) 20k 17 ビジュアルノベル日→英翻訳
Sugoi-14B-Ultra-GGUF (sugoitoolkit) 10k 20 BLEU 21.38、RPGツクール対応
LFM2-350M-ENJP-MT-GGUF (LiquidAI) 5k 45 350Mパラメータ軽量翻訳
plamo-2-translate (pfnet) 2k 130 PFN大規模翻訳モデル

vntl-llama3-8b-v2-ggufは20kダウンロードと、前回の714kから大きく減少しました(全HFモデル中40位)。翻訳カテゴリの首位はHelsinki-NLPのopus-mt-ja-en(37k、Like 77)に交代しています。vntl-llama3は日本語ビジュアルノベルの英語翻訳に最適化されたLLaMA 3ベースのモデルであり、文化的コンテンツの翻訳需要を示す存在です。

Sugoi-14B-Ultra-GGUF(sugoitoolkit)は週間10kダウンロード、BLEU 21.38を達成する日英翻訳モデルで、全HFモデル中60位に位置しています。RPGツクール形式の括弧付きテキストに強く、JSON出力にも対応するため、ゲーム翻訳・コンテンツローカライゼーション分野で広く利用されています。

plamo-2-translate(Preferred Networks)はLike数130と高い評価を受けており、翻訳タスク専用に設計された大規模言語モデルです。


opus-mt-ja-en (Helsinki-NLP)
Opusコーパス学習、BLEU 41.7
37k 77
vntl-llama3-8b-v2-gguf (lmg-anon)
ビジュアルノベル日→英翻訳
20k 17
Sugoi-14B-Ultra-GGUF (sugoitoolkit)
BLEU 21.38、RPGツクール対応
10k 20
LFM2-350M-ENJP-MT-GGUF (LiquidAI)
350Mパラメータ軽量翻訳
5k 45
plamo-2-translate (pfnet)
PFN大規模翻訳モデル
2k 130
Sugoi-14B-Ultra-GGUF
Sugoi-14B-Ultra-GGUF(sugoitoolkit)は週間10kダウンロード、BLEU 21.38を達成する日英翻訳モデルで、全HFモデル中60位に位置しています。RPGツクール形式の括弧付きテキストに強く、JSON出力にも対応するため、ゲーム翻訳・コンテンツローカライゼーション分野で広く利用されています。
10k/w
plamo-2-translate
plamo-2-translate(Preferred Networks)はLike数130と高い評価を受けており、翻訳タスク専用に設計された大規模言語モデルです。