機械翻訳(Machine Translation)
8.1 ニューラル機械翻訳
jparacrawl-finetune(MorinoseiMorizo/jparacrawl-finetune):JParaCrawl事前学習済みNMTモデルの使用例。Star数104。JParaCrawlは大規模な日英対訳データであり、機械翻訳研究の重要なリソースです。
JASS(Mao-KU/JASS):日本語固有のSequence-to-Sequence事前学習を提案。LREC 2020で発表。Star数16。
plamo-translate-cli(pfnet/plamo-translate-cli):Preferred Networksのplamo-2-translateモデルを利用した翻訳CLI。Star数351と高い人気です。ローカル実行可能。
8.2 翻訳ツール
FuguMT関連ツール群:
- tra-fugu:FuguMTを使用した日英・英日翻訳ツール
- fugumt:FuguMT翻訳環境。PDFの翻訳にも対応
pdf-translator(discus0434/pdf-translator):英語PDFを日本語に翻訳し、元のレイアウトを保持するツール。Star数347。
8.3 翻訳評価
PheMT(cl-tohoku/PheMT):日英機械翻訳の堅牢性に関する現象別評価データセット。固有名詞、略語、口語表現、変異形の4つの言語現象に対する追加注釈を含んでいます(COLING 2020)。Star数20。
Hugging Faceにおける翻訳モデル
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| opus-mt-ja-en (Helsinki-NLP) | 37k | 77 | Opusコーパス学習、BLEU 41.7 |
| vntl-llama3-8b-v2-gguf (lmg-anon) | 20k | 17 | ビジュアルノベル日→英翻訳 |
| Sugoi-14B-Ultra-GGUF (sugoitoolkit) | 10k | 20 | BLEU 21.38、RPGツクール対応 |
| LFM2-350M-ENJP-MT-GGUF (LiquidAI) | 5k | 45 | 350Mパラメータ軽量翻訳 |
| plamo-2-translate (pfnet) | 2k | 130 | PFN大規模翻訳モデル |
vntl-llama3-8b-v2-ggufは20kダウンロードと、前回の714kから大きく減少しました(全HFモデル中40位)。翻訳カテゴリの首位はHelsinki-NLPのopus-mt-ja-en(37k、Like 77)に交代しています。vntl-llama3は日本語ビジュアルノベルの英語翻訳に最適化されたLLaMA 3ベースのモデルであり、文化的コンテンツの翻訳需要を示す存在です。
Sugoi-14B-Ultra-GGUF(sugoitoolkit)は週間10kダウンロード、BLEU 21.38を達成する日英翻訳モデルで、全HFモデル中60位に位置しています。RPGツクール形式の括弧付きテキストに強く、JSON出力にも対応するため、ゲーム翻訳・コンテンツローカライゼーション分野で広く利用されています。
plamo-2-translate(Preferred Networks)はLike数130と高い評価を受けており、翻訳タスク専用に設計された大規模言語モデルです。