このモデルは2022年7月11日にHF papersで公開され、2022年7月18日にHugging Face Transformersに貢献されました。

NLLB

概要

NLLB: No Language Left Behindは多言語翻訳モデルです。低資源言語向けに調整されたデータマイニング技術を用いたデータで学習されており、200以上の言語に対応しています。NLLBは、Sparsely Gated Mixture of Expertsを用いた条件付き計算アーキテクチャを備えています。

すべてのオリジナルのNLLBチェックポイントは、AI at Meta組織の下で見つけることができます。

このモデルは Lysandre によって提供されました。 NLLB を異なる翻訳タスクに適用する方法のより多くの例については、右側のサイドバーにある NLLB モデルをクリックしてください。

以下の例では、PipelineまたはAutoModelクラスを使用してテキストを翻訳する方法を示しています。

from transformers import pipeline


pipeline = pipeline(task="translation", model="facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn", device=0)
pipeline("UN Chief says there is no military solution in Syria")

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", attn_implementation="sdpa", device_map="auto")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)

translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

Quantization は、重みを低精度で表現することで、大規模モデルのメモリ負荷を軽減します。利用可能な Quantization バックエンドの詳細については、Quantization の概要を参照してください。

以下の例では、bitsandbytesを使用して重みを8ビットに量子化します。

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig


bnb_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-1.3B", quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-1.3B")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30,
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

AttentionMaskVisualizer を使用して、モデルが注意できるトークンと注意できないトークンをより深く理解してください。

from transformers.utils.attention_visualizer import AttentionMaskVisualizer


visualizer = AttentionMaskVisualizer("facebook/nllb-200-distilled-600M")
visualizer("UN Chief says there is no military solution in Syria")

注記

• トークナイザーは2023年4月に更新され、ソースシーケンスの先頭にターゲット言語ではなくソース言語をプレフィックスとして付与するようになりました。これにより、ゼロショット性能が優先され、教師あり性能にはわずかなコストが生じます。

  コピーしました

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  tokenizer("How was your day?").input_ids
  [256047, 13374, 1398, 4260, 4039, 248130, 2]

  従来の動作に戻すには、以下のコード例を使用してください。

  コピーしました

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M", legacy_behaviour=True)

• 英語以外の言語の場合、以下に示すようにsrc_langキーワードにその言語のBCP-47コードを指定します。

• ルーマニア語からドイツ語への翻訳の例を以下に示します。

  コピーしました

  from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  
  tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", device_map="auto")
  
  article = "UN Chief says there is no military solution in Syria"
  inputs = tokenizer(article, return_tensors="pt").to(model.device)
  
  translated_tokens = model.generate(
      **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
  )
  tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
  Le chef de l'ONU dit qu'il n'y a pas de solution militaire en Syrie

NllbTokenizer

>>> from transformers import NllbTokenizer

>>> tokenizer = NllbTokenizer.from_pretrained(
...     "facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")