Transformers documentation
MADLAD-400
Эта модель была опубликована в HF papers 09.09.2023 и добавлена в Hugging Face Transformers 28.11.2023.
MADLAD-400
Обзор
Модели MADLAD-400 были представлены в статье MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.
Аннотация из статьи следующая:
Мы представляем MADLAD-400 — вручную проверенный одноязычный датасет общего назначения объёмом 3 триллиона токенов, основанный на CommonCrawl и охватывающий 419 языков. Мы обсуждаем ограничения, выявленные при самоаудите MADLAD-400, и роль аудита данных в процессе создания датасета. Затем мы обучаем и публикуем модель машинного перевода с 10,7 млрд параметров, обученную на 250 миллиардах токенов, охватывающих более 450 языков, с использованием общедоступных данных, и обнаруживаем, что она конкурентоспособна с моделями значительно большего размера, а также приводим результаты на различных доменах. Кроме того, мы обучаем языковую модель с 8 млрд параметров и оцениваем результаты на few-shot переводе. Мы делаем базовые модели 1 доступными для исследовательского сообщества.
Эта модель была добавлена Juarez Bochi. Исходные контрольные точки можно найти здесь.
Это модель машинного перевода, поддерживающая множество языков с малым объёмом данных и конкурирующая с моделями значительно большего размера.
Можно напрямую использовать веса MADLAD-400 без дообучения модели:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google выпустила следующие варианты:
Оригинальные контрольные точки можно найти здесь.
Update on GitHubСм. страницу документации T5 для всех ссылок на API, примеров кода и ноутбуков. Дополнительные сведения об обучении и оценке MADLAD-400 приведены в карточке модели.