Эта модель была опубликована в HF papers 25 января 2023 года и добавлена в Hugging Face Transformers 20 июня 2023 года.

XLM-V

Обзор

XLM-V — это многоязыковая языковая модель с словарём из одного миллиона токенов, обученная на 2,5 ТБ данных из Common Crawl (как и XLM-R). Она была представлена в статье XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models авторов Дэвиса Лианга, Хилы Гонен, Юниня Мао, Руя Ху, Намана Гояла, Марджана Гхазвининежада, Люка Зеттлемойера и Мадьян Хабы.

Из аннотации статьи XLM-V:

Крупные многоязычные языковые модели, как правило, используют единый словарь, общий для более чем 100 языков. По мере роста числа параметров и глубины этих моделей размер словаря в целом оставался неизменным. Это ограничение словарного запаса сужает возможности представления в многоязычных моделях, таких как XLM-R. В данной статье мы предлагаем новый подход к масштабированию на очень большие многоязычные словари, который снижает значимость общего использования токенов между языками с малым лексическим пересечением и распределяет ёмкость словаря таким образом, чтобы обеспечить достаточное покрытие для каждого отдельного языка. Токенизация с использованием нашего словаря, как правило, более семантически осмысленна и короче по сравнению с XLM-R. Используя этот улучшенный словарь, мы обучили XLM-V — многоязычную языковую модель со словарём из одного миллиона токенов. XLM-V превосходит XLM-R по всем задачам, которые мы тестировали, начиная от рассуждений на естественном языке (XNLI), ответов на вопросы (MLQA, XQuAD, TyDiQA) и распознавания именованных сущностей (WikiAnn) и заканчивая задачами с малым объёмом данных (Americas NLI, MasakhaNER).

Эта модель была предоставлена stefan-it и включает подробные эксперименты с XLM-V на задачах, следующих за основной. Репозиторий с экспериментами можно найти здесь.

Советы по использованию

• XLM-V совместим с архитектурой модели XLM-RoBERTa, требовалось лишь преобразовать веса модели из библиотеки fairseq.
• Реализация XLMTokenizer используется для загрузки словаря и выполнения токенизации.

Модель XLM-V (базового размера) доступна под идентификатором facebook/xlm-v-base.

Архитектура XLM-V совпадает с архитектурой XLM-RoBERTa. Справочник по API и примеры см. в документации XLM-RoBERTa.

Update on GitHub