Ce modèle a été publié dans HF papers le 25/01/2023 et ajouté à Hugging Face Transformers le 20/06/2023.

XLM-V

Aperçu

XLM-V est un modèle de langage multilingue doté d'un vocabulaire d'un million de jetons, entraîné sur 2,5 To de données issues de Common Crawl (identiques à celles de XLM-R). Il a été présenté dans l'article XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models par Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer et Madian Khabsa.

D'après l'abstract du papier XLM-V :

Les grands modèles de langage multilingues s’appuient généralement sur un vocabulaire unique partagé entre plus de 100 langues. Alors que le nombre de paramètres et la profondeur de ces modèles ont augmenté, la taille du vocabulaire est restée largement inchangée. Cette limitation du vocabulaire restreint les capacités de représentation des modèles multilingues tels que XLM-R. Dans cet article, nous présentons une nouvelle approche pour passer à l’échelle vers de très grands vocabulaires multilingues en atténuant le partage de jetons entre les langues ayant peu de recouvrement lexical et en allouant la capacité du vocabulaire afin d’assurer une couverture suffisante pour chaque langue individuelle. Les tokenisations utilisant notre vocabulaire sont généralement plus sémantiquement significatives et plus courtes que celles de XLM-R. En exploitant ce vocabulaire amélioré, nous entraînons XLM-V, un modèle de langage multilingue doté d’un vocabulaire d’un million de jetons. XLM-V surpasse XLM-R sur toutes les tâches que nous avons testées, allant du raisonnement en langage naturel (XNLI), à la réponse aux questions (MLQA, XQuAD, TyDiQA) et à la reconnaissance d’entités nommées (WikiAnn), jusqu’aux tâches à faibles ressources (Americas NLI, MasakhaNER).

Ce modèle a été contribué par stefan-it, incluant des expériences détaillées avec XLM-V sur des tâches en aval. Le dépôt des expériences peut être consulté ici.

Conseils d'utilisation

• XLM-V est compatible avec l’architecture du modèle XLM-RoBERTa ; il a seulement fallu convertir les poids du modèle de la bibliothèque fairseq.
• L’implémentation XLMTokenizer est utilisée pour charger le vocabulaire et effectuer la tokenisation.

Un modèle XLM-V (taille de base) est disponible sous l’identifiant facebook/xlm-v-base.

L’architecture de XLM-V est identique à celle de XLM-RoBERTa. Consultez la documentation de XLM-RoBERTa pour la référence de l’API et des exemples.