Este modelo se publicó en HF papers el 25 de enero de 2023 y se contribuyó a Hugging Face Transformers el 20 de junio de 2023.

XLM-V

Resumen

XLM-V es un modelo de lenguaje multilingüe con un vocabulario de un millón de tokens, entrenado con 2,5 TB de datos de Common Crawl (los mismos que XLM-R). Fue presentado en el artículo XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models de Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer y Madian Khabsa.

Del resumen del artículo XLM-V:

Los grandes modelos de lenguaje multilingües suelen depender de un único vocabulario compartido entre más de 100 idiomas. A medida que estos modelos han aumentado en número de parámetros y profundidad, el tamaño del vocabulario ha permanecido prácticamente sin cambios. Este cuello de botella del vocabulario limita las capacidades de representación de modelos multilingües como XLM-R. En este artículo, presentamos un nuevo enfoque para escalar a vocabularios multilingües muy grandes mediante la reducción de la importancia de la compartición de tokens entre idiomas con poca superposición léxica y la asignación de capacidad de vocabulario para lograr una cobertura suficiente para cada idioma individual. Las tokenizaciones que utilizan nuestro vocabulario suelen ser más significativas semánticamente y más cortas en comparación con XLM-R. Aprovechando este vocabulario mejorado, entrenamos XLM-V, un modelo de lenguaje multilingüe con un vocabulario de un millón de tokens. XLM-V supera a XLM-R en cada tarea que probamos, que van desde la inferencia de lenguaje natural (XNLI), la respuesta a preguntas (MLQA, XQuAD, TyDiQA) y el reconocimiento de entidades nombradas (WikiAnn) hasta tareas de recursos escasos (Americas NLI, MasakhaNER).

Este modelo fue aportado por stefan-it, e incluye experimentos detallados con XLM-V en tareas de nivel inferior. El repositorio de experimentos se puede encontrar aquí.

Consejos de uso

• XLM-V es compatible con la arquitectura del modelo XLM-RoBERTa; solo fue necesario convertir los pesos del modelo de la biblioteca fairseq.
• La implementación de XLMTokenizer se utiliza para cargar el vocabulario y realizar la tokenización.

Un modelo XLM-V (tamaño base) está disponible bajo el identificador facebook/xlm-v-base.

La arquitectura de XLM-V es la misma que la de XLM-RoBERTa; consulte la documentación de XLM-RoBERTa para obtener la referencia de la API y ejemplos.