XLS-R

概述

XLS-R 模型由 Arun Babu、Changhan Wang、Andros Tjandra、Kushal Lakhotia、Qiantong Xu、Naman Goyal、Kritika Singh、Patrick von Platen、Yatharth Saraf、Juan Pino、Alexei Baevski、Alexis Conneau 和 Michael Auli 在 XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale 中提出。

该论文的摘要如下：

本文提出了 XLS-R，一个基于 wav2vec 2.0 的跨语言语音表征学习大规模模型。我们在 128 种语言、总计近 50 万小时的公开语音音频上训练了参数量最高达 2B 的模型，公开数据量比已知最大的先前工作多了一个数量级。我们的评估涵盖了广泛的任务、领域、数据规模和语言，包括高资源和低资源语言。在 CoVoST-2 语音翻译基准上，我们将 21 个翻译方向到英语的平均 BLEU 分数比之前的最先进水平提高了 7.4。在语音识别方面，XLS-R 在 BABEL、MLS、CommonVoice 以及 VoxPopuli 上均优于已知的最佳先前工作，平均相对错误率降低了 14-34%。XLS-R 还在 VoxLingua107 语言识别上创造了新的最先进水平。此外，我们证明，在将英语语音翻译为其他语言的场景中（该场景通常有利于单语预训练），只要模型规模足够大，跨语言预训练就能超越仅使用英语的预训练。我们希望 XLS-R 能够帮助改进世界上更多语言的语音处理任务。

相关检查点可在 https://huggingface.co/models?other=xls_r 下找到。

原始代码可以在此处找到。

使用技巧

XLS-R 是一个语音模型，它接受一个浮点数数组，该数组对应于语音信号的原始波形。
XLS-R 模型使用连接主义时间分类（CTC）进行训练，因此模型输出必须使用 Wav2Vec2CTCTokenizer 进行解码。

XLS-R 的架构基于 Wav2Vec2 模型，请参阅 Wav2Vec2 的文档页面获取 API 参考。

Update on GitHub