Transformers documentation
SeamlessM4T
Эта модель была опубликована в HF papers 22.08.2023 и добавлена в Hugging Face Transformers 23.10.2023.
SeamlessM4T
Обзор
Модель SeamlessM4T была предложена в работе SeamlessM4T — Massively Multilingual & Multimodal Machine Translation командой Seamless Communication из Meta AI.
Это релиз модели version 1. Для обновлённого релиза version 2 обратитесь к документации Seamless M4T v2.
SeamlessM4T — это набор моделей, разработанных для обеспечения высококачественного перевода, что позволяет людям из разных языковых сообществ легко общаться посредством речи и текста.
SeamlessM4T позволяет выполнять несколько задач без использования отдельных моделей:
- Перевод речи в речь (S2ST)
- Перевод с распознаванием речи (S2TT)
- Перевод текста в речь (T2ST)
- Перевод текста в текст (T2TT)
- Автоматическое распознавание речи (ASR)
SeamlessM4TModel может выполнять все перечисленные выше задачи, однако для каждой из них предусмотрена отдельная подмодель.
Аннотация из статьи следующая:
Что необходимо для создания Babel Fish — инструмента, который позволяет переводить речь между любыми двумя языками? Хотя недавние прорывы в текстовых моделях расширили охват машинного перевода более чем на 200 языков, единые модели перевода речи в речь пока не достигли сопоставимых результатов. Более конкретно, традиционные системы перевода речи в речь полагаются на каскадные системы, выполняющие перевод последовательно, что делает высокопроизводительные единые системы труднодостижимыми. Чтобы преодолеть эти ограничения, мы представляем SeamlessM4T — единую модель, поддерживающую перевод речи в речь, перевод речи в текст, перевод текста в речь, перевод текста в текст и автоматическое распознавание речи для до 100 языков. Для её создания мы использовали 1 миллион часов открытых аудиоданных речи для обучения самообучаемых речевых представлений с помощью w2v-BERT 2.0. Затем мы создали мультимодальный корпус автоматически выровненных речевых переводов. После фильтрации и объединения с данными, размеченными людьми и псевдоразмеченными данными, мы разработали первую многоязычную систему, способную переводить с английского и на английский как для речи, так и для текста. На FLEURS SeamlessM4T устанавливает новый стандарт для переводов на несколько целевых языков, достигнув улучшения на 20% BLEU по сравнению с предыдущим SOTA в прямом переводе речи в текст. По сравнению с сильными каскадными моделями SeamlessM4T улучшает качество перевода на английский на 1.3 балла BLEU в переводе речи в текст и на 2.6 балла ASR-BLEU в переводе речи в речь. При тестировании на устойчивость наша система показывает лучшие результаты в задачах перевода речи в текст в условиях фонового шума и вариаций говорящих по сравнению с текущей SOTA-моделью. Принципиально важно, что мы оценили SeamlessM4T на гендерные предубеждения и добавили токсичность для оценки безопасности перевода. Наконец, все результаты этой работы открыты и доступны по адресу https://github.com/facebookresearch/seamless_communication
Использование
Сначала загрузите процессор и контрольную точку модели:
from transformers import AutoProcessor, SeamlessM4TModel
processor = AutoProcessor.from_pretrained("facebook/hf-seamless-m4t-medium")
model = SeamlessM4TModel.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")Вы можете бесшовно использовать эту модель для работы с текстом или аудио, чтобы получить переведенный текст или переведенное аудио.
Вот как использовать процессор для обработки текста и аудио:
# let's load an audio sample from an Arabic speech corpus
from datasets import load_dataset
dataset = load_dataset("halabi2016/arabic_speech_corpus", split="test", streaming=True)
audio_sample = next(iter(dataset))["audio"]
# now, process it
audio_inputs = processor(audio=audio_sample["array"], return_tensors="pt").to(model.device)
# now, process some English test as well
text_inputs = processor(text = "Hello, my dog is cute", src_lang="eng", return_tensors="pt").to(model.device)Речь
SeamlessM4TModel может бесшовно генерировать текст или речь с минимальными или вообще без изменений. Нацелимся на голосовой перевод на русский язык:
audio_array_from_text = model.generate(**text_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()
audio_array_from_audio = model.generate(**audio_inputs, tgt_lang="rus")[0].cpu().numpy().squeeze()По сути, с тем же кодом я перевёл английский текст и арабскую речь в образцы русской речи.
Текст
Аналогично, с помощью той же модели можно генерировать переведенный текст из аудиофайлов или из текста. Для этого достаточно передать generate_speech=False в SeamlessM4TModel.generate().
В этот раз переведем на французский.
# from audio
output_tokens = model.generate(**audio_inputs, tgt_lang="fra", generate_speech=False)
translated_text_from_audio = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)
# from text
output_tokens = model.generate(**text_inputs, tgt_lang="fra", generate_speech=False)
translated_text_from_text = processor.decode(output_tokens[0].tolist()[0], skip_special_tokens=True)Советы
1. Используйте специализированные модели
SeamlessM4TModel — это модель верхнего уровня в transformers для генерации речи и текста, но вы также можете использовать специализированные модели, выполняющие задачу без дополнительных компонентов, что снижает потребление памяти. Например, фрагмент кода для генерации аудио-в-аудио можно заменить моделью, предназначенной для задачи S2ST, остальной код остаётся полностью тем же:
from transformers import SeamlessM4TForSpeechToSpeech
model = SeamlessM4TForSpeechToSpeech.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")Или вы можете заменить фрагмент кода для генерации текста в текст на модель, предназначенную для задачи T2TT, — достаточно просто удалить generate_speech=False.
from transformers import SeamlessM4TForTextToText
model = SeamlessM4TForTextToText.from_pretrained("facebook/hf-seamless-m4t-medium", device_map="auto")Вы также можете попробовать SeamlessM4TForSpeechToText и SeamlessM4TForTextToSpeech.
2. Измените личность говорящего
Вы можете изменить голос, используемый для синтеза речи, с помощью аргумента spkr_id. Для некоторых языков одни значения spkr_id работают лучше, чем другие!
3. Измените стратегию генерации
Вы можете использовать различные стратегии генерации для речевого и текстового вывода, например .generate(input_ids=input_ids, text_num_beams=4, speech_do_sample=True), которая последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и мультиномиальную выборку в речевой модели.
4. Генерация речи и текста одновременно
Используйте return_intermediate_token_ids=True вместе с SeamlessM4TModel, чтобы возвращать и речь, и текст!
Архитектура модели
SeamlessM4T обладает универсальной архитектурой, которая обеспечивает плавную последовательную генерацию текста и речи. Эта конфигурация включает две последовательные модели (seq2seq). Первая модель переводит входные данные в целевой текст, а вторая генерирует токены речи, известные как «unit tokens», на основе переведённого текста.
Каждая модальность имеет собственный специализированный энкодер с уникальной архитектурой. Кроме того, для речевого вывода поверх второй seq2seq-модели размещается вокодер, вдохновлённый архитектурой HiFi-GAN.
Вот как работает процесс генерации:
- Входной текст или речь обрабатывается с помощью соответствующего кодировщика.
- Декодер создаёт токены текста на нужном языке.
- Если требуется генерация речи, вторая модель seq2seq, построенная по стандартной архитектуре «кодировщик-декодировщик», генерирует токены юнитов.
- Затем эти токены единиц передаются в финальный вокодер для генерации фактической речи.
Эта модель была предоставлена пользователем ylacombe. Исходный код можно найти здесь.
SeamlessM4TModel
класс transformers.SeamlessM4TModel
< source >( config: SeamlessM4TConfigcurrent_modality = 'text' )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
- current_modality (
str, необязательный, по умолчанию"text") — Модальность по умолчанию. Используется для инициализации модели.
Исходный трансформер модели SeamlessM4T, который можно использовать для всех доступных задач (S2ST, S2TT, T2TT, T2ST).
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
generate
< source >( input_ids: typing.Optional[torch.Tensor] = Noneinput_features: typing.Optional[torch.Tensor] = Nonereturn_intermediate_token_ids: bool | None = Nonetgt_lang: str | None = Nonespkr_id: int | None = 0generate_speech: bool | None = True**kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor], ModelOutput]
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью SeamlessM4TTokenizer или SeamlessM4TProcessor. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое входные идентификаторы?Индексы можно получить с помощью SeamlessM4TTokenizer или SeamlessM4TProcessor. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- input_features (
torch.Tensorформы(batch_size, sequence_length, num_banks), необязательный) — Входные аудиопризнаки. Это значение должно возвращаться классом SeamlessM4TFeatureExtractor или классом SeamlessM4TProcessor. Подробности см. в SeamlessM4TFeatureExtractor.call(). - return_intermediate_token_ids (
bool, необязательный) — ЕслиTrue, также возвращает промежуточный сгенерированный текст и токены единиц. УстановитеTrue, если вы хотите получить переведённый текст вместе с аудио. Обратите внимание, что еслиgenerate_speech=False, этот параметр будет проигнорирован, и будут возвращены токены текста. - tgt_lang (
str, необязательный) — Язык, который будет использоваться в качестве целевого языка для перевода. - spkr_id (
int, необязательный, по умолчанию 0) — Идентификатор говорящего, используемый для синтеза речи. Должен быть меньшеconfig.vocoder_num_spkrs. - generate_speech (
bool, необязательный, по умолчаниюTrue) — ЕслиFalse, возвращает только текстовые токены и не генерирует речь. - kwargs (необязательный) —
Остальные именованные аргументы, которые будут переданы в GenerationMixin.generate(). Именованные аргументы бывают двух типов:
Без префикса они передаются как **kwargs в метод generate каждой подмодели, за исключением decoder_input_ids, который передаётся только в текстовые компоненты. С префиксом text_ или speech_ они передаются в метод generate текстовой или речевой модели соответственно. Такие аргументы имеют приоритет над аргументами без префикса. Это позволяет, например, задать стратегию генерации для одного типа генерации, но не для другого.
- Без префикса они будут переданы в качестве
**kwargsдля методаgenerateкаждой подмодели, за исключениемdecoder_input_ids, который будет передаваться только через текстовые компоненты. - Если перед ними стоит префикс text_ или speech_, они будут использоваться в качестве входных данных для метода
generateтекстовой и речевой модели соответственно. Такие ключевые слова имеют приоритет над ключевыми словами без префикса.
Это означает, что, например, вы можете задать стратегию генерации для одной генерации, но не для другой.
- Без префикса они будут переданы в качестве
Возвращает
Union[SeamlessM4TGenerationOutput, tuple[Tensor], ModelOutput]
- Если указаны
generate_speechиreturn_intermediate_token_ids, возвращаетсяSeamlessM4TGenerationOutput. - Если
generate_speechи неreturn_intermediate_token_ids, возвращает кортеж, состоящий из волновых форм с формой(batch_size, sequence_length)иwaveform_lengths, который указывает длину каждого образца. - Если
generate_speech=False, возвращаетсяModelOutput.
Генерирует идентификаторы токенов перевода и/или аудиосигналы перевода.
Этот метод последовательно вызывает функцию
.generateдвух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.Например, вызов
.generate(input_ids=input_ids, num_beams=4, speech_do_sample=True)последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.Обзор стратегий генерации и примеры кода приведены в следующем руководстве.
SeamlessM4TForTextToSpeech
класс transformers.SeamlessM4TForTextToSpeech
< source >( config: SeamlessM4TConfig )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель-трансформер SeamlessM4T для синтеза речи из текста, которую можно использовать для T2ST.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
generate
< source >( input_ids: typing.Optional[torch.Tensor] = Nonereturn_intermediate_token_ids: bool | None = Nonetgt_lang: str | None = Nonespkr_id: int | None = 0**kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor]]
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре.Индексы можно получить с помощью SeamlessM4TTokenizer или SeamlessM4TProcessor. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- return_intermediate_token_ids (
bool, необязательный) — ЕслиTrue, также возвращает промежуточный сгенерированный текст и токены единиц. УстановитеTrue, если вы хотите получать переведенный текст вместе с аудио. - tgt_lang (
str, необязательный) — Язык, который будет использоваться в качестве целевого языка для перевода. - spkr_id (
int, необязательный, по умолчанию 0) — Идентификатор говорящего, используемый для синтеза речи. Должен быть меньшеconfig.vocoder_num_spkrs. - kwargs (необязательный) —
Остальные именованные аргументы, которые будут переданы в GenerationMixin.generate(). Именованные аргументы бывают двух типов:
Без префикса они передаются как **kwargs в метод generate каждой подмодели, за исключением decoder_input_ids, который передаётся только в текстовые компоненты. С префиксом text_ или speech_ они передаются в метод generate текстовой или речевой модели соответственно. Такие аргументы имеют приоритет над аргументами без префикса. Это позволяет, например, задать стратегию генерации для одного типа генерации, но не для другого.
- Без префикса они будут переданы в качестве
**kwargsдля методаgenerateкаждой подмодели, за исключениемdecoder_input_ids, который будет передаваться только через текстовые компоненты. - Если перед ними стоит префикс text_ или speech_, они будут использоваться в качестве входных данных для метода
generateтекстовой и речевой модели соответственно. Такие ключевые слова имеют приоритет над ключевыми словами без префикса.
Это означает, что, например, вы можете задать стратегию генерации для одной генерации, но не для другой.
- Без префикса они будут переданы в качестве
Возвращает
Union[SeamlessM4TGenerationOutput, tuple[Tensor]]
- Если
return_intermediate_token_ids, возвращаетSeamlessM4TGenerationOutput. - Если
return_intermediate_token_idsне задано, возвращает кортеж, состоящий из волновых форм с формой(batch_size, sequence_length)иwaveform_lengths, который указывает длину каждого образца.
Генерирует аудиосигналы, полученные в результате перевода.
Этот метод последовательно вызывает функцию
.generateдвух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.Например, вызов
.generate(input_ids, num_beams=4, speech_do_sample=True)последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.Обзор стратегий генерации и примеры кода приведены в следующем руководстве.
SeamlessM4TForSpeechToSpeech
класс transformers.SeamlessM4TForSpeechToSpeech
< source >( config: SeamlessM4TConfig )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Трансформер модели SeamlessM4T для преобразования речи в речь, который можно использовать для S2ST.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
generate
< source >( input_features: typing.Optional[torch.Tensor] = Nonereturn_intermediate_token_ids: bool | None = Nonetgt_lang: str | None = Nonespkr_id: int | None = 0**kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor]]
Параметры
- input_features (
torch.Tensorформы(batch_size, sequence_length, num_banks)) — Входные аудиопризнаки. Они должны быть возвращены классом SeamlessM4TFeatureExtractor или классом SeamlessM4TProcessor. Подробности см. в SeamlessM4TFeatureExtractor.call(). - return_intermediate_token_ids (
bool, необязательный) — ЕслиTrue, также возвращает промежуточный сгенерированный текст и токены единиц. УстановитеTrue, если вы хотите получать переведенный текст вместе с аудио. - tgt_lang (
str, необязательный) — Язык, который будет использоваться в качестве целевого языка для перевода. - spkr_id (
int, необязательный, по умолчанию 0) — Идентификатор говорящего, используемый для синтеза речи. Должен быть меньшеconfig.vocoder_num_spkrs. - kwargs (необязательный) —
Остальные именованные аргументы, которые будут переданы в GenerationMixin.generate(). Именованные аргументы бывают двух типов:
Без префикса они передаются как **kwargs в метод generate каждой подмодели, за исключением decoder_input_ids, который передаётся только в текстовые компоненты. С префиксом text_ или speech_ они передаются в метод generate текстовой или речевой модели соответственно. Такие аргументы имеют приоритет над аргументами без префикса. Это позволяет, например, задать стратегию генерации для одного типа генерации, но не для другого.
- Без префикса они будут переданы в качестве
**kwargsдля методаgenerateкаждой подмодели, за исключениемdecoder_input_ids, который будет передаваться только через текстовые компоненты. - Если перед ними стоит префикс text_ или speech_, они будут использоваться в качестве входных данных для метода
generateтекстовой и речевой модели соответственно. Такие ключевые слова имеют приоритет над ключевыми словами без префикса.
Это означает, что, например, вы можете задать стратегию генерации для одной генерации, но не для другой.
- Без префикса они будут переданы в качестве
Возвращает
Union[SeamlessM4TGenerationOutput, tuple[Tensor]]
- Если
return_intermediate_token_ids, возвращаетSeamlessM4TGenerationOutput. - Если
return_intermediate_token_idsне задано, возвращает кортеж, состоящий из волновых форм с формой(batch_size, sequence_length)иwaveform_lengths, который указывает длину каждого образца.
Генерирует аудиосигналы, полученные в результате перевода.
Этот метод последовательно вызывает функцию
.generateдвух различных подмоделей. Вы можете указать аргументы с ключевыми словами на двух разных уровнях: общие аргументы, которые будут переданы обеим моделям, или аргументы с префиксом, которые будут переданы одной из них.Например, вызов
.generate(input_features, num_beams=4, speech_do_sample=True)последовательно выполняет декодирование с поиском лучей (beam-search) в текстовой модели и выборку с поиском лучей (multinomial beam-search sampling) в речевой модели.Обзор стратегий генерации и примеры кода приведены в следующем руководстве.
SeamlessM4TForTextToText
класс transformers.SeamlessM4TForTextToText
< source >( config: SeamlessM4TConfig )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Трансформер модели text-to-text SeamlessM4T, который можно использовать для T2TT.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqLMOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- decoder_input_ids (
torch.LongTensorформы(batch_size, target_sequence_length), необязательный) — Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью AutoTokenizer. Подробности — в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое decoder input IDs? Bart использует eos_token_id в качестве начального токена для генерации decoder_input_ids. Если используется past_key_values, необязательно вводить все decoder_input_ids — достаточно последнего (см. past_key_values). Для обучения переводу и суммаризации decoder_input_ids должны быть переданы. Если decoder_input_ids не переданы, модель создаст этот тензор, сдвинув input_ids вправо для предобучения с шумоподавлением, как описано в статье.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
Что такое входные идентификаторы декодера?
Bart использует
eos_token_idв качестве начального токена для генерацииdecoder_input_ids. Если используетсяpast_key_values, то, по желанию, в качестве входных данных можно передать только последнийdecoder_input_ids(см.past_key_values).Для обучения переводу и суммаризации необходимо предоставить
decoder_input_ids. Еслиdecoder_input_idsне предоставлено, модель создаст этот тензор, сдвинувinput_idsвправо для предобучения с шумоподавлением, как описано в статье. - decoder_attention_mask (
torch.LongTensorформы(batch_size, target_sequence_length), , необязательный) — Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения вdecoder_input_ids. По умолчанию также будет использоваться каузальная маска (causal mask).Если вы хотите изменить поведение отступов, вам следует изучить
modeling_bart._prepare_decoder_attention_maskи внести необходимые изменения. Дополнительную информацию о стратегии по умолчанию см. на схеме 1 в статье. - encoder_outputs (
tuple[tuple[torch.Tensor]], необязательный) — Кортеж состоит из (last_hidden_state, необязательный:hidden_states, необязательный:attentions)last_hidden_stateформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorс формой(batch_size, sequence_length, hidden_size), необязательно) — Необязательно, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если вы хотите больше контролировать, как индексыinput_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска эмбеддингов модели.labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[-100, 0, ..., config.vocab_size](см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size] - decoder_inputs_embeds (
torch.Tensorформы(batch_size, target_sequence_length, hidden_size), необязательный) — Необязательно, вместо передачиdecoder_input_idsможно напрямую передать встроенное представление. Еслиpast_key_valuesиспользуется, необязательно вводить только последнийdecoder_inputs_embeds(см.past_key_values). Это полезно, если вы хотите больше контролировать, как индексыdecoder_input_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица эмбеддингов модели.Если
decoder_input_idsиdecoder_inputs_embedsне заданы,decoder_inputs_embedsпринимает значениеinputs_embeds. - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[0, ..., config.vocab_size]или быть равны -100 (см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size]. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values).
Возвращает
Seq2SeqLMOutput или tuple(torch.Tensor)
Объект Seq2SeqLMOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (SeamlessM4TConfig) и входных данных.
Метод forward класса SeamlessM4TForTextToText переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели.logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).past_key_values (
EncoderDecoderCache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр EncoderDecoderCache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.decoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_hidden_states=Trueили приconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
decoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.encoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — Кортежtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
encoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
generate
< source >( input_ids = Nonetgt_lang = Nonegeneration_config = Nonelogits_processor = Nonestopping_criteria = Noneprefix_allowed_tokens_fn = Nonesynced_gpus = False**kwargs ) → ModelOutput or torch.LongTensor
Параметры
- input_ids (
torch.Tensorразличной формы в зависимости от модальности, необязательный) — Индексы токенов входной последовательности в словаре. Индексы можно получить с помощью SeamlessM4TTokenizer или SeamlessM4TProcessor. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое входные идентификаторы?Индексы можно получить с помощью SeamlessM4TTokenizer или SeamlessM4TProcessor. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- tgt_lang (
str, необязательный) — Язык, который будет использоваться в качестве целевого языка для перевода. - generation_config (
~generation.GenerationConfig, необязательный) — Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации.**kwargs, передаваемые в generate и совпадающие с атрибутамиgeneration_config, переопределяют их. Еслиgeneration_configне указан, будет использовано значение по умолчанию, которое загружается со следующим приоритетом: 1) из файла моделиgeneration_config.json, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию из GenerationConfig, документация по которым должна быть проверена для параметризации генерации. - logits_processor (
LogitsProcessorList, необязательный) — Пользовательские обработчики logits, дополняющие стандартные обработчики logits, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик logits, который уже был создан с помощью аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей. - stopping_criteria (
StoppingCriteriaList, необязательный) — Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, формируемые на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей. - prefix_allowed_tokens_fn (
Callable[[int, torch.Tensor], list[int]], необязательный) — Если указан, этот параметр ограничивает поиск лучами (beam search) только разрешёнными токенами на каждом шаге. Если не указан, ограничения не применяются. Функция принимает два аргумента: идентификатор батчаbatch_idиinput_ids. Она должна возвращать список разрешённых токенов для следующего шага генерации, зависящий от идентификатора батчаbatch_idи ранее сгенерированных токеновinputs_ids. Этот аргумент полезен для ограниченной генерации, обусловленной префиксом, как описано в Autoregressive Entity Retrieval. - synced_gpus (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли продолжать выполнение цикла while до достижения max_length (необходимо для предотвращения блокировок при использованииFullyShardedDataParallelи DeepSpeed ZeRO Stage 3). - kwargs (
dict[str, Any], необязательный) — Служебная параметризацияgenerate_configи/или дополнительные специфичные для модели аргументы, которые будут переданы в функциюforwardмодели.
Возвращает
ModelOutput или torch.LongTensor
Объект ModelOutput (если return_dict_in_generate=True
или когда config.return_dict_in_generate=True) или torch.Tensor. Возможные типы
ModelOutput:
Генерирует последовательности идентификаторов токенов.
Большинство параметров, управляющих генерацией, задаются в
generation_config, который, если не передан явно, принимает значения конфигурации генерации по умолчанию для модели. Вы можете переопределить любые параметрыgeneration_config, передав соответствующие аргументы в generate(), например,.generate(inputs, num_beams=4, do_sample=True).Обзор стратегий генерации и примеры кода приведены в следующем руководстве.
SeamlessM4TForSpeechToText
класс transformers.SeamlessM4TForSpeechToText
< source >( config: SeamlessM4TConfig )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Трансформер модели SeamlessM4T для распознавания речи, который можно использовать для S2TT.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_features: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqLMOutput or tuple(torch.Tensor)
Параметры
- input_features (
torch.Tensorформы(batch_size, sequence_length, num_banks)) — Входные аудиопризнаки. Они должны быть возвращены классом SeamlessM4TFeatureExtractor или классом SeamlessM4TProcessor. Подробности см. в SeamlessM4TFeatureExtractor.call(). - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- decoder_input_ids (
torch.LongTensorформы(batch_size, target_sequence_length), необязательный) — Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью AutoTokenizer. Подробности — в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое decoder input IDs? Bart использует eos_token_id в качестве начального токена для генерации decoder_input_ids. Если используется past_key_values, необязательно вводить все decoder_input_ids — достаточно последнего (см. past_key_values). Для обучения переводу и суммаризации decoder_input_ids должны быть переданы. Если decoder_input_ids не переданы, модель создаст этот тензор, сдвинув input_ids вправо для предобучения с шумоподавлением, как описано в статье.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
Что такое входные идентификаторы декодера?
Bart использует
eos_token_idв качестве начального токена для генерацииdecoder_input_ids. Если используетсяpast_key_values, то, по желанию, в качестве входных данных можно передать только последнийdecoder_input_ids(см.past_key_values).Для обучения переводу и суммаризации необходимо предоставить
decoder_input_ids. Еслиdecoder_input_idsне предоставлено, модель создаст этот тензор, сдвинувinput_idsвправо для предобучения с шумоподавлением, как описано в статье. - decoder_attention_mask (
torch.LongTensorформы(batch_size, target_sequence_length), , необязательный) — Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения вdecoder_input_ids. По умолчанию также будет использоваться каузальная маска (causal mask).Если вы хотите изменить поведение отступов, вам следует изучить
modeling_bart._prepare_decoder_attention_maskи внести необходимые изменения. Дополнительную информацию о стратегии по умолчанию см. на схеме 1 в статье. - encoder_outputs (
tuple[tuple[torch.Tensor]], необязательный) — Кортеж состоит из (last_hidden_state, необязательный:hidden_states, необязательный:attentions)last_hidden_stateформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorс формой(batch_size, sequence_length, hidden_size), необязательно) — Необязательно, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если вы хотите больше контролировать, как индексыinput_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска эмбеддингов модели.labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[-100, 0, ..., config.vocab_size](см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size] - decoder_inputs_embeds (
torch.Tensorформы(batch_size, target_sequence_length, hidden_size), необязательный) — Необязательно, вместо передачиdecoder_input_idsможно напрямую передать встроенное представление. Еслиpast_key_valuesиспользуется, необязательно вводить только последнийdecoder_inputs_embeds(см.past_key_values). Это полезно, если вы хотите больше контролировать, как индексыdecoder_input_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица эмбеддингов модели.Если
decoder_input_idsиdecoder_inputs_embedsне заданы,decoder_inputs_embedsпринимает значениеinputs_embeds. - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[0, ..., config.vocab_size]или быть равны -100 (см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size]. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values).
Возвращает
Seq2SeqLMOutput или tuple(torch.Tensor)
Объект Seq2SeqLMOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (SeamlessM4TConfig) и входных данных.
Метод forward класса SeamlessM4TForSpeechToText переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели.logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).past_key_values (
EncoderDecoderCache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр EncoderDecoderCache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.decoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_hidden_states=Trueили приconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
decoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.encoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — Кортежtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
encoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> from transformers import AutoProcessor, SeamlessM4TForSpeechToText
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("facebook/hf-seamless-m4t-medium")
>>> model = SeamlessM4TForSpeechToText.from_pretrained("facebook/hf-seamless-m4t-medium")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...generate
< source >( input_features = Nonetgt_lang = Nonegeneration_config = Nonelogits_processor = Nonestopping_criteria = Noneprefix_allowed_tokens_fn = Nonesynced_gpus = False**kwargs ) → ModelOutput or torch.LongTensor
Параметры
- input_features (
torch.Tensorформы(batch_size, sequence_length, num_banks)) — Входные аудиопризнаки. Они должны быть возвращены классом SeamlessM4TFeatureExtractor или классом SeamlessM4TProcessor. Подробности см. в SeamlessM4TFeatureExtractor.call(). - tgt_lang (
str, необязательный) — Язык, который будет использоваться в качестве целевого языка для перевода. - generation_config (
~generation.GenerationConfig, необязательный) — Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации.**kwargs, передаваемые в generate и совпадающие с атрибутамиgeneration_config, переопределяют их. Еслиgeneration_configне указан, будет использовано значение по умолчанию, которое загружается со следующим приоритетом: 1) из файла моделиgeneration_config.json, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию из GenerationConfig, документация по которым должна быть проверена для параметризации генерации. - logits_processor (
LogitsProcessorList, необязательный) — Пользовательские обработчики logits, дополняющие стандартные обработчики logits, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик logits, который уже был создан с помощью аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей. - stopping_criteria (
StoppingCriteriaList, необязательный) — Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, формируемые на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей. - prefix_allowed_tokens_fn (
Callable[[int, torch.Tensor], list[int]], необязательный) — Если указан, этот параметр ограничивает поиск лучами (beam search) только разрешёнными токенами на каждом шаге. Если не указан, ограничения не применяются. Функция принимает два аргумента: идентификатор батчаbatch_idиinput_ids. Она должна возвращать список разрешённых токенов для следующего шага генерации, зависящий от идентификатора батчаbatch_idи ранее сгенерированных токеновinputs_ids. Этот аргумент полезен для ограниченной генерации, обусловленной префиксом, как описано в Autoregressive Entity Retrieval. - synced_gpus (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли продолжать выполнение цикла while до достижения max_length (необходимо для предотвращения блокировок при использованииFullyShardedDataParallelи DeepSpeed ZeRO Stage 3). - kwargs (
dict[str, Any], необязательный) — Служебная параметризацияgenerate_configи/или дополнительные специфичные для модели аргументы, которые будут переданы в функциюforwardмодели.
Возвращает
ModelOutput или torch.LongTensor
Объект ModelOutput (если return_dict_in_generate=True
или когда config.return_dict_in_generate=True) или torch.Tensor. Возможные типы
ModelOutput:
Генерирует последовательности идентификаторов токенов.
Большинство параметров, управляющих генерацией, задаются в
generation_config, который, если не передан явно, принимает значения конфигурации генерации по умолчанию для модели. Вы можете переопределить любые параметрыgeneration_config, передав соответствующие аргументы в generate(), например,.generate(inputs, num_beams=4, do_sample=True).Обзор стратегий генерации и примеры кода приведены в следующем руководстве.
SeamlessM4TConfig
класс transformers.SeamlessM4TConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 256102t2u_vocab_size: int = 10082hidden_size: int = 1024initializer_range: float = 0.02layer_norm_eps: float = 1e-05use_cache: bool = Truemax_position_embeddings: int = 1024encoder_layerdrop: float | int = 0.05decoder_layerdrop: float | int = 0.05activation_function: str = 'relu'dropout: float | int = 0.1attention_dropout: float | int = 0.1activation_dropout: float | int = 0.0scale_embedding: bool = Trueencoder_layers: int = 24encoder_ffn_dim: int = 8192encoder_attention_heads: int = 16decoder_layers: int = 24decoder_ffn_dim: int = 8192decoder_attention_heads: int = 16decoder_start_token_id: int = 3max_new_tokens: int | None = 256pad_token_id: int | None = 0bos_token_id: int | None = 2eos_token_id: int | list[int] | None = 3speech_encoder_layers: int = 24speech_encoder_attention_heads: int = 16speech_encoder_intermediate_size: int = 4096speech_encoder_hidden_act: str = 'swish'speech_encoder_dropout: float | int = 0.0add_adapter: bool = Truespeech_encoder_layerdrop: float | int = 0.1feature_projection_input_dim: int = 160num_conv_pos_embeddings: int = 128num_conv_pos_embedding_groups: int = 16adaptor_kernel_size: int = 8adaptor_stride: int = 8adaptor_dropout: float | int = 0.1num_adapter_layers: int = 1position_embeddings_type: str = 'relative'rotary_embedding_base: int = 10000max_source_positions: int = 4096conv_depthwise_kernel_size: int = 31t2u_bos_token_id: int | None = 0t2u_pad_token_id: int | None = 1t2u_eos_token_id: int | list[int] | None = 2t2u_decoder_start_token_id: int = 2t2u_max_new_tokens: int = 1024t2u_encoder_layers: int = 6t2u_encoder_ffn_dim: int = 8192t2u_encoder_attention_heads: int = 16t2u_decoder_layers: int = 6t2u_decoder_ffn_dim: int = 8192t2u_decoder_attention_heads: int = 16t2u_max_position_embeddings: int = 2048sampling_rate: int = 16000upsample_initial_channel: int = 512upsample_rates: list[int] | tuple[int, ...] = (5, 4, 4, 2, 2)upsample_kernel_sizes: list[int] | tuple[int, ...] = (11, 8, 8, 4, 4)resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11)resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5))leaky_relu_slope: float = 0.1unit_hifi_gan_vocab_size: int = 10000unit_embed_dim: int = 1280lang_embed_dim: int = 256spkr_embed_dim: int = 256vocoder_num_langs: int = 36vocoder_num_spkrs: int = 200variance_predictor_kernel_size: int = 3var_pred_dropout: float | int = 0.5vocoder_offset: int = 4tie_word_embeddings: bool = True )
Параметры
- is_encoder_decoder (
bool, необязательный, по умолчаниюTrue) — Указывает, используется ли модель в качестве энкодера/декодера. - vocab_size (
int, необязательный, по умолчанию256102) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены вinput_ids. - t2u_vocab_size (
int, необязательный, по умолчанию 10082) — Размер словаря юнитов модели SeamlessM4T. Определяет количество различных токенов юнитов, которые могут быть представлены вinputs_ids, передаваемых при вызове подмодели Text-To-Units в ~SeamlessM4TModel, ~SeamlessM4TForSpeechToSpeech или ~SeamlessM4TForTextToSpeech. - hidden_size (
int, необязательный, по умолчанию1024) — Размерность скрытых представлений. - initializer_range (
float, необязательный, по умолчанию0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов. - layer_norm_eps (
float, необязательный, по умолчанию1e-05) — Значение epsilon, используемое слоями нормализации. - use_cache (
bool, необязательный, по умолчаниюTrue) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только еслиconfig.is_decoder=Trueили если модель является генеративной моделью только с декодером. - max_position_embeddings (
int, необязательный, по умолчанию1024) — Максимальная длина последовательности, с которой может использоваться эта модель. - encoder_layerdrop (
Union[float, int], необязательный, по умолчанию0.05) — Вероятность LayerDrop для энкодера. Подробности — в [статье о LayerDrop](см. https://huggingface.co/papers/1909.11556). - decoder_layerdrop (
Union[float, int], необязательный, по умолчанию0.05) — Вероятность LayerDrop для декодера. Подробности — в [статье о LayerDrop](см. https://huggingface.co/papers/1909.11556). - activation_function (
str, необязательный, по умолчаниюrelu) — Нелинейная функция активации (функция или строка) в декодере. Например,"gelu","relu","silu"и т. д. - dropout (
Union[float, int], необязательный, по умолчанию0.1) — Коэффициент для всех слоёв dropout. - attention_dropout (
Union[float, int], необязательный, по умолчанию0.1) — Коэффициент dropout для вероятностей внимания. - activation_dropout (
Union[float, int], необязательный, по умолчанию0.0) — Коэффициент dropout для активаций внутри полносвязного слоя. - scale_embedding (
bool, необязательный, по умолчаниюTrue) — Указывает, следует ли масштабировать эмбеддинги, деля их на sqrt(d_model). - encoder_layers (
int, необязательный, по умолчанию24) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и уnum_layers. - encoder_ffn_dim (
int, необязательный, по умолчанию8192) — Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере. - encoder_attention_heads (
int, необязательный, по умолчанию16) — Количество головок внимания в каждом слое внимания в кодере Transformer. - decoder_layers (
int, необязательный, по умолчанию24) — Количество скрытых слоев в декодере Transformer. Если не задано, используется то же значение, что и уnum_layers. - decoder_ffn_dim (
int, необязательный, по умолчанию8192) — Размерность «промежуточного» (часто называемого feed-forward) слоя в декодере. - decoder_attention_heads (
int, необязательный, по умолчанию16) — Количество головок внимания в каждом слое внимания декодера Transformer. - decoder_start_token_id (
int, необязательный, по умолчанию3) — Если модель encoder-decoder начинает декодирование с токена, отличного отbos, то id этого токена. - max_new_tokens (
int, необязательный, по умолчанию 256) — Максимальное количество токенов текста для генерации, не учитывающее количество токенов в запросе. - pad_token_id (
int, необязательный, по умолчанию0) — Идентификатор токена, используемого для дополнения (padding) в словаре. - bos_token_id (
int, необязательный, по умолчанию2) — Идентификатор токена, используемого для обозначения начала потока в словаре. - eos_token_id (
Union[int, list[int]], необязательный, по умолчанию3) — Идентификатор токена, используемого для обозначения конца потока в словаре. - speech_encoder_layers (
int, необязательный, по умолчанию 24) — Количество скрытых слоев в Transformer-кодере речи. - speech_encoder_attention_heads (
int, необязательный, по умолчанию 16) — Количество головок внимания в каждом слое внимания Transformer-кодировщика речи. - speech_encoder_intermediate_size (
int, необязательный, по умолчанию 4096) — Размерность «промежуточного» (т. е. полносвязного) слоя в Transformer-кодере речи. - speech_encoder_hidden_act (
strилиfunction, необязательный, по умолчанию"swish") — Нелинейная функция активации (функция или строка) в речевом кодировщике. Если передана строка, поддерживаются"gelu","relu","selu","swish"и"gelu_new". - speech_encoder_dropout (
float, необязательный, по умолчанию 0.0) — Вероятность dropout для всех слоёв речевого энкодера. - add_adapter (
bool, необязательный, по умолчаниюTrue) — Добавить слой адаптера поверх речевого энкодера. - speech_encoder_layerdrop (
float, необязательный, по умолчанию 0.1) — Вероятность LayerDrop для речевого энкодера. Подробности — в [статье о LayerDrop](см. https://huggingface.co/papers/1909.11556). - feature_projection_input_dim (
int, необязательный, по умолчанию 160) — Входное измерение проекции входных признаков речевого энкодера, то есть размерность после обработки входных аудиоданных с помощью SeamlessM4TFeatureExtractor. - num_conv_pos_embeddings (
int, необязательный, по умолчанию 128) — Количество сверточных позиционных эмбеддингов. Определяет размер ядра слоя 1D сверточных позиционных эмбеддингов в речевом энкодере. - num_conv_pos_embedding_groups (
int, необязательный, по умолчанию 16) — Количество групп слоя одномерных свёрточных позиционных эмбеддингов речевого энкодера. - adaptor_kernel_size (
int, необязательный, по умолчанию 8) — Размер ядра свёрточных слоёв в сети адаптера. Актуально только еслиadd_adapter is True. - adaptor_stride (
int, необязательный, по умолчанию 8) — Шаг свёрточных слоёв в сети адаптера. Актуально только еслиadd_adapter is True. - adaptor_dropout (
float, необязательный, по умолчанию 0.1) — Вероятность dropout для всех слоёв речевого адаптера. - num_adapter_layers (
int, необязательный, по умолчанию 1) — Количество свёрточных слоёв, которые должны использоваться в сети адаптера. Актуально только еслиadd_adapter is True. - position_embeddings_type (
str, необязательный, по умолчанию"relative") — Можно указатьrelativeилиrotaryдля относительных или ротационных позиционных эмбеддингов соответственно. Если оставитьNone, относительные позиционные эмбеддинги не применяются. Применяется только к аудио-энкодеру. - rotary_embedding_base (
int, необязательный, по умолчанию 10000) — Если используются позиционные эмбеддинги"rotary", определяет размер базы эмбеддингов. Применяется только к аудио-энкодеру. - max_source_positions (
int, необязательный, по умолчанию 4096) — если используются позиционные эмбеддинги"relative", определяет максимальные позиции входных данных источника. Применяется только к аудио-энкодеру. - conv_depthwise_kernel_size (
int, необязательный, по умолчанию 31) — Размер ядра свёрточного depthwise 1D слоя в блоках Conformer. Применяется только к аудио-энкодеру. - t2u_bos_token_id (
int, необязательный, по умолчанию 0) — Идентификатор токена начала потока. Применяется только к seq2seq-модели text-to-unit. - t2u_pad_token_id (
int, необязательный, по умолчанию 1) — Идентификатор токена заполнения. Применяется только к модели seq2seq text-to-unit. - t2u_eos_token_id (
int, необязательный, по умолчанию 2) — Идентификатор токена конца потока. Применяется только к модели seq2seq для преобразования текста в единицы. - t2u_decoder_start_token_id (
int, необязательный, по умолчанию 2) — Если модель encoder-decoder начинает декодирование с токена, отличного от bos, то id этого токена. Применяется только к модели text-to-unit seq2seq. - t2u_max_new_tokens (
int, необязательный, по умолчанию 1024) — Максимальное количество токенов единиц, которое нужно сгенерировать, без учёта количества токенов в промпте. Применяется только к seq2seq-модели text-to-unit. - t2u_encoder_layers (
int, необязательный, по умолчанию 6) — Количество скрытых слоев в Transformer-кодере «текст в единицы». - t2u_encoder_ffn_dim (
int, необязательный, по умолчанию 8192) — Размерность «промежуточного» (т. е. полносвязного) слоя в трансформерном кодере текста в единицы. - t2u_encoder_attention_heads (
int, необязательный, по умолчанию 16) — Количество головок внимания для каждого слоя внимания в кодере «текст в единицы» Transformer. - t2u_decoder_layers (
int, необязательный, по умолчанию 6) — Количество скрытых слоев в декодере Transformer text-to-unit. - t2u_decoder_ffn_dim (
int, необязательный, по умолчанию 8192) — Размерность «промежуточного» (т. е. полносвязного) слоя в декодере Transformer text-to-unit. - t2u_decoder_attention_heads (
int, необязательный, по умолчанию 16) — Количество головок внимания в каждом слое внимания декодера text-to-unit в Transformer. - t2u_max_position_embeddings (
int, необязательный, по умолчанию 2048) — Максимальная длина последовательности, с которой может использоваться текстовый компонент модели text-to-unit. Обычно рекомендуется устанавливать это значение достаточно большим на всякий случай (например, 512, 1024 или 2048). - sampling_rate (
int, необязательный, по умолчанию16000) — Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц). - upsample_initial_channel (
int, необязательный, по умолчанию 512) — Количество входных каналов в сети апсемплинга hifi-gan. Применяется только к вокодеру. - upsample_rates (
tuple[int]илиlist[int], необязательный, по умолчанию[5, 4, 4, 2, 2]) — Кортеж целых чисел, определяющий шаг каждого слоя 1D-свёртки в сети апсемплинга вокодера. Длина upsample_rates определяет количество свёрточных слоёв и должна совпадать с длиной upsample_kernel_sizes. Применяется только к вокодеру. - upsample_kernel_sizes (
tuple[int]илиlist[int], необязательный, по умолчанию[11, 8, 8, 4, 4]) — Кортеж целых чисел, определяющий размер ядра каждого слоя одномерной свёртки в сети апсемплинга вокодера. Длина upsample_kernel_sizes определяет количество свёрточных слоёв и должна совпадать с длиной upsample_rates. Применяется только к вокодеру. - resblock_kernel_sizes (
tuple[int]orlist[int], необязательный, по умолчанию[3, 7, 11]) — Кортеж целых чисел, определяющий размеры ядер 1D-свёрточных слоёв вокодера в модуле multi-receptive field fusion (MRF). Применяется только к вокодеру. - resblock_dilation_sizes (
tuple[tuple[int]]илиlist[list[int]], необязательный, по умолчанию[[1, 3, 5], [1, 3, 5], [1, 3, 5]]) — Вложенный кортеж целых чисел, определяющий коэффициенты дилатации (разрежения) для разреженных одномерных свёрточных слоёв вокодера в модуле мультирецепторного поля (MRF). Применяется только к вокодеру. - leaky_relu_slope (
float, необязательный, по умолчанию 0.1) — Угол отрицательного наклона, используемого активацией leaky ReLU в вокодер. Применяется только к вокодеру. - unit_hifi_gan_vocab_size (
int, необязательный, по умолчанию 10000) — Размер словаря вокодера SeamlessM4T. Определяет количество различных unit-токенов, которые могут быть представлены вinputs_ids, передаваемых при вызове вокодера ~SeamlessM4TModel, ~SeamlessM4TForSpeechToSpeech или ~SeamlessM4TForTextToSpeech. - unit_embed_dim (
int, необязательный, по умолчанию 1280) — Размерность проекции входных идентификаторов, передаваемых вокодеру hifi-gan. Применяется только к вокодеру. - lang_embed_dim (
int, необязательный, по умолчанию 256) — Размерность проекции целевого языка, передаваемая вокодеру hifi-gan. Применяется только к вокодеру. - spkr_embed_dim (
int, необязательный, по умолчанию 256) — Размерность проекции идентификатора спикера, передаваемого вокодеру hifi-gan. Применяется только к вокодеру. - vocoder_num_langs (
int, необязательный, по умолчанию 36) — Количество языков, поддерживаемых вокодером. Может отличаться отt2u_num_langs. - vocoder_num_spkrs (
int, необязательный, по умолчанию 200) — Количество спикеров, поддерживаемых вокодером. - variance_predictor_kernel_size (
int, необязательный, по умолчанию 3) — Размер ядра предиктора длительности. Применяется только к вокодеру. - var_pred_dropout (
float, необязательный, по умолчанию 0.5) — Вероятность dropout для предиктора длительности. Применяется только к вокодеру. - vocoder_offset (
int, необязательный, по умолчанию 4) — Смещение идентификаторов юнит-токенов на это значение для учёта символьных токенов. Применяется только к вокодеру. - tie_word_embeddings (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли связывать веса эмбеддингов согласно маппингуtied_weights_keysмодели.
Это класс конфигурации для хранения настроек модели SeamlessM4TModel. Он используется для создания модели Seamless M4T в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели facebook/hf-seamless-m4t-medium.
Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.
>>> from transformers import SeamlessM4TModel, SeamlessM4TConfig
>>> # Initializing a SeamlessM4T "facebook/hf-seamless-m4t-medium" style configuration
>>> configuration = SeamlessM4TConfig()
>>> # Initializing a model from the "facebook/hf-seamless-m4t-medium" style configuration
>>> model = SeamlessM4TModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configSeamlessM4TTokenizer
класс transformers.SeamlessM4TTokenizer
< source >( vocab: str | dict[str, int] | None = Nonemerges: str | list[str] | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'src_lang = 'eng'tgt_lang = 'fra'additional_special_tokens = Nonekeep_accents = Nonevocab_file = None**kwargs )
Параметры
- vocab (
listordict, необязательный) — Список кортежей (токен, оценка) или словарь, сопоставляющий токены с индексами. Если не указан, используется словарь по умолчанию. - merges (
strилиlist, необязательный) — Список правил слияния для модели BPE. Если не указан, используется пустой список. - bos_token (
str, необязательный, по умолчанию"<s>") — Токен начала последовательности, использовавшийся при предварительном обучении. Может использоваться в качестве токена классификатора последовательности. При построении последовательности с помощью специальных токенов этот токен не используется для обозначения начала последовательности. Вместо него используется cls_token.При построении последовательности с использованием специальных токенов этот токен не используется для начала последовательности. В качестве токена начала последовательности используется
cls_token. - eos_token (
str, необязательный, по умолчанию"</s>") — Токен конца последовательности. При построении последовательности с использованием специальных токенов этот токен не используется для обозначения конца последовательности. Вместо него используется sep_token.При построении последовательности с использованием специальных токенов для обозначения конца последовательности не используется этот токен. Используется токен
sep_token. - sep_token (
str, необязательный, по умолчанию"</s>") — Токен-разделитель, который используется при построении последовательности из нескольких последовательностей, например, двух последовательностей для классификации последовательностей или текста и вопроса для ответа на вопросы. Он также используется в качестве последнего токена в последовательности, построенной со специальными токенами. - cls_token (
str, необязательный, по умолчанию"<s>") — Токен классификатора, используемый при классификации последовательности (классификация всей последовательности, а не посимвольная классификация). Это первый токен последовательности, если она построена со специальными токенами. - unk_token (
str, необязательный, по умолчанию"<unk>") — Токен неизвестного слова. Токен, отсутствующий в словаре, не может быть преобразован в ID, поэтому вместо него используется этот токен. - pad_token (
str, необязательный, по умолчанию"<pad>") — Токен, используемый для выравнивания, например, при пакетной обработке последовательностей разной длины. - src_lang (
str, необязательный, по умолчанию"eng") — Язык, используемый в качестве исходного языка для перевода. - tgt_lang (
str, необязательный, по умолчанию"fra") — Язык, который будет использоваться в качестве целевого языка для перевода. - additional_special_tokens (кортеж или список
strилиtokenizers.AddedToken, необязательный) — Кортеж или список дополнительных специальных токенов.
Создаёт токенизатор SeamlessM4T (на базе библиотеки tokenizers от HuggingFace). Основан на BPE.
Этот токенизатор наследуется от TokenizersBackend, который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.
Метод токенизации для документов на исходном языке — <language code> <tokens> <eos>, а для документов на целевом языке — <eos> <language code> <tokens> <eos>.
Примеры:
>>> from transformers import SeamlessM4TTokenizer
>>> tokenizer = SeamlessM4TTokenizer.from_pretrained(
... "facebook/hf-seamless-m4t-medium", src_lang="eng", tgt_lang="fra"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")__call__
< source >( text: str | list[str] | list[list[str]] | None = Nonetext_pair: str | list[str] | list[list[str]] | None = Nonetext_target: str | list[str] | list[list[str]] | None = Nonetext_pair_target: str | list[str] | list[list[str]] | None = Nonepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsepad_to_multiple_of: int | None = Nonesrc_lang: str | None = Nonetgt_lang: str | None = None**kwargs )
Параметры
- text (
str,list[str],list[list[str]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если последовательности предоставлены в виде списка строк (предварительно токенизированных), необходимо установитьis_split_into_words=True(чтобы устранить неоднозначность с батчем последовательностей). - text_pair (
str,list[str],list[list[str]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если последовательности предоставлены в виде списка строк (предварительно токенизированных), необходимо установитьis_split_into_words=True(чтобы устранить неоднозначность с батчем последовательностей). - text_target (
str,list[str],list[list[str]], необязательный) — Последовательность или батч последовательностей, которые будут закодированы как целевые тексты. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности предоставлены в виде списка строк (предтокенизированных), необходимо установитьis_split_into_words=True(чтобы устранить неоднозначность с батчем последовательностей). - text_pair_target (
str,list[str],list[list[str]], необязательный) — Последовательность или батч последовательностей, которые будут закодированы как целевые тексты. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности предоставлены в виде списка строк (предтокенизированных), необходимо установитьis_split_into_words=True(чтобы устранить неоднозначность с батчем последовательностей). - padding (
bool,strили PaddingStrategy, необязательный, по умолчаниюFalse) — Выберите стратегию дополнения возвращаемых последовательностей (с учётом стороны дополнения модели и индекса дополнения) из следующих вариантов:Trueили'longest': дополнить до самой длинной последовательности в батче (или не дополнять, если предоставлена только одна последовательность).'max_length': Дополнить до максимальной длины, указанной аргументомmax_length, или до максимально допустимой длины входных данных для модели, если этот аргумент не указан.Falseили'do_not_pad'(по умолчанию): без дополнения нулями (т. е. может выводить батч с последовательностями разной длины).
- pad_to_multiple_of (
int, необязательный, по умолчаниюNone) — Если задано, последовательность будет дополнена до кратного указанного значения.Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью
>= 7.5(Volta). - src_lang (
str, необязательный) — Строка, задающая исходный язык. Если не указано, будет использовано последнее значениеsrc_lang(указанное при инициализации или при вызове данного токенизатора). - tgt_lang (
str, необязательный) — Строка, задающая целевой язык. Если не указано, будет использовано последнее значениеtgt_lang(заданное при инициализации или при вызове данного токенизатора). - kwargs (необязательный) — Остальные именованные аргументы в виде словаря, которые будут переданы в TokenizersBackend.call().
get_special_tokens_mask
< source >( token_ids_0: list[int]token_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → A list of integers in the range [0, 1]
Параметры
- token_ids_0 — список идентификаторов для (возможно, уже отформатированной) последовательности.
- token_ids_1 — Не используется, если
already_has_special_tokens=True. В этом случае должно быть None. - already_has_special_tokens — Указывает, содержит ли последовательность уже отформатированные специальные токены.
Возвращает
Список целых чисел в диапазоне [0, 1]
1 для специального токена, 0 для токена последовательности.
Получить идентификаторы последовательностей из списка токенов, в который не добавлены специальные токены.
Для быстрых токенизаторов коллабораторы данных вызывают этот метод с already_has_special_tokens=True, чтобы построить маску для уже отформатированной последовательности. В этом случае мы вычисляем маску, проверяя принадлежность элементов к all_special_ids.
SeamlessM4TFeatureExtractor
класс transformers.SeamlessM4TFeatureExtractor
< source >( feature_size = 80sampling_rate = 16000num_mel_bins = 80padding_value = 0.0stride = 2**kwargs )
Параметры
- feature_size (
int, необязательный, по умолчанию 80) — Размерность признаков извлечённых признаков. - sampling_rate (
int, необязательный, по умолчанию 16000) — Частота дискретизации, с которой аудиофайлы должны быть оцифрованы, выраженная в герцах (Гц). - num_mel_bins (
int, необязательный, по умолчанию 80) — Количество Mel-частотных бинов. - padding_value (
float, необязательный, по умолчанию 0.0) — Значение, используемое для заполнения векторов отступов. - stride (
int, необязательный, по умолчанию 2) — Шаг, используемый для изменения формы аудио с (batch_size,num_frames,num_mel_bins) на (batch_size,num_frames//stride,num_mel_bins*stride).
Создаёт экстрактор признаков SeamlessM4T.
Этот экстрактор признаков наследуется от SequenceFeatureExtractor, который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.
Этот класс извлекает характеристики банка мел-фильтров из необработанной речи.
__call__
< source >( raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]]padding: bool | str | transformers.utils.generic.PaddingStrategy = Truepad_to_multiple_of: int | None = 2max_length: int | None = Nonetruncation: bool = Falsereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = Nonereturn_attention_mask: bool | None = Nonedo_normalize_per_mel_bins: bool | None = True**kwargs )
Параметры
- raw_speech (
np.ndarray,torch.Tensor,list[float],list[np.ndarray],list[torch.Tensor], — -
list[list[float]],list[list[list[float]]]) — Последовательность или батч последовательностей, для которых выполняется выравнивание. Каждая последовательность может быть массивом numpy, тензором torch, списком значений float, списком массивов numpy, списком тензоров torch, списком списков значений float или списком списков списков значений float. Еслиraw_speechявляется одномернымnp.ndarray,torch.Tensorилиlist[float],raw_speechрассматривается как одноканальный звук с одним сэмплом. Во всех остальных случаях первое измерениеraw_speech, будь то изnp.ndarray,torch.Tensorилиlist[...], соответствует количеству сэмплов в батче, а количество каналов (т. е. моно- или стерео-характер) выводится из остальных измерений (1D -> батчи одноканальных волновых форм; 2D-> батчи стерео-канальных волновых форм). - padding (
bool,strили PaddingStrategy, необязательный, по умолчаниюTrue) — Выберите стратегию дополнения возвращаемых последовательностей (с учётом стороны дополнения и индекса дополнения модели) из следующих вариантов:Trueили'longest': дополнить до самой длинной последовательности в батче (или не дополнять, если предоставлена только одна последовательность).'max_length': Дополнить до максимальной длины, указанной аргументомmax_length, или до максимально допустимой длины входных данных для модели, если этот аргумент не указан.Falseили'do_not_pad'(по умолчанию): без дополнения нулями (т. е. может выводить батч с последовательностями разной длины).
- pad_to_multiple_of (
int, необязательный, по умолчанию равно 2) — Если задано, последовательность будет дополнена до кратного указанного значения.Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью
>= 7.5(Volta) или на TPU, где производительность повышается при длине последовательности, кратной 128. - max_length (
int, необязательный) — Максимальная длина возвращаемого списка и, при необходимости, длина отступов (см. выше). - truncation (
bool) — Включает усечение, чтобы обрезать входные последовательности длиннее max_length до max_length. - return_attention_mask (
bool, необязательный) — Возвращать ли attention mask. Если значение не задано, attention mask будет возвращена в соответствии со значением по умолчанию конкретного feature_extractor.Для моделей SeamlessM4T
attention_maskследует всегда передавать при пакетном выводе, чтобы избежать тонких ошибок. - return_tensors (
strили TensorType, необязательный) — Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:'pt': возвращает объектыtorch.TensorPyTorch.'np': возвращает объекты Numpynp.ndarray.
- sampling_rate (
int, необязательный) — Частота дискретизации, с которой была оцифрована входнаяraw_speech. Настоятельно рекомендуется передаватьsampling_rateпри вызове forward, чтобы избежать скрытых ошибок. - do_normalize_per_mel_bins (
bool, необязательный, по умолчаниюTrue) — Нормализовать ли входные данные по каждому mel-каналу до нулевого среднего и единичной дисперсии. - kwargs (необязательный) — Остальные именованные аргументы в виде словаря, которые будут переданы в токенизатор или извлекатель признаков.
Основной метод для создания признаков и подготовки одной или нескольких последовательностей для модели.
SeamlessM4TProcessor
класс transformers.SeamlessM4TProcessor
< source >( feature_extractortokenizer )
Создаёт SeamlessM4TProcessor, который объединяет экстрактор признаков и токенизатор в единый процессор.
SeamlessM4TProcessor предоставляет все возможности SeamlessM4TFeatureExtractor и SeamlessM4TTokenizer. Подробнее см. в ~SeamlessM4TFeatureExtractor и ~SeamlessM4TTokenizer.
__call__
< source >( text: str | list[str] | list[list[str]] | None = Noneaudio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None**kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'> ) → BatchEncoding
Параметры
- text (
Union[str, list[str], list[list[str]]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если вы передаёте предварительно токенизированный вход, установитеis_split_into_words=True, чтобы избежать неоднозначности с батчированными входами. - audio (
Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], необязательный) — Аудио или пакет аудио, подлежащий подготовке. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио. - return_tensors (
strили TensorType, необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:'pt': возвращает объектыtorch.TensorPyTorch.'np': возвращает объекты NumPynp.ndarray.
- **kwargs (ProcessingKwargs, optional) — Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.
Возвращает
BatchEncoding со следующими полями:
- input_ids — список идентификаторов токенов, передаваемых в модель. Возвращается, если
textне равноNone. - attention_mask — список индексов, указывающих, на какие токены модель должна обращать внимание (когда
return_attention_mask=Trueили если “attention_mask” входит вself.model_input_namesи еслиtextне равноNone). - input_features — Аудиовходные признаки, передаваемые в модель. Возвращается, если
audiosне равноNone.
SeamlessM4TCodeHifiGan
класс transformers.SeamlessM4TCodeHifiGan
< source >( config: SeamlessM4TConfig )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Код вокодера HiFi-GAN, описанного в этом репозитории.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: LongTensorspkr_id: Tensorlang_id: Tensor**kwargs )
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре.Индексы можно получить с помощью SeamlessM4TTextToUnitForConditionalGeneration. Что такое входные ID?
- spkr_id (
int, необязательный) — Идентификатор говорящего, используемый для синтеза речи. Должен быть меньшеconfig.vocoder_num_spkrs. - tgt_lang (
str, необязательный) — Идентификатор языка, который будет использоваться в качестве целевого языка для перевода.
SeamlessM4THifiGan
forward
< source >( inputs_embeds: Tensor ) → torch.Tensor
Параметры
- spectrogram (
torch.Tensor) — Тензор, содержащий лог-мел-спектрограммы. Может быть батчевым с формой(batch_size, sequence_length, model_in_dim)или небатчевым с формой(sequence_length, model_in_dim). Обратите внимание, чтоmodel_in_dimявляется суммойconfig.unit_embed_dim,config.lang_embed_dimиconfig.spkr_embed_dim.
Возвращает
torch.Tensor
Тензор, содержащий звуковую волну. Если входная спектрограмма имеет батч, форма будет (batch_size, num_frames,). Если без батча, форма будет (num_frames,).
Преобразует лог-мел-спектрограмму в речевую волну. Передача батча лог-мел-спектрограмм возвращает батч речевых волн. Передача одной, не сгруппированной в батч лог-мел-спектрограммы возвращает одну, не сгруппированную в батч речевую волну.
SeamlessM4TTextToUnitModel
класс transformers.SeamlessM4TTextToUnitModel
< source >( config: SeamlessM4TConfigembed_tokens_decoder: typing.Optional[torch.nn.Embedding] = None )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
- embed_tokens_decoder (
nn.Embedding, необязательный) — входное встраивание декодера.
Базовый энкодер-декодер «текст в единицы» на основе Transformer. Энкодер — это SeamlessM4TEncoder без эмбеддингов, а декодер — SeamlessM4TDecoder.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqModelOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- decoder_input_ids (
torch.LongTensorформы(batch_size, target_sequence_length), необязательный) — Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью AutoTokenizer. Подробности — в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое decoder input IDs?Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- decoder_attention_mask (
torch.LongTensorформы(batch_size, target_sequence_length), необязательный) — Маска для исключения внимания к определённым индексам токенов. По умолчанию используется каузальная маска, чтобы модель могла учитывать только предыдущие входные данные при прогнозировании будущих. - encoder_outputs (
tuple[tuple[torch.Tensor]], необязательный) — Кортеж состоит из (last_hidden_state, необязательный:hidden_states, необязательный:attentions)last_hidden_stateформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - decoder_inputs_embeds (
torch.Tensorформы(batch_size, target_sequence_length, hidden_size), необязательный) — Необязательно, вместо передачиdecoder_input_idsможно напрямую передать встроенное представление. Еслиpast_key_valuesиспользуется, необязательно вводить только последнийdecoder_inputs_embeds(см.past_key_values). Это полезно, если вы хотите больше контролировать, как индексыdecoder_input_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица эмбеддингов модели.Если
decoder_input_idsиdecoder_inputs_embedsне заданы,decoder_inputs_embedsпринимает значениеinputs_embeds. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values).
Возвращает
Seq2SeqModelOutput или tuple(torch.Tensor)
Объект Seq2SeqModelOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (SeamlessM4TConfig) и входных данных.
Метод forward модели SeamlessM4TTextToUnitModel переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя декодера модели.Если используется
past_key_values, выводится только последнее скрытое состояние последовательностей формы(batch_size, 1, hidden_size).past_key_values (
EncoderDecoderCache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр EncoderDecoderCache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.decoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_hidden_states=Trueили приconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния декодера на выходе каждого слоя, а также необязательные выходные значения начального эмбеддинга.
decoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.encoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — Кортежtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния энкодера на выходе каждого слоя, а также необязательные выходные значения начального эмбеддинга.
encoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
SeamlessM4TTextToUnitForConditionalGeneration
класс transformers.SeamlessM4TTextToUnitForConditionalGeneration
< source >( config: SeamlessM4TConfigembed_tokens_decoder: typing.Optional[torch.nn.Embedding] = None )
Параметры
- config (SeamlessM4TConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
- embed_tokens_decoder (
nn.Embedding, необязательный) — входное встраивание декодера.
Кодер-декодер для преобразования текста в юниты на основе трансформера с головой языковой модели. Базовая модель кодер-декодера — это SeamlessM4TTextToUnit.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqLMOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- decoder_input_ids (
torch.LongTensorформы(batch_size, target_sequence_length), необязательный) — Индексы токенов входной последовательности декодера в словаре. Индексы можно получить с помощью AutoTokenizer. Подробности — в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call(). Что такое decoder input IDs? Bart использует eos_token_id в качестве начального токена для генерации decoder_input_ids. Если используется past_key_values, необязательно вводить все decoder_input_ids — достаточно последнего (см. past_key_values). Для обучения переводу и суммаризации decoder_input_ids должны быть переданы. Если decoder_input_ids не переданы, модель создаст этот тензор, сдвинув input_ids вправо для предобучения с шумоподавлением, как описано в статье.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
Что такое входные идентификаторы декодера?
Bart использует
eos_token_idв качестве начального токена для генерацииdecoder_input_ids. Если используетсяpast_key_values, то, по желанию, в качестве входных данных можно передать только последнийdecoder_input_ids(см.past_key_values).Для обучения переводу и суммаризации необходимо предоставить
decoder_input_ids. Еслиdecoder_input_idsне предоставлено, модель создаст этот тензор, сдвинувinput_idsвправо для предобучения с шумоподавлением, как описано в статье. - decoder_attention_mask (
torch.LongTensorформы(batch_size, target_sequence_length), , необязательный) — Поведение по умолчанию: генерирует тензор, игнорирующий токены заполнения вdecoder_input_ids. По умолчанию также будет использоваться каузальная маска (causal mask).Если вы хотите изменить поведение отступов, вам следует изучить
modeling_bart._prepare_decoder_attention_maskи внести необходимые изменения. Дополнительную информацию о стратегии по умолчанию см. на схеме 1 в статье. - encoder_outputs (
tuple[tuple[torch.Tensor]], необязательный) — Кортеж состоит из (last_hidden_state, необязательный:hidden_states, необязательный:attentions)last_hidden_stateформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorс формой(batch_size, sequence_length, hidden_size), необязательно) — Необязательно, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если вы хотите больше контролировать, как индексыinput_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица поиска эмбеддингов модели.labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный): Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[-100, 0, ..., config.vocab_size](см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size] - decoder_inputs_embeds (
torch.Tensorформы(batch_size, target_sequence_length, hidden_size), необязательный) — Необязательно, вместо передачиdecoder_input_idsможно напрямую передать встроенное представление. Еслиpast_key_valuesиспользуется, необязательно вводить только последнийdecoder_inputs_embeds(см.past_key_values). Это полезно, если вы хотите больше контролировать, как индексыdecoder_input_idsпреобразуются в соответствующие векторы, чем это делает внутренняя матрица эмбеддингов модели.Если
decoder_input_idsиdecoder_inputs_embedsне заданы,decoder_inputs_embedsпринимает значениеinputs_embeds. - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[0, ..., config.vocab_size]или быть равны -100 (см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size]. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values).
Возвращает
Seq2SeqLMOutput или tuple(torch.Tensor)
Объект Seq2SeqLMOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (SeamlessM4TConfig) и входных данных.
Метод forward класса SeamlessM4TTextToUnitForConditionalGeneration переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели.logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).past_key_values (
EncoderDecoderCache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр EncoderDecoderCache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.decoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_hidden_states=Trueили приconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
decoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.encoder_hidden_states (
tuple(torch.Tensor), необязательный, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — Кортежtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
encoder_attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.