Transformers

Transformers выступает в роли фреймворка для определения моделей передовых моделей машинного обучения в области текста, компьютерного зрения, аудио, видео и мультимодальных моделей, как для инференса, так и для обучения.

Он централизует определение модели, чтобы это определение было согласовано во всей экосистеме. transformers является опорной точкой для различных фреймворков: если определение модели поддерживается, оно будет совместимо с большинством фреймворков обучения (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), движков инференса (vLLM, SGLang, TGI, …) и смежных библиотек моделирования (llama.cpp, mlx, …), которые используют определение модели из transformers.

Мы обязуемся содействовать появлению новых передовых моделей и сделать их использование доступным для всех, обеспечив простоту, настраиваемость и эффективность их определений.

На Hugging Face Hub доступно более 1 млн model checkpoints Transformers, которые вы можете использовать.

Ознакомьтесь с Hub прямо сейчас, чтобы найти модель и начать работу с Transformers.

Изучите Models Timeline, чтобы узнать о последних архитектурах моделей для текста, изображений, аудио и мультимодальных данных в Transformers.

Возможности

Transformers предоставляет всё необходимое для инференса или обучения с использованием передовых предобученных моделей. Среди основных возможностей:

Pipeline: простой и оптимизированный класс для вывода во многих задачах машинного обучения, таких как генерация текста, сегментация изображений, автоматическое распознавание речи, документный вопросно-ответный и другие.
Trainer: универсальный тренажер, поддерживающий такие функции, как смешанная точность, torch.compile и FlashAttention для обучения и распределенного обучения моделей PyTorch.
generate: быстрая генерация текста с помощью больших языковых моделей (LLM) и моделей «зрение-язык» (VLM), включая поддержку потоковой передачи и нескольких стратегий декодирования.

Проектирование

Ознакомьтесь с нашей Философией, чтобы узнать больше о принципах проектирования Transformers.

Transformers разработан для разработчиков, инженеров по машинному обучению и исследователей. Его основные принципы проектирования:

Быстро и просто в использовании: каждая модель реализована на основе всего трёх основных классов (конфигурация, модель и предобработчик) и может быть быстро применена для инференса или обучения с помощью Pipeline или Trainer.
Предобученные модели: сократите углеродный след, затраты на вычисления и время, используя предобученную модель вместо обучения новой с нуля. Каждая предобученная модель воспроизводится максимально близко к оригиналу и обеспечивает передовую производительность.

Обучение

Если вы только начинаете знакомство с Transformers или хотите узнать больше о трансформерных моделях, мы рекомендуем начать с курса по LLM. Этот комплексный курс охватывает всё: от основ работы трансформерных моделей до практического применения в различных задачах. Вы изучите полный рабочий процесс — от подготовки высококачественных датасетов до дообучения больших языковых моделей и реализации возможностей рассуждения. Курс включает как теоретические, так и практические упражнения, чтобы вы могли заложить прочную основу знаний о трансформерных моделях в процессе обучения.

Update on GitHub