Transformers documentation

FBGEMM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) La quantification FP8 de FBGEMM stocke les poids en FP8 avec une échelle par canal de sortie, et quantifie les activations en FP8 avec une échelle par token à l’exécution (W8A8). La multiplication matricielle s’exécute sur le noyau FP8 par ligne de FBGEMM. Utilisez-la pour la quantification des poids et des activations en FP8 sur des GPU NVIDIA Hopper ou plus récents, ou sur des XPU Intel, sans données de calibration.

Le tableau ci-dessous résume ce que FBGEMM prend en charge dans Transformers.

ConfigurationFbgemmFp8Config
quant_methodfbgemm_fp8
Flux de travailQuantifier lors du chargement
Bits8
MatérielCUDA (capacité de calcul 9.0+), XPU
Enregistrer✅
Ajustement fin❌
Auto-compilation❌

Installer FBGEMM

Sur un GPU CUDA, installez les bibliothèques fbgemm-gpu et Accelerate. En cas de problème d'installation, essayez la version nocturne de fbgemm-gpu.

pip install -U fbgemm-gpu accelerate

Sur une XPU, Transformers télécharge le noyau de quantification FP8 depuis le dépôt kernels-community/fp8-fbgemm sur le Hub. Installez les bibliothèques kernels et Accelerate.

pip install -U "transformers[kernels]" accelerate

Quantifier un modèle avec FBGEMM

Créez un FbgemmFp8Config et passez-le à from_pretrained().

from transformers import AutoModelForCausalLM, FbgemmFp8Config

quantization_config = FbgemmFp8Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

FBGEMM charge toujours le modèle en bf16. Si vous passez un dtype différent, Transformers affiche un avertissement et le bascule en torch.bfloat16.

activation_scale_ub limite l'échelle d'activation par jeton lorsque les activations sont quantifiées à l'exécution. Sa valeur par défaut est 1200.0, et vous pouvez la modifier lors du chargement d'un point de contrôle pré-quantifié.

Limites

  • FBGEMM nécessite un GPU CUDA ou un XPU. Le chargement sans l'un d'eux provoque une ImportError.
  • Sur CUDA, FBGEMM nécessite une capacité de calcul de 9.0 ou supérieure, comme une H100. Un GPU plus ancien déclenche une ValueError.
  • La quantification lors du chargement ne permet pas de décharger sur le CPU ou le disque. Un device_map incluant "cpu" ou "disk" lève une ValueError. Un point de contrôle pré-quantifié peut être déchargé.
  • FBGEMM quantise les couches nn.Linear et les experts texte de Llama 4. Les modules d'experts fusionnés dans d'autres modèles mixture-of-experts restent non quantifiés.
  • Les modèles quantifiés FBGEMM ne peuvent pas être affinés.

Ressources

Update on GitHub