Transformers documentation
FBGEMM
FBGEMM
FBGEMM (Facebook GEneral Matrix Multiplication) La quantification FP8 de FBGEMM stocke les poids en FP8 avec une échelle par canal de sortie, et quantifie les activations en FP8 avec une échelle par token à l’exécution (W8A8). La multiplication matricielle s’exécute sur le noyau FP8 par ligne de FBGEMM. Utilisez-la pour la quantification des poids et des activations en FP8 sur des GPU NVIDIA Hopper ou plus récents, ou sur des XPU Intel, sans données de calibration.
Le tableau ci-dessous résume ce que FBGEMM prend en charge dans Transformers.
| Configuration | FbgemmFp8Config |
quant_method | fbgemm_fp8 |
| Flux de travail | Quantifier lors du chargement |
| Bits | 8 |
| Matériel | CUDA (capacité de calcul 9.0+), XPU |
| Enregistrer | ✅ |
| Ajustement fin | ❌ |
| Auto-compilation | ❌ |
Installer FBGEMM
Sur un GPU CUDA, installez les bibliothèques fbgemm-gpu et Accelerate. En cas de problème d'installation, essayez la version nocturne de fbgemm-gpu.
pip install -U fbgemm-gpu accelerate
Sur une XPU, Transformers télécharge le noyau de quantification FP8 depuis le dépôt kernels-community/fp8-fbgemm sur le Hub. Installez les bibliothèques kernels et Accelerate.
pip install -U "transformers[kernels]" accelerateQuantifier un modèle avec FBGEMM
Créez un FbgemmFp8Config et passez-le à from_pretrained().
from transformers import AutoModelForCausalLM, FbgemmFp8Config
quantization_config = FbgemmFp8Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)FBGEMM charge toujours le modèle en bf16. Si vous passez un dtype différent, Transformers affiche un avertissement et le bascule en torch.bfloat16.
activation_scale_ub limite l'échelle d'activation par jeton lorsque les activations sont quantifiées à l'exécution. Sa valeur par défaut est 1200.0, et vous pouvez la modifier lors du chargement d'un point de contrôle pré-quantifié.
Limites
- FBGEMM nécessite un GPU CUDA ou un XPU. Le chargement sans l'un d'eux provoque une
ImportError. - Sur CUDA, FBGEMM nécessite une capacité de calcul de 9.0 ou supérieure, comme une H100. Un GPU plus ancien déclenche une
ValueError. - La quantification lors du chargement ne permet pas de décharger sur le CPU ou le disque. Un
device_mapincluant"cpu"ou"disk"lève uneValueError. Un point de contrôle pré-quantifié peut être déchargé. - FBGEMM quantise les couches
nn.Linearet les experts texte de Llama 4. Les modules d'experts fusionnés dans d'autres modèles mixture-of-experts restent non quantifiés. - Les modèles quantifiés FBGEMM ne peuvent pas être affinés.
Ressources
- dépôt FBGEMM
- article de blog Ouverture du code de FBGEMM pour une inférence côté serveur de pointe