Transformers documentation
NVFP4
NVFP4
NVFP4 est le format de virgule flottante 4 bits de NVIDIA. Chaque bloc de 16 poids partage une échelle FP8, et chaque tenseur possède une échelle FP32 supplémentaire. Transformers quantifie les poids lors du chargement du modèle et quantifie les activations à la volée, de sorte que la phase de préremplissage s’exécute comme une multiplication matricielle W4A4 sur les cœurs tensoriels Blackwell et la phase de décodage comme une multiplication matricielle W4A16. Utilisez-le pour exécuter des modèles 4 bits sur un GPU Blackwell.
Le tableau ci-dessous résume ce que NVFP4 prend en charge dans Transformers.
| Configuration | NVFP4Config |
quant_method | nvfp4 |
| Flux de travail | Quantifier lors du chargement |
| Bits | 4 |
| Matériel | Un GPU CUDA avec une capacité de calcul 10.0+ (Blackwell) |
| Enregistrer | ❌ |
| Ajustement fin | ❌ |
| Auto-compilation | ✅ |
Installer les noyaux NVFP4
Transformers télécharge les noyaux NVFP4 depuis le dépôt kernels-community/nvfp4-gemm sur le Hub. Installez la bibliothèque kernels. Le noyau nécessite une compilation correspondant à vos versions de PyTorch et de CUDA.
pip install -U "transformers[kernels]"Quantifier un modèle avec NVFP4
Créez un NVFP4Config et passez-le à from_pretrained() avec un device_map qui place le modèle entier sur une seule GPU CUDA. Le point de contrôle source doit avoir des poids en virgule flottante.
from transformers import AutoModelForCausalLM, NVFP4Config
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)NVFP4 remplace chaque couche torch.nn.Linear sans biais dont les in_features et out_features sont tous deux divisibles par 16. Les autres couches linéaires conservent leur précision d’origine. NVFP4Config ne comporte aucun paramètre modifiant la manière dont les poids sont quantifiés.
Limites
- NVFP4 nécessite une carte GPU CUDA avec une capacité de calcul 10.0 ou ultérieure. Le chargement sans carte GPU CUDA ou sur une carte plus ancienne déclenche une
RuntimeError. - NVFP4 s’exécute sur un seul GPU. Un
device_mapqui s’étend sur plusieurs GPU, ou le parallélisme de tenseurs, provoque uneValueError. - NVFP4 ne peut pas être déchargé sur le CPU ou le disque. Un
device_mapqui inclut"cpu"ou"disk", ou l’absence totale dedevice_map, provoque uneValueError. - NVFP4 ne peut pas charger de points de contrôle NVFP4 pré-quantifiés. Le chargement d'un tel point de contrôle provoque une
ValueError. - Les modèles NVFP4 ne peuvent pas être enregistrés ni affinés.
Ressources
- article de blog Présentation de NVFP4 pour une inférence de basse précision efficace et précise
- kernels-community/nvfp4-gemm noyau du Hub