Transformers documentation
SINQ
SINQ
La quantification normalisée par Sinkhorn (SINQ) équilibre l'échelle des lignes et des colonnes de chaque matrice de poids avant de la quantifier, ce qui réduit l'erreur due aux valeurs aberrantes sans données d'étalonnage. Utilisez-la comme alternative sans étalonnage à HQQ pour des poids de 2 à 8 bits sur un seul GPU.
Le tableau ci-dessous résume ce que SINQ prend en charge dans Transformers.
| Configuration | SinqConfig |
quant_method | sinq |
| Flux de travail | Quantifier lors du chargement |
| Bits | 2, 3, 4, 5, 6, 8 |
| Matériel | Un GPU CUDA, CPU |
| Enregistrer | ✅ |
| Ajustement fin | ✅ |
| Auto-compilation | ❌ |
Installer SINQ
Installez le package sinq.
pip install sinq
Quantifier un modèle avec SINQ
Créez un SinqConfig et passez-le à from_pretrained(). L’exemple ci-dessous quantise un modèle en 4 bits et conserve lm_head en bf16.
from transformers import AutoModelForCausalLM, SinqConfig
quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-1.7B",
quantization_config=quantization_config,
device_map="cuda:0",
)Sans GPU CUDA, SINQ quantise et exécute le modèle sur le CPU, ce qui est beaucoup plus lent.
Configurer SINQ
Ces paramètres SinqConfig modifient la manière dont les poids sont quantifiés.
| Paramètre | Par défaut | Effet |
|---|---|---|
nbits | 4 | Nombre de bits par poids. |
group_size | 64 | Nombre de poids qui partagent une échelle. Utilisez un multiple de 8. |
tiling_mode | "1D" | La manière dont la matrice de poids est découpée en tuiles, soit "1D" soit "2D". |
modules_to_not_convert | None | Modules à laisser non quantifiés. Par défaut, chaque couche linéaire est quantifiée, y compris lm_head. |
Limites
- SINQ s’exécute sur un seul appareil. Une
device_mapqui répartit le modèle sur plusieurs appareils, y compris le déchargement sur CPU, provoque uneRuntimeError. - Transformers ne prend en charge que la méthode sans calibration
method="sinq". La quantification avec la méthode calibréemethod="asinq"lève uneValueError. Utilisez la bibliothèque SINQ pour quantifier avec A-SINQ.
Ressources
- article SINQ : Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights
- dépôt SINQ