Transformers documentation

SINQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SINQ

La quantification normalisée par Sinkhorn (SINQ) équilibre l'échelle des lignes et des colonnes de chaque matrice de poids avant de la quantifier, ce qui réduit l'erreur due aux valeurs aberrantes sans données d'étalonnage. Utilisez-la comme alternative sans étalonnage à HQQ pour des poids de 2 à 8 bits sur un seul GPU.

Le tableau ci-dessous résume ce que SINQ prend en charge dans Transformers.

ConfigurationSinqConfig
quant_methodsinq
Flux de travailQuantifier lors du chargement
Bits2, 3, 4, 5, 6, 8
MatérielUn GPU CUDA, CPU
Enregistrer✅
Ajustement fin✅
Auto-compilation❌

Installer SINQ

Installez le package sinq.

pip install sinq

Quantifier un modèle avec SINQ

Créez un SinqConfig et passez-le à from_pretrained(). L’exemple ci-dessous quantise un modèle en 4 bits et conserve lm_head en bf16.

from transformers import AutoModelForCausalLM, SinqConfig

quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-1.7B",
    quantization_config=quantization_config,
    device_map="cuda:0",
)

Sans GPU CUDA, SINQ quantise et exécute le modèle sur le CPU, ce qui est beaucoup plus lent.

Configurer SINQ

Ces paramètres SinqConfig modifient la manière dont les poids sont quantifiés.

ParamètrePar défautEffet
nbits4Nombre de bits par poids.
group_size64Nombre de poids qui partagent une échelle. Utilisez un multiple de 8.
tiling_mode"1D"La manière dont la matrice de poids est découpée en tuiles, soit "1D" soit "2D".
modules_to_not_convertNoneModules à laisser non quantifiés. Par défaut, chaque couche linéaire est quantifiée, y compris lm_head.

Limites

  • SINQ s’exécute sur un seul appareil. Une device_map qui répartit le modèle sur plusieurs appareils, y compris le déchargement sur CPU, provoque une RuntimeError.
  • Transformers ne prend en charge que la méthode sans calibration method="sinq". La quantification avec la méthode calibrée method="asinq" lève une ValueError. Utilisez la bibliothèque SINQ pour quantifier avec A-SINQ.

Ressources

Update on GitHub