Transformers documentation

FBGEMM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) FP8 quantization lưu trữ trọng số ở FP8 với một scale cho mỗi kênh đầu ra, và lượng tử hóa activation sang FP8 với một scale cho mỗi token tại runtime (W8A8). Matmul chạy trên kernel FP8 row-wise của FBGEMM. Sử dụng nó cho lượng tử hóa trọng số và activation FP8 trên GPU NVIDIA Hopper hoặc mới hơn, hoặc trên Intel XPUs, mà không cần dữ liệu hiệu chuẩn.

Bảng dưới đây tóm tắt những gì FBGEMM hỗ trợ trong Transformers.

Cấu hìnhFbgemmFp8Config
quant_methodfbgemm_fp8
Quy trình làm việcLượng tử hóa khi tải
Bits8
Phần cứngCUDA (khả năng tính toán 9.0+), XPU
Lưu✅
Tinh chỉnh❌
Tự động biên dịch❌

Cài đặt FBGEMM

Trên GPU CUDA, hãy cài đặt các thư viện fbgemm-gpu và Accelerate. Nếu gặp sự cố khi cài đặt, hãy thử bản phát hành nightly của fbgemm-gpu.

pip install -U fbgemm-gpu accelerate

Trên XPU, Transformers sẽ tải kernel lượng tử hóa FP8 từ kho kernels-community/fp8-fbgemm trên Hub. Cài đặt thư viện kernels và Accelerate.

pip install -U "transformers[kernels]" accelerate

Lượng tử hóa một mô hình bằng FBGEMM

Tạo một FbgemmFp8Config và truyền nó vào from_pretrained().

from transformers import AutoModelForCausalLM, FbgemmFp8Config

quantization_config = FbgemmFp8Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

FBGEMM luôn nạp mô hình ở bf16. Nếu bạn truyền một dtype khác, Transformers sẽ ghi log cảnh báo và chuyển sang torch.bfloat16.

activation_scale_ub giới hạn tỷ lệ kích hoạt cho từng token khi các kích hoạt được lượng tử hóa lúc chạy. Giá trị mặc định là 1200.0, và bạn có thể thay đổi nó khi tải một checkpoint đã được lượng tử hóa trước.

Hạn chế

  • FBGEMM cần một GPU CUDA hoặc XPU. Việc nạp mà không có thiết bị này sẽ gây ra ImportError.
  • Trên CUDA, FBGEMM yêu cầu khả năng tính toán (compute capability) 9.0 trở lên, ví dụ như H100. GPU đời cũ sẽ gây ra ValueError.
  • Việc lượng tử hóa trong khi tải không thể offload sang CPU hoặc đĩa. Một device_map bao gồm "cpu" hoặc "disk" sẽ gây ra ValueError. Một checkpoint đã được lượng tử hóa trước có thể offload.
  • FBGEMM lượng tử hóa các lớp nn.Linear và các chuyên gia văn bản của Llama 4. Các module chuyên gia đã hợp nhất trong các mô hình mixture-of-experts khác vẫn không được lượng tử hóa.
  • Các mô hình được lượng tử hóa bằng FBGEMM không thể tinh chỉnh.

Tài nguyên

Update on GitHub