Transformers documentation
FBGEMM
FBGEMM
FBGEMM (Facebook GEneral Matrix Multiplication) FP8 quantization lưu trữ trọng số ở FP8 với một scale cho mỗi kênh đầu ra, và lượng tử hóa activation sang FP8 với một scale cho mỗi token tại runtime (W8A8). Matmul chạy trên kernel FP8 row-wise của FBGEMM. Sử dụng nó cho lượng tử hóa trọng số và activation FP8 trên GPU NVIDIA Hopper hoặc mới hơn, hoặc trên Intel XPUs, mà không cần dữ liệu hiệu chuẩn.
Bảng dưới đây tóm tắt những gì FBGEMM hỗ trợ trong Transformers.
| Cấu hình | FbgemmFp8Config |
quant_method | fbgemm_fp8 |
| Quy trình làm việc | Lượng tử hóa khi tải |
| Bits | 8 |
| Phần cứng | CUDA (khả năng tính toán 9.0+), XPU |
| Lưu | ✅ |
| Tinh chỉnh | ❌ |
| Tự động biên dịch | ❌ |
Cài đặt FBGEMM
Trên GPU CUDA, hãy cài đặt các thư viện fbgemm-gpu và Accelerate. Nếu gặp sự cố khi cài đặt, hãy thử bản phát hành nightly của fbgemm-gpu.
pip install -U fbgemm-gpu accelerate
Trên XPU, Transformers sẽ tải kernel lượng tử hóa FP8 từ kho kernels-community/fp8-fbgemm trên Hub. Cài đặt thư viện kernels và Accelerate.
pip install -U "transformers[kernels]" accelerateLượng tử hóa một mô hình bằng FBGEMM
Tạo một FbgemmFp8Config và truyền nó vào from_pretrained().
from transformers import AutoModelForCausalLM, FbgemmFp8Config
quantization_config = FbgemmFp8Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)FBGEMM luôn nạp mô hình ở bf16. Nếu bạn truyền một dtype khác, Transformers sẽ ghi log cảnh báo và chuyển sang torch.bfloat16.
activation_scale_ub giới hạn tỷ lệ kích hoạt cho từng token khi các kích hoạt được lượng tử hóa lúc chạy. Giá trị mặc định là 1200.0, và bạn có thể thay đổi nó khi tải một checkpoint đã được lượng tử hóa trước.
Hạn chế
- FBGEMM cần một GPU CUDA hoặc XPU. Việc nạp mà không có thiết bị này sẽ gây ra
ImportError. - Trên CUDA, FBGEMM yêu cầu khả năng tính toán (compute capability) 9.0 trở lên, ví dụ như H100. GPU đời cũ sẽ gây ra
ValueError. - Việc lượng tử hóa trong khi tải không thể offload sang CPU hoặc đĩa. Một
device_mapbao gồm"cpu"hoặc"disk"sẽ gây raValueError. Một checkpoint đã được lượng tử hóa trước có thể offload. - FBGEMM lượng tử hóa các lớp
nn.Linearvà các chuyên gia văn bản của Llama 4. Các module chuyên gia đã hợp nhất trong các mô hình mixture-of-experts khác vẫn không được lượng tử hóa. - Các mô hình được lượng tử hóa bằng FBGEMM không thể tinh chỉnh.