Transformers documentation
Penggunaan memori GPU
Penggunaan memori GPU
Melatih model dengan 4B parameter dalam presisi campuran pada ukuran batch 16 membutuhkan sekitar 85GB memori GPU. Memahami apa yang menempati memori GPU dan operasi komputasi yang terjadi selama pelatihan membantu mengidentifikasi di mana Anda dapat mengurangi penggunaan memori.
ββββββββββββββββββββββββββββ TENSORS βββββββββββββββββββββββββββββββββββ β β β MODEL WEIGHTS ββββββββββββββββββββββββ 6 bytes/param β β (mixed precision) βββ fp16 copy (2B) β forward/backward pass β β βββ fp32 copy (4B) β stable weight updates β β β β OPTIMIZER STATES ββββββββββββββββββββββββββββββββ 8 bytes/param β β (Adam) βββ fp32 momentum (4B) β β βββ fp32 variance (4B) β β β³ quantized Adam (bitsandbytes) β 2 bytes/param β β β β GRADIENTS ββββββββββββββββ 4 bytes/param (fp32) β β βββ computed in backward pass, per parameter β β β β ACTIVATIONS ββββ varies β batch Γ seq_len Γ depth Γ hidden β β (forward cache) βββ cached for backward; can OOM even if model β β fits (long seqs / large batches) β β bf16/fp16 if using mixed precision β β β β TEMPORARY TENSORS β short-lived (softmax, matmul scratch) β β βββ peak spikes can cause OOM β β β β OTHER OVERHEAD β beam search caches, large embedding tables β ββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββ
Memori GPU menyimpan dua kategori hal: tensor yang disimpan dan operasi yang memprosesnya.
Tensor
Pelatihan membutuhkan dan menghasilkan banyak tipe tensor yang perlu disimpan.
Bobot model disimpan di GPU. Dalam pelatihan presisi campuran, diperlukan dua salinan bobot - satu dalam fp16 untuk langkah maju/mundur dan satu dalam fp32 sebagai "salinan utama" untuk pembaruan bobot yang stabil. Ini setara dengan 6 byte per parameter.
State optimizer seperti Adam menyimpan dua tensor tambahan per parameter, yaitu momentum dan varians, yang keduanya dalam fp32. Itu berarti tambahan 8 byte per parameter.
Anda dapat menggunakan optimizer lain, seperti versi kuantisasi Adam dari bitsandbytes, untuk mengompresnya menjadi 2 byte per parameter.
Tensor gradien dihitung untuk setiap parameter pada jalur mundur (backward pass). Ini disimpan dalam fp32, sehingga ukurannya 4 byte per parameter.
Aktivasi maju (forward activations) dihitung pada langkah maju (forward pass) dan di-cache untuk langkah mundur (backward pass) guna menghitung gradien. Ukuran aktivasi ini bervariasi tergantung pada ukuran batch, panjang sekuens, kedalaman model, dan ukuran tersembunyi (hidden size). Inilah mengapa ukuran batch atau panjang sekuens dapat menguras memori GPU meskipun modelnya sendiri muat.
Tensor sementara dibuat oleh operasi seperti softmax dan perkalian matriks, lalu dilepaskan setelah setiap operasi. Jika puncak dari satu operasi sangat intensif, hal itu dapat menyebabkan lonjakan sementara yang membuat Anda kehabisan memori.
Beberapa fitur menambahkan overhead mereka sendiri. Misalnya, beam search mempertahankan beberapa output, dan tabel embedding untuk kosakata besar dapat menjadi sangat besar.
Ops
Terdapat tiga jenis utama operasi pelatihan.
Perkalian matriks (matmul) adalah jenis op utama, mencakup lapisan linear, proyeksi QKV, proyeksi output perhatian, dan lapisan FFN. Penyedot memori utama adalah matriks skor perhatian yang tumbuh seiring kuadrat panjang sekuens. Inilah mengapa sekuens panjang sangat mahal dan berbagai backend perhatian berbeda ada untuk menghindari materialisasi matriks penuh di memori.
Operasi reduksi, seperti softmax dan layer norm, membaca tensor penuh, menghitung statistik di sepanjang dimensi, lalu membaca tensor tersebut lagi untuk menerapkannya. Hal ini memerlukan akses ke memori beberapa kali untuk setiap operasi.
Operasi per elemen, seperti aktivasi dan dropout, menerapkan fungsi ke setiap elemen secara independen dan penggunaan memorinya sebanding dengan ukuran tensor.
Langkah selanjutnya
- Lihat panduan Akumulasi gradien untuk mempelajari cara mensimulasikan pelatihan pada ukuran batch efektif yang lebih besar tanpa kehabisan memori GPU.
- Lihat panduan Gradient checkpointing untuk mempelajari cara mengurangi penggunaan memori dengan hanya menyimpan sebagian aktivasi perantara.
- Lihat panduan Mixed precision training untuk mempelajari cara menggunakan tipe data presisi lebih rendah guna mengurangi memori dan mempercepat pelatihan.
- Lihat panduan Kernels untuk mempelajari cara mempercepat pelatihan dengan kernel fused kustom.