Transformers documentation

Penggunaan memori GPU

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Penggunaan memori GPU

Melatih model dengan 4B parameter dalam presisi campuran pada ukuran batch 16 membutuhkan sekitar 85GB memori GPU. Memahami apa yang menempati memori GPU dan operasi komputasi yang terjadi selama pelatihan membantu mengidentifikasi di mana Anda dapat mengurangi penggunaan memori.

β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€ TENSORS ──────────────────────────────────┐
β”‚                                                                      β”‚
β”‚  MODEL WEIGHTS       β–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆ  6 bytes/param         β”‚
β”‚  (mixed precision)   β”œβ”€β”€ fp16 copy (2B) β€” forward/backward pass      β”‚
β”‚                      └── fp32 copy (4B) β€” stable weight updates      β”‚
β”‚                                                                      β”‚
β”‚  OPTIMIZER STATES    β–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆ  8 bytes/param β”‚
β”‚  (Adam)              β”œβ”€β”€ fp32 momentum  (4B)                         β”‚
β”‚                      └── fp32 variance  (4B)                         β”‚
β”‚                      ↳ quantized Adam (bitsandbytes) β†’ 2 bytes/param β”‚
β”‚                                                                      β”‚
β”‚  GRADIENTS           β–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆβ–ˆ  4 bytes/param  (fp32)         β”‚
β”‚                      └── computed in backward pass, per parameter    β”‚
β”‚                                                                      β”‚
β”‚  ACTIVATIONS         β–ˆβ–ˆβ–ˆβ–ˆ varies β€” batch Γ— seq_len Γ— depth Γ— hidden  β”‚
β”‚  (forward cache)     └── cached for backward; can OOM even if model  β”‚
β”‚                          fits (long seqs / large batches)            β”‚
β”‚                          bf16/fp16 if using mixed precision          β”‚
β”‚                                                                      β”‚
β”‚  TEMPORARY TENSORS   β–“ short-lived (softmax, matmul scratch)         β”‚
β”‚                      └── peak spikes can cause OOM                   β”‚
β”‚                                                                      β”‚
β”‚  OTHER OVERHEAD      β–’ beam search caches, large embedding tables    β”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜

Memori GPU menyimpan dua kategori hal: tensor yang disimpan dan operasi yang memprosesnya.

Tensor

Pelatihan membutuhkan dan menghasilkan banyak tipe tensor yang perlu disimpan.

  • Bobot model disimpan di GPU. Dalam pelatihan presisi campuran, diperlukan dua salinan bobot - satu dalam fp16 untuk langkah maju/mundur dan satu dalam fp32 sebagai "salinan utama" untuk pembaruan bobot yang stabil. Ini setara dengan 6 byte per parameter.

  • State optimizer seperti Adam menyimpan dua tensor tambahan per parameter, yaitu momentum dan varians, yang keduanya dalam fp32. Itu berarti tambahan 8 byte per parameter.

    Anda dapat menggunakan optimizer lain, seperti versi kuantisasi Adam dari bitsandbytes, untuk mengompresnya menjadi 2 byte per parameter.

  • Tensor gradien dihitung untuk setiap parameter pada jalur mundur (backward pass). Ini disimpan dalam fp32, sehingga ukurannya 4 byte per parameter.

  • Aktivasi maju (forward activations) dihitung pada langkah maju (forward pass) dan di-cache untuk langkah mundur (backward pass) guna menghitung gradien. Ukuran aktivasi ini bervariasi tergantung pada ukuran batch, panjang sekuens, kedalaman model, dan ukuran tersembunyi (hidden size). Inilah mengapa ukuran batch atau panjang sekuens dapat menguras memori GPU meskipun modelnya sendiri muat.

  • Tensor sementara dibuat oleh operasi seperti softmax dan perkalian matriks, lalu dilepaskan setelah setiap operasi. Jika puncak dari satu operasi sangat intensif, hal itu dapat menyebabkan lonjakan sementara yang membuat Anda kehabisan memori.

  • Beberapa fitur menambahkan overhead mereka sendiri. Misalnya, beam search mempertahankan beberapa output, dan tabel embedding untuk kosakata besar dapat menjadi sangat besar.

Ops

Terdapat tiga jenis utama operasi pelatihan.

  • Perkalian matriks (matmul) adalah jenis op utama, mencakup lapisan linear, proyeksi QKV, proyeksi output perhatian, dan lapisan FFN. Penyedot memori utama adalah matriks skor perhatian yang tumbuh seiring kuadrat panjang sekuens. Inilah mengapa sekuens panjang sangat mahal dan berbagai backend perhatian berbeda ada untuk menghindari materialisasi matriks penuh di memori.

  • Operasi reduksi, seperti softmax dan layer norm, membaca tensor penuh, menghitung statistik di sepanjang dimensi, lalu membaca tensor tersebut lagi untuk menerapkannya. Hal ini memerlukan akses ke memori beberapa kali untuk setiap operasi.

  • Operasi per elemen, seperti aktivasi dan dropout, menerapkan fungsi ke setiap elemen secara independen dan penggunaan memorinya sebanding dengan ukuran tensor.

Langkah selanjutnya

  • Lihat panduan Akumulasi gradien untuk mempelajari cara mensimulasikan pelatihan pada ukuran batch efektif yang lebih besar tanpa kehabisan memori GPU.
  • Lihat panduan Gradient checkpointing untuk mempelajari cara mengurangi penggunaan memori dengan hanya menyimpan sebagian aktivasi perantara.
  • Lihat panduan Mixed precision training untuk mempelajari cara menggunakan tipe data presisi lebih rendah guna mengurangi memori dan mempercepat pelatihan.
  • Lihat panduan Kernels untuk mempelajari cara mempercepat pelatihan dengan kernel fused kustom.
Update on GitHub