Accelerate documentation
FP8
FP8
以下は、FP8の実装に関連する関数とクラスです
TERecipeKwargs
クラス accelerate.utils.TERecipeKwargs
< source >( use_autocast_during_eval: bool | None = Nonemargin: int | None = Noneinterval: int | None = Nonefp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = Noneamax_history_len: int | None = Noneamax_compute_algo: typing.Literal['max', 'most_recent'] = Noneoverride_linear_precision: tuple[bool, bool, bool] = Noneuse_mxfp8_block_scaling: bool | None = None )
パラメータ
- use_autocast_during_eval (
bool、任意、デフォルトはFalse) — eval モード中に FP8 autocast を使用するかどうか。一般的に、これをFalseにすると、より良い指標が得られます。 - margin (
int、任意、デフォルトは 0) — 勾配スケーリングに使用するマージン。 - interval (
int、任意、デフォルトは 1) — スケーリング係数を再計算する間隔を指定します。 - fp8_format (
str, 任意、デフォルトは “HYBRID”) — FP8 レシピに使用するフォーマットです。HYBRID、E4M3、またはE5M2のいずれかである必要があります。(一般的には、学習にはHYBRID、評価にはE4M3またはE5M2を使用します) - amax_history_len (
int、任意、デフォルトは 1024) — スケーリング係数の計算に使用する履歴の長さ - amax_compute_algo (
str、任意、デフォルトは “most_recent”) — スケーリング係数の計算に使用するアルゴリズム。maxまたはmost_recentのいずれかである必要があります。 - override_linear_precision (
tupleof threebool, 任意, デフォルトは(False, False, False)) —fprop、dgrad、wgradの GEMM を高精度で実行するかどうか。
transformer-engineによるFP8混合精度トレーニングのレシピの初期化をカスタマイズするために、Accelerator内でこのオブジェクトを使用します。
引数に関する詳細については、APIのドキュメントを参照してください。
AORecipeKwargs
クラス accelerate.utils.AORecipeKwargs
< source >( config: ForwardRef('Float8LinearConfig') | None = Nonemodule_filter_func: typing.Callable | None = Nonepad_inner_dim: bool | None = Noneenable_fsdp_float8_all_gather: bool | None = None )
パラメータ
- config (
torchao.float8.Float8LinearConfig, 省略可能, デフォルトはNone) — FP8 学習の設定です。None, の場合、ほとんどのユースケースに適した適切なデフォルト値でデフォルト設定が作成されます:pad_inner_dim=True: 行列の次元を16で割り切れるようにパディングします。torch._scaled_mm操作でランタイムエラーを防ぐために必要です。enable_fsdp_float8_all_gather=True: FSDP2のFP8 all-gatherを有効にします。all-gather操作の前にパラメータをキャストすることでメモリ帯域幅を節約し、BF16と比較して50%の帯域幅削減を実現します。
Float8LinearConfigインスタンスを指定することで、これらのデフォルト値を上書きできます。 - module_filter_func (
Callable、省略可能、デフォルトはNone) — モジュールとレイヤー名を受け取り、そのモジュールを FP8 に変換すべきかどうかを示すブール値を返す任意の関数です。デフォルトはaccelerate.utils.ao.filter_linear_layersです。使用例については、そちらを参照してください。
このオブジェクトをAcceleratorで使用して、torchao FP8によるFP8混合精度トレーニングのレシピの初期化をカスタマイズします。
convert_model
accelerate.utils.convert_model
< source >( modelto_transformer_engine = True_convert_linear = True_convert_ln = True )
モデルの線形層とレイヤーノルム層を、transformers_engineの対応する層に再帰的に変換します。
has_transformer_engine_layers
指定されたモデルにtransformer_engineレイヤーが含まれているかどうかを返します。
contextual_fp8_autocast
accelerate.utils.contextual_fp8_autocast
< source >( model_forwardfp8_recipeuse_during_eval = False )
モデルの forward メソッドに FP8 オートキャストを適用するためのラッパーです。コンテキストを認識しており、デフォルトでは eval モード中に FP8 オートキャストを無効化します。これは、より正確なメトリクスを得るために一般的に好ましい動作です。
apply_fp8_autowrap
モデルのforwardメソッドにFP8コンテキストマネージャを適用します