Parâmetros

• weights (str, opcional, padrão "int8") — O dtype de destino para os pesos após a quantização. Os valores suportados são (“float8”,“int8”,“int4”,“int2”)
• activations (str, opcional) — O dtype de destino para as ativações após a quantização. Os valores suportados são (None,“int8”,“float8”)
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original (por exemplo, o encoder do Whisper, o encoder do Llava, as camadas de gate do Mixtral).

Parâmetros

• in_group_size (int, opcional, padrão 8) — O tamanho do grupo ao longo da dimensão de entrada.
• out_group_size (int, opcional, padrão 1) — O tamanho do grupo ao longo da dimensão de saída. É recomendável usar sempre 1.
• num_codebooks (int, opcional, padrão 1) — Número de codebooks para o procedimento de Quantização Aditiva.
• nbits_per_codebook (int, opcional, padrão 16) — Número de bits que codificam um único vetor de codebook. O tamanho dos codebooks é 2**nbits_per_codebook.
• linear_weights_not_to_quantize (Optional[list[str]], opcional) — Lista dos caminhos completos dos parâmetros de peso de nn.Linear que não devem ser quantizados.
• kwargs (dict[str, Any], opcional) — Parâmetros adicionais a partir dos quais inicializar o objeto de configuração.

Parâmetros

• enable_proxy_error (bool, opcional, padrão False) — calcula o erro de proxy para cada camada
• config_for_layers (Dict, opcional, padrão {}) — parâmetros de quantização para cada camada
• shared_layer_config (Dict, opcional, padrão {}) — parâmetros de quantização compartilhados entre as camadas
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original (por exemplo, o encoder do Whisper, o encoder do Llava, as camadas de gate do Mixtral).
• kwargs (dict[str, Any], opcional) — Parâmetros adicionais a partir dos quais inicializar o objeto de configuração.

Parâmetros

• bits (int, opcional, padrão 4) — O número de bits para quantização.
• group_size (int, opcional, padrão 128) — O tamanho do grupo a ser usado para quantização. O valor recomendado é 128 e -1 usa quantização por coluna.
• zero_point (bool, opcional, padrão True) — Se deve usar quantização com ponto zero.
• backend (AwqBackend, opcional, padrão AwqBackend.AUTO) — O backend de quantização.
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original (por exemplo, o encoder do Whisper, o encoder do Llava, as camadas de gate do Mixtral). Observe que não é possível quantizar diretamente com o transformers; consulte a documentação do AutoAWQ para quantizar modelos do HF.

Parâmetros

• weights (str, opcional, padrão "int8") — O dtype de destino para os pesos. O único valor suportado é “int8”
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original.

Parâmetros

• bits (int) — O número de bits para quantização, os valores suportados são (2, 3, 4, 8).
• tokenizer (str ou PreTrainedTokenizerBase, opcional) — O tokenizer usado para processar o conjunto de dados. Você pode passar:
  • Um objeto de tokenizer personalizado.
  • Uma string, o model id de um tokenizer predefinido hospedado em um repositório de modelos no huggingface.co.
  • Um caminho para um diretório contendo os arquivos de vocabulário necessários para o tokenizer, por exemplo, salvos usando o método save_pretrained(), como ./my_model_directory/.
• dataset (Union[list[str]], opcional) — O dataset usado para quantização. Você pode fornecer seu próprio dataset em uma lista de strings ou simplesmente usar os datasets originais utilizados no paper do GPTQ [‘wikitext2’,‘c4’,‘c4-new’]
• group_size (int, opcional, padrão 128) — O tamanho do grupo a ser usado para quantização. O valor recomendado é 128 e -1 usa quantização por coluna.
• damp_percent (float, opcional, padrão 0.1) — A porcentagem da diagonal média da Hessiana a ser usada para amortecimento. O valor recomendado é 0.1.
• desc_act (bool, opcional, padrão False) — Se as colunas devem ser quantizadas em ordem decrescente de tamanho de ativação. Definir como False pode acelerar significativamente a inferência, mas a perplexidade pode ficar ligeiramente pior. Também conhecido como act-order.
• act_group_aware (bool, opcional, padrão True) — Usa GAR (ordem de ativação consciente de grupo) durante a quantização. Tem impacto positivo mensurável na qualidade da quantização. Aplicável apenas quando desc_act = False. Será forçado a False quando desc_act = True.
• sym (bool, opcional, padrão True) — Indica se deve ser usada quantização simétrica.
• true_sequential (bool, opcional, padrão True) — Se deve realizar a quantização sequencial mesmo dentro de um único bloco Transformer. Em vez de quantizar o bloco inteiro de uma vez, realizamos a quantização camada por camada. Como resultado, cada camada passa por quantização usando entradas que já passaram pelas camadas quantizadas anteriormente.
• format (str, opcional, padrão "gptq") — Formato de pesos GPTQ. gptq (v1) é suportado pelo gptqmodel. gptq_v2 é exclusivo do gptqmodel.
• meta (dict[str, any], opcional) — Propriedades, como tooling:version, que não contribuem diretamente para a quantização ou para a inferência quantizada são armazenadas em meta. Por exemplo, meta.quantizer: [“optimum:version”, “gptqmodel:version”]
• backend (str, opcional) — Controla qual kernel usar. Os valores válidos para gptqmodel são auto, auto_trainable e outros. Ref backends do gptqmodel: https://github.com/ModelCloud/GPTQModel/blob/main/gptqmodel/utils/backend.py
• model_seqlen (int, opcional) — O comprimento máximo de sequência que o modelo pode aceitar.
• block_name_to_quantize (str, opcional) — O nome do bloco do transformers a ser quantizado. Se for None, inferiremos o nome do bloco usando padrões comuns (por exemplo, model.layers).
• module_name_preceding_first_block (list[str], opcional) — As camadas que antecedem o primeiro bloco do Transformer.
• batch_size (int, opcional, padrão 1) — O tamanho do lote usado ao processar o conjunto de dados
• pad_token_id (int, opcional) — O id do token de preenchimento. Necessário para preparar o conjunto de dados quando batch_size > 1.
• max_input_length (int, opcional) — O comprimento máximo da entrada. Isso é necessário para inicializar um buffer que depende do comprimento máximo esperado da entrada. Específico para o backend exllama com act-order.
• cache_block_outputs (bool, opcional, padrão True) — Se deve armazenar em cache as saídas dos blocos para reutilizá-las como entradas do bloco subsequente.
• modules_in_block_to_quantize (list[list[str]], opcional) — Lista de listas de nomes de módulos a serem quantizados no bloco especificado. Este argumento é útil para excluir certos módulos lineares da quantização. O bloco a ser quantizado pode ser especificado definindo block_name_to_quantize. Cada lista será quantizada sequencialmente. Se não for definido, todas as camadas lineares serão quantizadas. Exemplo: modules_in_block_to_quantize =[["self_attn.k_proj", "self_attn.v_proj", "self_attn.q_proj"], ["self_attn.o_proj"]]. Neste exemplo, primeiro quantizamos as camadas q, k e v simultaneamente, pois são independentes. Em seguida, quantizamos a camada self_attn.o_proj com as camadas q, k e v já quantizadas. Dessa forma, obtemos melhores resultados, pois isso reflete a entrada real que self_attn.o_proj receberá quando o modelo for quantizado.

Parâmetros

• load_in_8bit (bool, opcional, padrão False) — Este sinalizador é usado para habilitar a quantização de 8 bits com LLM.int8().
• load_in_4bit (bool, opcional, padrão False) — Esta flag é usada para habilitar a quantização de 4 bits, substituindo as camadas Linear por camadas FP4/NF4 do bitsandbytes.
• llm_int8_threshold (float, opcional, padrão 6.0) — Corresponde ao limiar de outliers para a detecção de outliers, conforme descrito no artigo LLM.int8() : 8-bit Matrix Multiplication for Transformers at Scale: https://huggingface.co/papers/2208.07339 Qualquer valor de estados ocultos que esteja acima desse limiar será considerado um outlier e a operação sobre esses valores será realizada em fp16. Os valores geralmente seguem uma distribuição normal, ou seja, a maioria dos valores está no intervalo [-3.5, 3.5], mas existem alguns outliers sistemáticos excepcionais que possuem uma distribuição muito diferente em modelos grandes. Esses outliers frequentemente estão no intervalo [-60, -6] ou [6, 60]. A quantização Int8 funciona bem para valores de magnitude ~5, mas, além disso, há uma penalidade significativa de desempenho. Um bom limiar padrão é 6, mas um limiar menor pode ser necessário para modelos mais instáveis (modelos pequenos, fine-tuning).
• llm_int8_skip_modules (list[str], opcional) — Uma lista explícita dos módulos que não queremos converter para 8 bits. Isso é útil para modelos como Jukebox, que possui várias cabeças em diferentes posições e não necessariamente na última posição. Por exemplo, para modelos CausalLM, o último lm_head é mantido em seu dtype original.
• llm_int8_enable_fp32_cpu_offload (bool, opcional, padrão False) — Este sinalizador é usado para casos de uso avançados e para usuários que conhecem esse recurso. Se você deseja dividir seu modelo em diferentes partes e executar algumas partes em int8 na GPU e outras em fp32 na CPU, você pode usar este sinalizador. Isso é útil para descarregar modelos grandes, como google/flan-t5-xxl. Observe que as operações int8 não serão executadas na CPU.
• llm_int8_has_fp16_weight (bool, opcional, padrão False) — Este sinal executa o LLM.int8() com pesos principais de 16 bits. Isso é útil para fine-tuning, pois os pesos não precisam ser convertidos de volta para o passo de retropropagação.
• bnb_4bit_compute_dtype (torch.dtype ou str, opcional, padrão torch.float32) — Define o tipo de cálculo, que pode ser diferente do tipo de entrada. Por exemplo, as entradas podem ser fp32, mas o cálculo pode ser definido como bf16 para ganhos de velocidade.
• bnb_4bit_quant_type (str, opcional, padrão "fp4") — Define o tipo de dados de quantização nas camadas bnb.nn.Linear4Bit. As opções são os tipos de dados FP4 e NF4, especificados por fp4 ou nf4.
• bnb_4bit_use_double_quant (bool, opcional, padrão False) — Este sinalizador é usado para quantização aninhada, na qual as constantes de quantização da primeira quantização são quantizadas novamente.
• bnb_4bit_quant_storage (torch.dtype ou str, opcional, padrão torch.uint8) — Define o tipo de armazenamento para empacotar os parâmetros quantizados de 4 bits.
• kwargs (dict[str, Any], opcional) — Parâmetros adicionais a partir dos quais inicializar o objeto de configuração.

Parâmetros

• bits (int, opcional, padrão 4) — Número de bits a serem usados para quantização. Pode ser 2, 3 ou 4. O padrão é 4.
• p (int, opcional, padrão 2) — Dimensão da grade de quantização. 1 e 2 são suportados. 2 é sempre melhor na prática. O padrão é 2.
• modules_to_not_convert (list, opcional, padrão [“lm_head”]) — Lista de camadas lineares que não devem ser quantizadas.
• hadamard_size (int, opcional, padrão 512) — Tamanho de Hadamard para o método HIGGS. O padrão é 512. A dimensão de entrada das matrizes é preenchida até esse valor. Reduzir esse valor para menos de 512 diminuirá a qualidade da quantização.
• group_size (int, opcional, padrão 256) — Tamanho do grupo para o método HIGGS. Pode ser 64, 128 ou 256. Diminuir esse valor tem pouco impacto no desempenho. O padrão é 256. Deve ser um divisor de hadamard_size.
• tune_metadata (‘dict’, opcional, padrão {}) — Metadados por módulo (formas de bloco de gemm, metadados de GPU, etc.) para salvar os resultados de ajuste de kernel. O padrão é um dicionário vazio. É definido automaticamente durante o ajuste.

Parâmetros

• nbits (int, opcional, padrão 4) — Número de bits. Os valores suportados são (8, 4, 3, 2, 1).
• group_size (int, opcional, padrão 64) — Valor do tamanho do grupo. Os valores suportados são quaisquer valores divisíveis por weight.shape[axis]).
• view_as_float (bool, opcional, padrão False) — Exibe o peso quantizado como float (usado em treinamento distribuído) se definido como True.
• axis (Optional[int], opcional) — Eixo ao longo do qual o agrupamento é realizado. Os valores suportados são 0 ou 1.
• dynamic_config (dict, opcional) — Parâmetros para configuração dinâmica. A chave é a tag de nome da camada e o valor é uma configuração de quantização. Se definido, cada camada especificada pelo seu id usará sua configuração de quantização dedicada.
• skip_modules (list[str], opcional, padrão ['lm_head']) — Lista de camadas nn.Linear a serem ignoradas.
• kwargs (dict[str, Any], opcional) — Parâmetros adicionais a partir dos quais inicializar o objeto de configuração.

Parâmetros

• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original.
• dequantize (bool, opcional, padrão False) — Se devemos desquantizar o modelo para precisão bf16 ou não

Parâmetros

• modules_to_not_convert (list[str], opcional) — Padrões de nomes de módulos que devem permanecer na sua precisão original.
• kwargs (dict[str, Any], opcional) — Valores adicionais são ignorados e reportados por meio do logger do Transformers.

Parâmetros

• activation_scale_ub (float, opcional, padrão 1200.0) — O limite superior da escala de ativação. Isso é usado ao quantizar a ativação de entrada.
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original.

Parâmetros

• config_groups (typing.dict[str, typing.Union[ForwardRef('QuantizationScheme'), typing.list[str]]], opcional) — dicionário que mapeia o nome do grupo para uma definição de esquema de quantização
• format (str, opcional, padrão "dense") — formato em que os pesos são armazenados, por exemplo, dense, float-quantized ou pack-quantized
• quantization_status (QuantizationStatus, opcional, padrão "initialized") — status do modelo no ciclo de vida da quantização, ou seja, ‘initialized’, ‘calibration’, ‘frozen’
• kv_cache_scheme (typing.Union[QuantizationArgs, NoneType], opcional) — especifica a quantização do kv cache. Se for None, o kv cache não é quantizado.
• global_compression_ratio (typing.Union[float, NoneType], opcional) — porcentagem de compressão do modelo, um float entre 0 e 1
• ignore (typing.Union[typing.list[str], NoneType], opcional) — nomes ou tipos de camadas que não devem ser quantizadas, suporta regex prefixado por ‘re:’
• quant_method (str, opcional, padrão "compressed-tensors") — não substitua, deve ser compressed-tensors
• run_compressed (bool, opcional) — descontinuado, use dequantize em vez disso. Seu único efeito é definir dequantize para o seu oposto, run_compressed=False significa dequantize=True.
• dequantize (bool, opcional, padrão False) — quando True, os pesos quantizados são desquantizados de volta para o dtype do modelo (por exemplo, BF16) no momento do carregamento, o que é necessário para o fine-tuning ou para salvar o modelo em seu dtype original. Quando False, os pesos são mantidos em sua forma comprimida e o compressed-tensors os descomprime na primeira passagem de forward.
• use_optimized_inference (bool, opcional, padrão False) — quando True, as camadas para as quais temos kernels mantêm seus pesos quantizados e são executadas por meio desses kernels (atualmente W8A8 FP8, em CUDA SM89+, XPU ou MPS com torch >= 2.15). Somente para inferência e opcional: sem ele, o modelo segue o caminho regular de compressed-tensors. Ignorado quando dequantize=True.

Parâmetros

• quant_type (AOBaseConfig) — Uma instância de AOBaseConfig do torchao que especifica o tipo de quantização, por exemplo, Int4WeightOnlyConfig(group_size=32), Int8WeightOnlyConfig(), Int8DynamicActivationInt8WeightConfig(), Float8WeightOnlyConfig(), etc.
• modules_to_not_convert (list, opcional, padrão None) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original.
• include_input_output_embeddings (bool, opcional, padrão False) — Indica se as camadas de embedding devem ser incluídas na quantização. Se essa flag estiver definida, a input embedding também será removida da lista module_not_to_convert.
• untie_embedding_weights (bool, opcional, padrão False) — Se as pesos devem ser desvinculados ao quantizar pesos de incorporação de entrada que estão vinculados a outros pesos.

Parâmetros

• modules_to_not_convert (Optional[List], opcional) — Opcionalmente, fornece uma lista de caminhos completos dos parâmetros de peso de nn.Linear que não devem ser quantizados. O valor padrão é None.
• linear_class (str, opcional, padrão "bitlinear") — O tipo de classe linear a ser usado. Pode ser bitlinear ou autobitlinear.
• quantization_mode (str, opcional, padrão "offline") — O modo de quantização a ser utilizado. Pode ser online ou offline. No modo online, os parâmetros de quantização dos pesos são calculados dinamicamente durante cada passagem de frente (por exemplo, com base nos valores atuais dos pesos). Isso permite se adaptar às alterações nos pesos durante o treinamento (Quantization-Aware Training - QAT). No modo offline, os parâmetros de quantização são pré-calculados antes da inferência. Esses parâmetros são então fixados e carregados no modelo quantizado. Isso geralmente resulta em menor sobrecarga em tempo de execução em comparação com a quantização online.
• use_rms_norm (bool, opcional, padrão False) — Indica se o RMSNorm deve ser aplicado às ativações antes da quantização. Isso corresponde à abordagem do artigo original do BitNet de normalizar as ativações antes da quantização/empacotamento.
• rms_norm_eps (float, opcional, padrão 1e-06) — O valor de epsilon usado na camada RMSNorm para estabilidade numérica.
• kwargs (dict[str, Any], opcional) — Argumentos de palavra-chave adicionais que podem ser usados por backends específicos de quantização ou por versões futuras.

Parâmetros

• bits (int, opcional, padrão 3) — Especifica a contagem de bits para os pesos e os zero-points e escalas de primeira ordem. Atualmente, apenas bits = 3 é suportado.
• beta1 (int, opcional, padrão 16) — Largura do tile SpQR. Atualmente, apenas beta1 = 16 é suportado.
• beta2 (int, opcional, padrão 16) — Altura do tile SpQR. Atualmente, apenas beta2 = 16 é suportado.
• shapes (Optional, opcional) — Um dicionário contendo a forma de cada objeto. Precisamos disso porque é impossível deduzir o tamanho exato dos parâmetros apenas a partir de bits, beta1, beta2.
• modules_to_not_convert (Optional[list[str]], opcional) — Opcionalmente, fornece uma lista de caminhos completos dos parâmetros de peso de nn.Linear que não devem ser quantizados. O valor padrão é None.
• kwargs (dict[str, Any], opcional) — Parâmetros adicionais a partir dos quais inicializar o objeto de configuração.

Parâmetros

• activation_scheme (str, opcional, padrão "dynamic") — O esquema usado para ativação; o padrão e o único esquema suportado por enquanto é “dynamic”.
• weight_block_size (typing.tuple[int, int], opcional, padrão (128, 128)) — O tamanho dos blocos de pesos para quantização, o padrão é (128, 128).
• dequantize (bool, opcional, padrão False) — Se deve desquantizar o modelo durante o carregamento.
• modules_to_not_convert (list, opcional) — Uma lista de nomes de módulos que não devem ser convertidos durante a quantização.
• modules_to_convert (list, opcional) — Uma lista de nomes de módulos adicionais, como tabelas de incorporação, que devem ser convertidos durante a quantização.
• scale_fmt (str, opcional, padrão "float") — dtype de armazenamento das escalas de peso por bloco: "float" (fp32, estilo V3) ou "ue8m0" (1 byte torch.float8_e8m0fnu, estilo V4).
• expert_dtype (str, opcional, padrão "fp8") — Formato dos pesos dos especialistas do MoE: "fp8" ou "fp4" para os especialistas FP4-packed do DeepSeek-V4.

Parâmetros

• activation_dtype (str, opcional) — Tipo de dados a ser usado ao quantizar os tensores de ativação. Se não for fornecido, dtype é usado.
• activation_scale_rule (str, opcional) — Regra de escala a ser usada ao selecionar uma escala para blocos em tensores de ativação. Se não for fornecida, scale_rule é utilizada.
• dtype (str, padrão “nvfp4”, opcional, padrão "nvfp4") — O tipo de dados a ser usado para os pesos, as ativações e os tensores da camada. Pode ser "nvfp4" ou "mxfp4".
• gradient_dtype (str, opcional) — Tipo de dados a ser usado ao quantizar os tensores de gradiente. Se não for fornecido, dtype é usado.
• gradient_scale_rule (str, opcional) — Regra de escala a ser usada ao selecionar uma escala para blocos em tensores de gradiente. Se não for fornecida, scale_rule é usada.
• keep_master_weights (bool, padrão False, opcional, padrão False) — Se deve manter os pesos mestres. Se True, os pesos de alta precisão são mantidos o tempo todo e os pesos são quantizados online em cada passagem de frente. Isso é útil para treinamento quantizado.
• matmul_backend (str, opcional) — O backend a ser usado para multiplicações de matrizes. Pode ser "cutlass" ou "pytorch". Se não for fornecido, o CUTLASS será usado se estiver disponível e o PyTorch será usado caso contrário.
• output_dtype (str, opcional, padrão "bfloat16") — O tipo de dados a ser usado para a saída da camada. Pode ser "bfloat16" ou "float16".
• quantize_backend (str, opcional) — O backend a ser usado para quantização. Pode ser "cuda", "triton" ou "pytorch". Se não for fornecido, o backend mais rápido será selecionado com base no seu ambiente e nas opções suportadas por cada backend. Tipicamente, "cuda" será usado para inferência, "triton" será usado para treinamento e "pytorch" será usado em dispositivos não-CUDA.
• scale_rule (str, padrão “mse”, opcional, padrão "mse") — Regra a ser usada ao selecionar as escalas dos blocos. Pode ser "mse", "mae" ou "abs_max" para Four Over Six, "static_6" para quantização NVFP4 padrão, ou "static_4" para escalar todos os blocos para um valor máximo de 4.
• weight_dtype (str, opcional) — Tipo de dados a ser usado ao quantizar os tensores de pesos. Se não for fornecido, dtype é usado.
• weight_scale_2d (bool, padrão False, opcional, padrão False) — Se deve calcular fatores de escala nos tensores de peso em blocos 2D. Isso deve ser feito durante o treinamento.
• weight_scale_rule (str, opcional) — Regra de escala a ser usada ao selecionar uma escala para blocos em tensores de peso. Se não for fornecida, scale_rule é usada.
• module_config_overrides (dict[str, dict[str, Any]], opcional) — Um dicionário de substituições de configuração específicas de módulo. As chaves devem ser nomes de módulos, e os valores devem ser dicionários contendo a configuração de quantização para aquele módulo. Isso pode ser usado para substituir a configuração padrão de módulos específicos.
• modules_to_not_convert (list[str], opcional, padrão ['lm_head']) — A lista de módulos a serem excluídos da quantização. Por padrão, o lm_head é excluído.

Parâmetros

• forward_dtype (str, opcional, padrão "nvfp4") — O dtype a ser usado na passagem direta (forward pass).
• forward_method (str, opcional, padrão "abs_max") — A escala a ser usada para a passagem direta. Pode ser "abs_max" ou "quest". "abs_max" é melhor para PTQ, "quest" é melhor para QAT.
• backward_dtype (str, opcional, padrão "bf16") — O dtype a ser usado na etapa de retropropagação.
• store_master_weights (bool, opcional, padrão False) — Se as master weights devem ser armazenadas. Necessário para QAT sobre pesos de camada.
• hadamard_group_size (int, opcional) — O tamanho do grupo para a transformada de hadamard antes da quantização para "quest", que corresponde ao tamanho do grupo do MXFP4 (32). Se None, será definido como 16 para "nvfp4" e 32 para "mxfp4".
• pseudoquantization (bool, opcional, padrão False) — Se deve usar pseudo-quantização baseada em Triton. É obrigatório para GPUs que não são Blackwell. Não oferece nenhum ganho de velocidade. Para fins de depuração.
• transform_init (str, opcional, padrão "hadamard") — um método para inicializar a matriz de pré-processamento. Pode ser "hadamard", "identity" ou "gsr".
• modules_to_not_convert (list, opcional) — A lista de módulos que não devem ser quantizados, útil para quantizar modelos que exigem explicitamente que alguns módulos permaneçam em sua precisão original.

Parâmetros

• bits (int, opcional, padrão 4) — O número de bits para quantização, os valores suportados são (2, 3, 4, 5, 6, 7, 8).
• group_size (int, opcional, padrão 128) — Valor do tamanho do grupo
• sym (bool, opcional, padrão True) — Se a quantização é simétrica ou não
• backend (str, opcional, padrão "auto") — O backend de inferência. Por padrão, o AutoRound seleciona um backend compatível com base no dispositivo, nas configurações de quantização e nas bibliotecas instaladas. Consulte Especificar backend de inferência para todas as opções de backend.

Parâmetros

• nbits (int, padrão 4) — Bits de quantização para os pesos.
• group_size (int, padrão 64) — Tamanho do grupo usado na quantização de pesos SINQ (deve ser múltiplo de 8).
• tiling_mode (str, padrão “1D”) — Modo de tiling para SINQ (geralmente “1D”; “2D” se suportado pelo seu backend).
• method (str, default “sinq”) — “sinq” – SINQ apenas de pesos, sem calibração “asinq” – A-SINQ (com consciência de ativação), não suportado no Hugging Face. Consulte o repositório oficial do SINQ.
• modules_to_not_convert (list[str], opcional) — Lista de nomes/prefixos de módulos a manter em precisão total.
• **kwargs — Argumentos extras do usuário (mantidos em _extra_kwargs para ida e volta).

Parâmetros

• gguf_file (str, opcional) — caminho para o arquivo .gguf que contém os pesos. Pode ser omitido quando o nome é especificado por meio de from_pretrained(..., gguf_file=...), que preenche esse valor.
• dequantize (bool, opcional, padrão False) — Desempacota todos os pesos no momento do carregamento para um modelo denso comum. Sempre correto, mas abre mão da economia de memória; este também é o fallback automático quando não há kernel de matmul disponível para os tipos de quantização do arquivo.