Hugging Face's logo

Safetensors documentation

API do Tensorflow

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.5.0-rc.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

API do Tensorflow

safetensors.tensorflow.load_file

< >

( filename: typing.Union[str, os.PathLike]backend: str = 'mmap' ) → Dict[str, tf.Tensor]

Parâmetros

  • filename (str, ou os.PathLike)) — O nome do arquivo que contém os tensores
  • backend (str, opcional, padrão "mmap") — Backend de armazenamento usado para fornecer os bytes dos tensores. "mmap" (padrão) e "pread" usam pread(2) para ler os bytes dos tensores.

Retorna

Dict[str, tf.Tensor]

dicionário que contém o nome como chave e o valor como tf.Tensor

Carrega um arquivo safetensors para o formato tensorflow.

Exemplo:

from safetensors.tensorflow import load_file

file_path = "./my_folder/bert.safetensors"
loaded = load_file(file_path)

safetensors.tensorflow.load

< >

( data: bytes ) → Dict[str, tf.Tensor]

Parâmetros

  • data (bytes) — O conteúdo de um arquivo safetensors

Retorna

Dict[str, tf.Tensor]

dicionário que contém o nome como chave e o valor como tf.Tensor na cpu

Carrega um arquivo safetensors para o formato tensorflow a partir de bytes puros.

Exemplo:

from safetensors.tensorflow import load

file_path = "./my_folder/bert.safetensors"
with open(file_path, "rb") as f:
    data = f.read()

loaded = load(data)

safetensors.tensorflow.save_file

< >

( tensors: typing.Dict[str, tensorflow.Tensor]filename: typing.Union[str, os.PathLike]metadata: typing.Optional[typing.Dict[str, str]] = None ) → None

Parâmetros

  • tensors (Dict[str, tf.Tensor]) — The incoming tensors. Tensors need to be contiguous and dense.
  • filename (str, ou os.PathLike)) — O nome do arquivo em que estamos salvando.
  • metadata (Dict[str, str], opcional, padrão None) — Metadados opcionais de apenas texto que você pode querer salvar no cabeçalho. Por exemplo, pode ser útil especificar mais detalhes sobre os tensores subjacentes. Isso é puramente informativo e não afeta o carregamento dos tensores.

Retorna

None

Salva um dicionário de tensores em bytes brutos no formato safetensors.

Exemplo:

from safetensors.tensorflow import save_file
import tensorflow as tf

tensors = {"embedding": tf.zeros((512, 1024)), "attention": tf.zeros((256, 256))}
save_file(tensors, "model.safetensors")

safetensors.tensorflow.save

< >

( tensors: typing.Dict[str, tensorflow.Tensor]metadata: typing.Optional[typing.Dict[str, str]] = None ) → bytes

Parâmetros

  • tensors (Dict[str, tf.Tensor]) — Os tensors de entrada. Os tensors precisam ser contíguos e densos.
  • metadata (Dict[str, str], opcional, padrão None) — Metadados opcionais de apenas texto que você pode querer salvar no cabeçalho. Por exemplo, pode ser útil especificar mais detalhes sobre os tensores subjacentes. Isso é puramente informativo e não afeta o carregamento dos tensores.

Retorna

bytes

Os bytes brutos que representam o formato

Salva um dicionário de tensores em bytes brutos no formato safetensors.

Exemplo:

from safetensors.tensorflow import save
import tensorflow as tf

tensors = {"embedding": tf.zeros((512, 1024)), "attention": tf.zeros((256, 256))}
byte_data = save(tensors)
Update on GitHub

←API do Torch API do PaddlePaddle→