Tensorflow API

safetensors.tensorflow.load_file

< source >

( filename: typing.Union[str, os.PathLike]backend: str = 'mmap' ) → Dict[str, tf.Tensor]

매개변수

filename (str 또는 os.PathLike) — 텐서를 포함하는 파일의 이름
backend (str, 선택 사항, 기본값 "mmap") — 텐서 바이트를 서빙하는 데 사용되는 스토리지 백엔드입니다. "mmap"(기본값) 과 "pread"는 pread(2)를 사용하여 텐서 바이트를 읽습니다.

반환값

Dict[str, tf.Tensor]

tf.Tensor를 값으로, 이름을 키로 포함하는 dictionary

safetensors 파일을 tensorflow 형식으로 로드합니다.

예:

from safetensors.tensorflow import load_file

file_path = "./my_folder/bert.safetensors"
loaded = load_file(file_path)

safetensors.tensorflow.load

< source >

( data: bytes ) → Dict[str, tf.Tensor]

매개변수

data (bytes) — safetensors 파일의 내용

반환값

Dict[str, tf.Tensor]

tf.Tensor 값을 cpu에 가지는 name을 키로 하는 dictionary

순수 바이트에서 safetensors 파일을 tensorflow 형식으로 로드합니다.

예:

from safetensors.tensorflow import load

file_path = "./my_folder/bert.safetensors"
with open(file_path, "rb") as f:
    data = f.read()

loaded = load(data)

safetensors.tensorflow.save_file

< source >

( tensors: typing.Dict[str, tensorflow.Tensor]filename: typing.Union[str, os.PathLike]metadata: typing.Optional[typing.Dict[str, str]] = None ) → None

매개변수

tensors (Dict[str, tf.Tensor]) — 입력되는 텐서입니다. 텐서는 연속적이고 밀집되어 있어야 합니다.
filename (str 또는 os.PathLike) — 저장할 파일 이름입니다.
metadata (Dict[str, str], 선택, 기본값 None) — 헤더에 저장할 수 있는 선택적인 텍스트 전용 메타데이터입니다. 예를 들어, 기반이 되는 텐서에 대해 더 자세히 지정하는 데 유용할 수 있습니다. 이는 순수하게 정보 제공 목적이며 텐서 로딩에 영향을 주지 않습니다.

반환값

None

safetensors 형식으로 텐서 딕셔너리를 원시 바이트로 저장합니다.

예:

from safetensors.tensorflow import save_file
import tensorflow as tf

tensors = {"embedding": tf.zeros((512, 1024)), "attention": tf.zeros((256, 256))}
save_file(tensors, "model.safetensors")

safetensors.tensorflow.save

< source >

( tensors: typing.Dict[str, tensorflow.Tensor]metadata: typing.Optional[typing.Dict[str, str]] = None ) → bytes

매개변수

tensors (Dict[str, tf.Tensor]) — 입력되는 텐서입니다. 텐서는 연속적이고 밀집되어 있어야 합니다.
metadata (Dict[str, str], 선택, 기본값 None) — 헤더에 저장할 수 있는 선택적인 텍스트 전용 메타데이터입니다. 예를 들어, 기반이 되는 텐서에 대해 더 자세히 지정하는 데 유용할 수 있습니다. 이는 순수하게 정보 제공 목적이며 텐서 로딩에 영향을 주지 않습니다.

반환값

bytes

포맷을 나타내는 원시 바이트

safetensors 형식으로 텐서 딕셔너리를 원시 바이트로 저장합니다.

예:

from safetensors.tensorflow import save
import tensorflow as tf

tensors = {"embedding": tf.zeros((512, 1024)), "attention": tf.zeros((256, 256))}
byte_data = save(tensors)

Update on GitHub

Safetensors

Tensorflow API

safetensors.tensorflow.load_file

safetensors.tensorflow.load

safetensors.tensorflow.save_file

safetensors.tensorflow.save