Numpy API

safetensors.numpy.load_file

< source >

( filename: typing.Union[str, os.PathLike]backend: str = 'mmap' ) → Dict[str, np.ndarray]

パラメータ

filename (str または os.PathLike) — テンソルを含むファイルの名前
backend (str、任意、デフォルトは "mmap") — テンソルバイトを提供するために使用されるストレージバックエンドです。"mmap"（デフォルト）および "pread" は、pread(2) を使用してテンソルバイトを読み取ります。

戻り値

Dict[str, np.ndarray]

np.ndarray を値として、名前をキーとして持つ辞書

safetensorsファイルをnumpy形式で読み込みます。

例:

from safetensors.numpy import load_file

file_path = "./my_folder/bert.safetensors"
loaded = load_file(file_path)

safetensors.numpy.load

< source >

( data: bytes ) → Dict[str, np.ndarray]

パラメータ

data (bytes) — safetensors ファイルの内容

戻り値

Dict[str, np.ndarray]

キーに名前、値にCPU上のnp.ndarrayを含む辞書

pure bytesからnumpy形式にsafetensorsファイルを読み込みます。

例:

from safetensors.numpy import load

file_path = "./my_folder/bert.safetensors"
with open(file_path, "rb") as f:
    data = f.read()

loaded = load(data)

safetensors.numpy.save_file

< source >

( tensor_dict: typing.Dict[str, numpy.ndarray]filename: typing.Union[str, os.PathLike]metadata: typing.Optional[typing.Dict[str, str]] = None ) → None

パラメータ

tensor_dict (Dict[str, np.ndarray]) — 入力されるテンソルです。テンソルは連続かつ密である必要があります。
filename (str または os.PathLike) — 保存先となるファイル名です。
metadata (Dict[str, str]、任意、デフォルトはNone) — ヘッダーに保存しておきたい任意のテキスト形式のメタデータです。例えば、基盤となるテンソルに関する詳細を指定するのに役立ちます。これは純粋に情報提供のためのものであり、テンソルの読み込みに影響しません。

戻り値

None

safetensors形式の生バイトにテンソルの辞書を保存します。

例:

from safetensors.numpy import save_file
import numpy as np

tensors = {"embedding": np.zeros((512, 1024)), "attention": np.zeros((256, 256))}
save_file(tensors, "model.safetensors")

safetensors.numpy.save

< source >

( tensor_dict: typing.Dict[str, numpy.ndarray]metadata: typing.Optional[typing.Dict[str, str]] = None ) → bytes

パラメータ

tensor_dict (Dict[str, np.ndarray]) — 入力されるテンソルです。テンソルは連続かつ密である必要があります。
metadata (Dict[str, str]、任意、デフォルトはNone) — ヘッダーに保存しておきたい任意のテキスト形式のメタデータです。例えば、基盤となるテンソルに関する詳細を指定するのに役立ちます。これは純粋に情報提供のためのものであり、テンソルの読み込みに影響しません。

戻り値

bytes

形式を表す生バイト

safetensors形式の生バイトにテンソルの辞書を保存します。

例:

from safetensors.numpy import save
import numpy as np

tensors = {"embedding": np.zeros((512, 1024)), "attention": np.zeros((256, 256))}
byte_data = save(tensors)

Update on GitHub

Safetensors

Numpy API

safetensors.numpy.load_file

safetensors.numpy.load

safetensors.numpy.save_file

safetensors.numpy.save