Transformers documentation

SAM2 Video

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2025-08-14.

SAM2 Video

SDPA FlashAttention

Tổng quan

SAM2 (Segment Anything Model 2) được đề xuất trong Segment Anything in Images and Videos bởi Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer.

Mô hình có thể được sử dụng để dự đoán mặt nạ phân đoạn của bất kỳ đối tượng nào được quan tâm, dựa trên ảnh hoặc video đầu vào, cùng với các điểm hoặc hộp bao đầu vào.

example image

Tóm tắt từ bài báo như sau:

Chúng tôi giới thiệu Segment Anything Model 2 (SAM 2), một mô hình nền tảng hướng tới việc giải quyết bài toán phân đoạn thị giác có thể điều khiển bằng prompt trên ảnh và video. Chúng tôi xây dựng một động cơ dữ liệu, cải thiện mô hình và dữ liệu thông qua tương tác của người dùng, để thu thập bộ dữ liệu phân đoạn video lớn nhất cho đến nay. Mô hình của chúng tôi là kiến trúc transformer đơn giản với bộ nhớ streaming để xử lý video thời gian thực. SAM 2 được huấn luyện trên dữ liệu của chúng tôi mang lại hiệu suất mạnh mẽ trên một phạm vi rộng các tác vụ. Trong phân đoạn video, chúng tôi quan sát được độ chính xác tốt hơn, sử dụng ít tương tác hơn 3 lần so với các phương pháp trước đó. Trong phân đoạn ảnh, mô hình của chúng tôi chính xác hơn và nhanh hơn 6 lần so với Segment Anything Model (SAM). Chúng tôi tin rằng dữ liệu, mô hình và những hiểu biết của chúng tôi sẽ là một cột mốc quan trọng cho phân đoạn video và các tác vụ nhận thức liên quan. Chúng tôi đang phát hành một phiên bản của mô hình, bộ dữ liệu và một demo tương tác.

Mẹo:

  • Hỗ trợ Batch & Video: SAM2 hỗ trợ xử lý batch và phân đoạn video liền mạch ngay từ đầu, trong khi SAM gốc được thiết kế cho các hình ảnh tĩnh và các quy trình đơn giản hơn, xử lý từng hình ảnh một.
  • Độ chính xác & Khả năng tổng quát hóa: SAM2 cho thấy chất lượng phân đoạn, độ bền vững và khả năng tổng quát hóa zero-shot sang các miền mới được cải thiện so với SAM gốc, đặc biệt là khi sử dụng các prompt hỗn hợp.

Mô hình này được đóng góp bởi sangbumchoi và yonigozlan. Mã nguồn gốc có thể được tìm thấy tại đây.

Ví dụ sử dụng

Phân đoạn và Theo dõi Video

Điểm mạnh chính của SAM2 là khả năng theo dõi các đối tượng xuyên suốt các khung hình video. Dưới đây là cách sử dụng nó để phân đoạn video:

Theo dõi video cơ bản

from transformers import Sam2VideoModel, Sam2VideoProcessor
import torch

model = Sam2VideoModel.from_pretrained("facebook/sam2.1-hiera-tiny", device_map="auto")
processor = Sam2VideoProcessor.from_pretrained("facebook/sam2.1-hiera-tiny")

# Load video frames (example assumes you have a list of PIL Images)
# video_frames = [Image.open(f"frame_{i:05d}.jpg") for i in range(num_frames)]

# For this example, we'll use the video loading utility
from transformers.video_utils import load_video
video_url = "https://huggingface.co/datasets/hf-internal-testing/sam2-fixtures/resolve/main/bedroom.mp4"
video_frames, _ = load_video(video_url)

# Initialize video inference session
inference_session = processor.init_video_session(
    video=video_frames,
    inference_device=device,
)

# Add click on first frame to select object
ann_frame_idx = 0
ann_obj_id = 1
points = [[[[210, 350]]]]
labels = [[[1]]]

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=ann_obj_id,
    input_points=points,
    input_labels=labels,
)

# Segment the object on the first frame
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)
video_res_masks = processor.post_process_masks(
    [outputs.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
)[0]
print(f"Segmentation shape: {video_res_masks.shape}")
Segmentation shape: torch.Size([1, 1, 480, 854])

# Propagate through the entire video
video_segments = {}
for sam2_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam2_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam2_video_output.frame_idx] = video_res_masks

print(f"Tracked object through {len(video_segments)} frames")
Tracked object through 180 frames

Theo dõi video đa đối tượng

Theo dõi nhiều đối tượng đồng thời qua các khung hình video:

# Reset for new tracking session
inference_session.reset_inference_session()

# Add multiple objects on the first frame
ann_frame_idx = 0
obj_ids = [2, 3]
input_points = [[[[200, 300]], [[400, 150]]]]  # Points for two objects (batched)
input_labels = [[[1], [1]]]

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=obj_ids,
    input_points=input_points,
    input_labels=input_labels,
)

# Get masks for both objects on first frame
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)

# Propagate both objects through video
video_segments = {}
for sam2_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam2_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam2_video_output.frame_idx] = {
        obj_id: video_res_masks[i]
        for i, obj_id in enumerate(inference_session.obj_ids)
    }

print(f"Tracked {len(inference_session.obj_ids)} objects through {len(video_segments)} frames")
Tracked 2 objects through 180 frames

Tinh chỉnh phân đoạn video

Bạn có thể thêm các lần nhấp bổ sung vào bất kỳ khung hình nào để tinh chỉnh việc theo dõi:

# Add refinement click on a later frame
refine_frame_idx = 50
ann_obj_id = 2  # Refining first object
points = [[[[220, 280]]]]  # Additional point
labels = [[[1]]]  # Positive click

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=refine_frame_idx,
    obj_ids=ann_obj_id,
    input_points=points,
    input_labels=labels,
)

# Re-propagate with the additional information
video_segments = {}
for sam2_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam2_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam2_video_output.frame_idx] = video_res_masks

Suy luận Video trực tiếp

Đối với các ứng dụng thời gian thực, SAM2 hỗ trợ xử lý các khung hình video ngay khi chúng được nhận:

# Initialize session for streaming
inference_session = processor.init_video_session(
    inference_device=device,
)

# Process frames one by one
for frame_idx, frame in enumerate(video_frames[:10]):  # Process first 10 frames
    inputs = processor(images=frame, device=device, return_tensors="pt").to(model.device)
...
    if frame_idx == 0:
        # Add point input on first frame
        processor.add_inputs_to_inference_session(
            inference_session=inference_session,
            frame_idx=0,
            obj_ids=1,
            input_points=[[[[210, 350], [250, 220]]]],
            input_labels=[[[1, 1]]],
            original_size=inputs.original_sizes[0], # need to be provided when using streaming video inference
        )
...
    # Process current frame
    sam2_video_output = model(inference_session=inference_session, frame=inputs.pixel_values[0])
...
    video_res_masks = processor.post_process_masks(
        [sam2_video_output.pred_masks], original_sizes=inputs.original_sizes, binarize=False
    )[0]
    print(f"Frame {frame_idx}: mask shape {video_res_masks.shape}")

Xử lý hàng loạt video cho nhiều đối tượng

Theo dõi nhiều đối tượng đồng thời trong video bằng cách thêm tất cả chúng cùng lúc:

# Initialize video session
inference_session = processor.init_video_session(
    video=video_frames,
    inference_device=device,
)

# Add multiple objects on the first frame using batch processing
ann_frame_idx = 0
obj_ids = [2, 3]  # Track two different objects
input_points = [
    [[[200, 300], [230, 250], [275, 175]], [[400, 150]]]
]  # Object 2: 3 points (2 positive, 1 negative); Object 3: 1 point
input_labels = [
    [[1, 1, 0], [1]]
]  # Object 2: positive, positive, negative; Object 3: positive

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=obj_ids,
    input_points=input_points,
    input_labels=input_labels,
)

# Get masks for all objects on the first frame
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)
video_res_masks = processor.post_process_masks(
    [outputs.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
)[0]
print(f"Generated masks for {video_res_masks.shape[0]} objects")
Generated masks for 2 objects

# Propagate all objects through the video
video_segments = {}
for sam2_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam2_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam2_video_output.frame_idx] = {
        obj_id: video_res_masks[i]
        for i, obj_id in enumerate(inference_session.obj_ids)
    }

print(f"Tracked {len(inference_session.obj_ids)} objects through {len(video_segments)} frames")
Tracked 2 objects through 180 frames

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với SAM.

Sam2VideoConfig

lớp transformers.Sam2VideoConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneprompt_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonemask_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneinitializer_range: float = 0.02num_maskmem: int = 7image_size: int | list[int] | tuple[int, int] = 1024sigmoid_scale_for_mem_enc: float = 20.0sigmoid_bias_for_mem_enc: float = -10.0enable_occlusion_spatial_embedding: bool = Truemultimask_output_in_sam: bool = Truemultimask_min_pt_num: int = 0multimask_max_pt_num: int = 1multimask_output_for_tracking: bool = Truemax_object_pointers_in_encoder: int = 16max_cond_frame_num: int = -1enable_temporal_pos_encoding_for_object_pointers: bool = Truememory_attention_hidden_size: int = 256memory_attention_num_layers: int = 4memory_attention_num_attention_heads: int = 1memory_attention_downsample_rate: int = 1memory_attention_feed_forward_hidden_size: int = 2048memory_attention_feed_forward_hidden_act: str = 'relu'memory_attention_dropout: float | int = 0.1memory_attention_rope_feat_sizes: list[int] | None = Nonememory_attention_rope_dropout: float | int = 0.1memory_encoder_hidden_size: int = 256memory_encoder_output_channels: int = 64rope_parameters: dict | None = Nonemask_downsampler_embed_dim: int = 256mask_downsampler_kernel_size: int = 3mask_downsampler_stride: int = 2mask_downsampler_padding: int = 1mask_downsampler_total_stride: int = 16mask_downsampler_hidden_act: str = 'gelu'memory_fuser_num_layers: int = 2memory_fuser_embed_dim: int = 256memory_fuser_intermediate_dim: int = 1024memory_fuser_kernel_size: int = 7memory_fuser_padding: int = 3memory_fuser_layer_scale_init_value: float = 1e-06memory_fuser_hidden_act: str = 'gelu' )

Tham số

  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung thị giác.
  • prompt_encoder_config (Union[dict, Sam2PromptEncoderConfig], không bắt buộc) — Từ điển các tùy chọn cấu hình được sử dụng để khởi tạo Sam2PromptEncoderConfig.
  • mask_decoder_config (Union[dict, Sam2MaskDecoderConfig], tuỳ chọn) — Từ điển các tùy chọn cấu hình được dùng để khởi tạo Sam2MaskDecoderConfig.
  • initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn cho việc khởi tạo tham số.
  • num_maskmem (int, tuỳ chọn, mặc định là 7) — Số lượng ô nhớ cho bộ nhớ mask.
  • image_size (Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là 1024) — Kích thước (độ phân giải) của mỗi hình ảnh.
  • sigmoid_scale_for_mem_enc (float, tùy chọn, mặc định là 20.0) — Hệ số tỷ lệ cho hàm sigmoid trong bộ mã hóa bộ nhớ.
  • sigmoid_bias_for_mem_enc (float, tùy chọn, mặc định là -10.0) — Bias cho hàm sigmoid trong bộ mã hóa bộ nhớ.
  • enable_occlusion_spatial_embedding (bool, tùy chọn, mặc định là True) — Có bật spatial embedding cho các vùng bị che khuất hay không.
  • multimask_output_in_sam (bool, tùy chọn, mặc định là True) — Có nên xuất nhiều mask từ đầu SAM hay không.
  • multimask_min_pt_num (int, tùy chọn, mặc định là 0) — Số lượng điểm tối thiểu để kích hoạt đầu ra multimask.
  • multimask_max_pt_num (int, tùy chọn, mặc định là 1) — Số lượng điểm tối đa để kích hoạt đầu ra multimask.
  • multimask_output_for_tracking (bool, tùy chọn, mặc định là True) — Có sử dụng đầu ra đa mặt nạ cho việc theo dõi hay không.
  • max_object_pointers_in_encoder (int, tùy chọn, mặc định là 16) — Số lượng con trỏ đối tượng tối đa trong bộ mã hóa.
  • max_cond_frame_num (int, tùy chọn, mặc định là -1) — Số lượng tối đa các khung điều kiện được sử dụng trong memory attention. Đặt thành -1 để sử dụng tất cả các khung điều kiện.
  • enable_temporal_pos_encoding_for_object_pointers (bool, tùy chọn, mặc định là True) — Có bật mã hóa vị trí theo thời gian cho các con trỏ đối tượng hay không.
  • memory_attention_hidden_size (int, tùy chọn, mặc định là 256) — Kích thước chiều của các trạng thái ẩn của chú ý bộ nhớ.
  • memory_attention_num_layers (int, tùy chọn, mặc định là 4) — Số lượng lớp trong module chú ý bộ nhớ.
  • memory_attention_num_attention_heads (int, tùy chọn, mặc định là 1) — Số lượng attention heads cho mỗi lớp attention trong memory attention.
  • memory_attention_downsample_rate (int, tùy chọn, mặc định là 1) — Tỷ lệ hạ mẫu cho các lớp attention.
  • memory_attention_feed_forward_hidden_size (int, tùy chọn, mặc định là 2048) — Kích thước của mạng feedforward trong module memory attention.
  • memory_attention_feed_forward_hidden_act (str, tùy chọn, mặc định là "relu") — Hàm kích hoạt phi tuyến trong mạng feedforward của module memory attention.
  • memory_attention_dropout (float, tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho module chú ý bộ nhớ.
  • memory_attention_rope_feat_sizes (list[int], tùy chọn, mặc định là [64, 64]) — Kích thước đặc trưng cho mã hóa vị trí Rope.
  • memory_attention_rope_dropout (float, tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho mã hóa vị trí Rope.
  • memory_encoder_hidden_size (int, tùy chọn, mặc định là 256) — Kích thước chiều của các trạng thái ẩn của bộ mã hóa bộ nhớ.
  • memory_encoder_output_channels (int, tùy chọn, mặc định là 64) — Số lượng kênh đầu ra của bộ mã hóa bộ nhớ.
  • rope_parameters (dict, tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho rope_theta và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với max_position_embeddings dài hơn.
  • mask_downsampler_embed_dim (int, tùy chọn, mặc định là 256) — Kích thước của embedding cho bộ giảm mẫu mặt nạ.
  • mask_downsampler_kernel_size (int, tùy chọn, mặc định là 3) — Kích thước kernel cho bộ giảm mẫu mặt nạ.
  • mask_downsampler_stride (int, tùy chọn, mặc định là 2) — Bước (stride) của bộ giảm kích thước mask.
  • mask_downsampler_padding (int, tùy chọn, mặc định là 1) — Độ đệm cho bộ giảm kích thước mask.
  • mask_downsampler_total_stride (int, tùy chọn, mặc định là 16) — Tổng số bước nhảy (stride) của bộ giảm kích thước mask.
  • mask_downsampler_hidden_act (str, tùy chọn, mặc định là "gelu") — Hàm kích hoạt phi tuyến trong bộ giảm mẫu mặt nạ.
  • memory_fuser_num_layers (int, tuỳ chọn, mặc định là 2) — Số lượng lớp trong bộ hợp nhất bộ nhớ.
  • memory_fuser_embed_dim (int, tùy chọn, mặc định là 256) — Kích thước của lớp nhúng trong bộ hợp nhất bộ nhớ.
  • memory_fuser_intermediate_dim (int, tuỳ chọn, mặc định là 1024) — Kích thước của lớp trung gian trong bộ hợp nhất bộ nhớ.
  • memory_fuser_kernel_size (int, tuỳ chọn, mặc định là 7) — Kích thước kernel cho bộ hợp nhất bộ nhớ.
  • memory_fuser_padding (int, tùy chọn, mặc định là 3) — Độ đệm cho bộ hợp nhất bộ nhớ.
  • memory_fuser_layer_scale_init_value (float, tuỳ chọn, mặc định là 1e-06) — Giá trị ban đầu cho layer scale trong memory fuser.
  • memory_fuser_hidden_act (str, tùy chọn, mặc định là "gelu") — Hàm kích hoạt phi tuyến tính trong bộ hợp nhất bộ nhớ.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sam2VideoModel. Nó được sử dụng để khởi tạo một mô hình Sam2 Video theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của facebook/sam2.1-hiera-tiny

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import (
...     Sam2VisionConfig,
...     Sam2PromptEncoderConfig,
...     Sam2MaskDecoderConfig,
...     Sam2Model,
... )

>>> # Initializing a Sam2Config with `"facebook/sam2.1_hiera_tiny"` style configuration
>>> configuration = Sam2Config()

>>> # Initializing a Sam2Model (with random weights) from the `"facebook/sam2.1_hiera_tiny"` style configuration
>>> model = Sam2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

>>> # We can also initialize a Sam2Config from a Sam2VisionConfig, Sam2PromptEncoderConfig, and Sam2MaskDecoderConfig

>>> # Initializing SAM2 vision encoder, memory attention, and memory encoder configurations
>>> vision_config = Sam2VisionConfig()
>>> prompt_encoder_config = Sam2PromptEncoderConfig()
>>> mask_decoder_config = Sam2MaskDecoderConfig()

>>> config = Sam2Config(vision_config, prompt_encoder_config, mask_decoder_config)

Sam2VideoMaskDecoderConfig

lớp transformers.Sam2VideoMaskDecoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256hidden_act: str = 'gelu'mlp_dim: int = 2048num_hidden_layers: int = 2num_attention_heads: int = 8attention_downsample_rate: int = 2num_multimask_outputs: int = 3iou_head_depth: int = 3iou_head_hidden_dim: int = 256dynamic_multimask_via_stability: bool = Truedynamic_multimask_stability_delta: float = 0.05dynamic_multimask_stability_thresh: float = 0.98 )

Tham số

  • hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
  • hidden_act (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • mlp_dim (int, tùy chọn, mặc định là 2048) — Kích thước của MLP trong transformer hai chiều.
  • num_hidden_layers (int, tùy chọn, mặc định là 2) — Số lượng lớp ẩn trong bộ giải mã Transformer.
  • num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
  • attention_downsample_rate (int, tùy chọn, mặc định là 2) — Tỷ lệ hạ mẫu cho các lớp attention.
  • num_multimask_outputs (int, tùy chọn, mặc định là 3) — Số lượng đầu ra đa mặt nạ.
  • iou_head_depth (int, tùy chọn, mặc định là 3) — Độ sâu của đầu IoU.
  • iou_head_hidden_dim (int, tùy chọn, mặc định là 256) — Chiều ẩn của đầu IoU.
  • dynamic_multimask_via_stability (bool, tùy chọn, mặc định là True) — Có sử dụng dynamic multimask qua stability hay không.
  • dynamic_multimask_stability_delta (float, tùy chọn, mặc định là 0.05) — Delta ổn định cho dynamic multimask.
  • dynamic_multimask_stability_thresh (float, tùy chọn, mặc định là 0.98) — Ngưỡng ổn định cho dynamic multimask.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sam2VideoModel. Nó được sử dụng để khởi tạo một mô hình Sam2 Video theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của facebook/sam2_video.1-hiera-tiny

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Sam2VideoPromptEncoderConfig

lớp transformers.Sam2VideoPromptEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256image_size: int | list[int] | tuple[int, int] = 1024patch_size: int | list[int] | tuple[int, int] = 16mask_input_channels: int = 16num_point_embeddings: int = 4hidden_act: str = 'gelu'layer_norm_eps: float = 1e-06scale: int = 1 )

Tham số

  • hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
  • image_size (Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là 1024) — Kích thước (độ phân giải) của mỗi hình ảnh.
  • patch_size (Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là 16) — Kích thước (độ phân giải) của mỗi patch.
  • mask_input_channels (int, tùy chọn, mặc định là 16) — Số lượng kênh được đưa vào module MaskDecoder.
  • num_point_embeddings (int, tùy chọn, mặc định là 4) — Số lượng point embeddings sẽ được sử dụng.
  • hidden_act (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
  • scale (float, tùy chọn, mặc định là 1) — Hệ số tỷ lệ cho bộ mã hóa prompt.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sam2VideoModel. Nó được sử dụng để khởi tạo một mô hình Sam2 Video theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của facebook/sam2_video.1-hiera-tiny

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Sam2VideoProcessor

lớp transformers.Sam2VideoProcessor

< >

( image_processorvideo_processortarget_size: int | None = Nonepoint_pad_value: int = -10**kwargs )

Tham số

  • image_processor (Sam2ImageProcessor) — Bộ xử lý ảnh là một đầu vào bắt buộc.
  • video_processor (Sam2VideoVideoProcessor) — Bộ xử lý video là một đầu vào bắt buộc.
  • target_size (int, tùy chọn) — Kích thước đích (tính bằng pixel) để chuẩn hóa các điểm đầu vào và hộp bao. Nếu không được cung cấp, mặc định sẽ dùng cấu hình kích thước của bộ xử lý ảnh. Tất cả tọa độ đầu vào (điểm và hộp) sẽ được chuẩn hóa về kích thước này trước khi được truyền vào mô hình. Điều này đảm bảo biểu diễn tọa độ nhất quán bất kể kích thước gốc của ảnh.
  • point_pad_value (int, tùy chọn, mặc định là -10) — Giá trị được sử dụng để đệm các điểm đầu vào khi xử lý các chuỗi có độ dài khác nhau theo lô. Giá trị này được dùng để đánh dấu các vị trí đã đệm và được giữ nguyên trong quá trình chuẩn hóa tọa độ.

Tạo một Sam2VideoProcessor, đóng gói một bộ xử lý ảnh và một bộ xử lý video thành một bộ xử lý duy nhất.

Sam2VideoProcessor cung cấp đầy đủ các chức năng của Sam2ImageProcessor và Sam2VideoVideoProcessor. Xem ~Sam2ImageProcessor và ~Sam2VideoVideoProcessor để biết thêm thông tin.

__call__

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonesegmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinput_points: typing.Union[list[list[list[list[float]]]], torch.Tensor, NoneType] = Noneinput_labels: typing.Union[list[list[list[int]]], torch.Tensor, NoneType] = Noneinput_boxes: typing.Union[list[list[list[float]]], torch.Tensor, NoneType] = Noneoriginal_sizes: typing.Union[list[list[float]], torch.Tensor, NoneType] = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = None**kwargs ) → A BatchEncoding with the following fields

Tham số

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], tuỳ chọn) — Hình ảnh cần tiền xử lý. Kỳ vọng một hình ảnh đơn lẻ hoặc một lô hình ảnh có giá trị pixel từ 0 đến 255. Nếu truyền vào các hình ảnh có giá trị pixel từ 0 đến 1, hãy đặt do_rescale=False.
  • segmentation_maps (ImageInput, tùy chọn) — Các bản đồ phân đoạn cần xử lý.
  • input_points (list[list[list[list[float]]]], torch.Tensor, tùy chọn) — Các điểm cần thêm vào khung.
  • input_labels (list[list[list[int]]], torch.Tensor, tùy chọn) — Nhãn cho các điểm.
  • input_boxes (list[list[list[float]]], torch.Tensor, tùy chọn) — Các hộp bao quanh cần thêm vào khung hình.
  • original_sizes (list[list[float]], torch.Tensor, tùy chọn) — Kích thước gốc của các hình ảnh.
  • return_tensors (Union[str, ~utils.generic.TensorType], tuỳ chọn) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:
    • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
    • 'np': Trả về các đối tượng np.ndarray của NumPy.

Trả về

Một BatchEncoding với các trường sau

  • pixel_values (torch.Tensor): Ảnh đã được xử lý.
  • original_sizes (list[list[float]]): Kích thước gốc của các hình ảnh.
  • labels (torch.Tensor): Các bản đồ phân đoạn đã được xử lý (nếu được cung cấp).
  • input_points (torch.Tensor): Các điểm đã được xử lý.
  • input_labels (torch.Tensor): Nhãn đã được xử lý.
  • input_boxes (torch.Tensor): Các hộp bao đã được xử lý.

post_process_masks

< >

( masksoriginal_sizesmask_threshold = 0.0binarize = Truemax_hole_area = 0.0max_sprinkle_area = 0.0apply_non_overlapping_constraints = False**kwargs ) → (torch.Tensor)

Tham số

  • masks (Union[List[torch.Tensor], List[np.ndarray]]) — Các mask dạng batch từ mask_decoder ở định dạng (batch_size, num_channels, height, width).
  • original_sizes (Union[torch.Tensor, List[Tuple[int,int]]]) — Kích thước gốc của từng ảnh trước khi được điều chỉnh kích thước thành hình dạng đầu vào mong đợi của mô hình, theo định dạng (chiều cao, chiều rộng).
  • mask_threshold (float, tùy chọn, mặc định là 0.0) — Ngưỡng cho các thao tác nhị phân hóa và xử lý hậu kỳ.
  • binarize (bool, tùy chọn, mặc định là True) — Có nên nhị phân hóa các mặt nạ hay không.
  • max_hole_area (float, tùy chọn, mặc định là 0.0) — Diện tích tối đa của một lỗ cần lấp đầy.
  • max_sprinkle_area (float, tùy chọn, mặc định là 0.0) — Diện tích tối đa của một sprinkle để lấp đầy.
  • apply_non_overlapping_constraints (bool, tùy chọn, mặc định là False) — Có áp dụng các ràng buộc không chồng lấn lên các mặt nạ hay không.

Trả về

(torch.Tensor)

Mặt nạ dạng batch có định dạng batch_size, num_channels, height, width, trong đó (height, width) được xác định bởi original_size.

Loại bỏ padding và phóng to các mask lên kích thước ảnh gốc.

init_video_session

< >

( video: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = Noneinference_device: typing.Union[str, ForwardRef('torch.device')] = 'cpu'inference_state_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Noneprocessing_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Nonevideo_storage_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Nonemax_vision_features_cache_size: int = 1dtype: dtype = torch.float32 )

Tham số

  • video (VideoInput, tùy chọn) — Video cần xử lý. Không cần cung cấp khi đang phát trực tiếp.
  • inference_device (str hoặc torch.device, tùy chọn, mặc định là “cpu”) — Thiết bị được sử dụng để suy luận.
  • inference_state_device (str hoặc torch.device, tùy chọn) — Thiết bị để lưu trữ trạng thái suy luận.
  • processing_device (str hoặc torch.device, tùy chọn) — Thiết bị được sử dụng để xử lý video.
  • video_storage_device (str hoặc torch.device, tùy chọn) — Thiết bị để lưu trữ các khung hình video đã được xử lý.
  • max_vision_features_cache_size (int, tùy chọn, mặc định là 1) — Số lượng tối đa các đặc trưng thị giác được lưu vào bộ nhớ đệm.
  • dtype (torch.dtype, tùy chọn, mặc định là torch.float32) — torch dtype được sử dụng cho toàn bộ phiên.

Khởi tạo phiên video cho suy luận. Nếu một video được cung cấp (suy luận bất đồng bộ), video sẽ được xử lý và lưu trữ trên video_storage_device.

add_inputs_to_inference_session

< >

( inference_session: Sam2VideoInferenceSessionframe_idx: intobj_ids: list[int] | intinput_points: typing.Union[list[list[list[list[float]]]], torch.Tensor, NoneType] = Noneinput_labels: typing.Union[list[list[list[int]]], torch.Tensor, NoneType] = Noneinput_boxes: typing.Union[list[list[list[float]]], torch.Tensor, NoneType] = Noneinput_masks: typing.Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], NoneType] = Noneoriginal_size: tuple[int, int] | None = Noneclear_old_inputs: bool = True )

Tham số

  • inference_session (Sam2VideoInferenceSession) — Phiên suy luận cho video.
  • frame_idx (int) — Chỉ số của khung hình cần xử lý.
  • obj_ids (list[int] hoặc int) — ID của đối tượng cần liên kết với các điểm hoặc hộp. Đây có thể là bất kỳ số nguyên nào và có thể được sử dụng lại sau đó để chỉ định một đối tượng.
  • input_points (list[list[list[list[float]]]], torch.Tensor, tùy chọn) — Các điểm cần thêm vào khung.
  • input_labels (list[list[list[int]]], torch.Tensor, tùy chọn) — Nhãn cho các điểm.
  • input_boxes (list[list[list[float]]], torch.Tensor, tùy chọn) — Các hộp bao quanh cần thêm vào khung hình.
  • input_masks (np.ndarray, torch.Tensor, list[np.ndarray], hoặc list[torch.Tensor], tùy chọn) — Mặt nạ (mask) cần thêm vào khung hình.
  • original_size (tuple[int, int], tuỳ chọn) — Kích thước gốc của video. Cung cấp khi phát trực tiếp.
  • clear_old_inputs (bool, tùy chọn, mặc định là True) — Có nên xóa các đầu vào cũ cho đối tượng hay không.

Xử lý các điểm, hộp hoặc mặt nạ mới cho một khung hình video và thêm chúng vào phiên suy luận.

Sam2VideoVideoProcessor

lớp transformers.Sam2VideoVideoProcessor

< >

( **kwargs: *<class 'transformers.processing_utils.VideosKwargs'> )

Tham số

  • do_convert_rgb (bool, kwargs, tuỳ chọn, mặc định là True) — Có chuyển đổi ảnh sang RGB hay không.
  • do_resize (bool, kwargs, tuỳ chọn, mặc định là True) — Có nên thay đổi kích thước ảnh hay không.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, mặc định là {'height' -- 1024, 'width': 1024}): Mô tả kích thước đầu vào tối đa cho mô hình.
  • default_to_square (bool, kwargs, tùy chọn, mặc định là True) — Có nên mặc định dùng ảnh vuông khi thay đổi kích thước không, nếu size là một số nguyên.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, mặc định là 2) — Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) của PILImageResampling. Chỉ có hiệu lực khi do_resize được đặt thành True.
  • do_rescale (bool, kwargs, tuỳ chọn, mặc định là True) — Có nên điều chỉnh lại tỷ lệ ảnh hay không.
  • rescale_factor (float, kwargs, optional, mặc định là 0.00392156862745098) — Hệ số rescale để rescale ảnh nếu do_rescale được đặt thành True.
  • do_normalize (bool, kwargs, tuỳ chọn, mặc định là True) — Có nên chuẩn hóa hình ảnh hay không.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là [0.485, 0.456, 0.406]) — Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu do_normalize được đặt thành True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là [0.229, 0.224, 0.225]) — Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu do_normalize được đặt thành True.
  • do_center_crop (bool, kwargs, optional) — Có nên cắt ảnh ở vị trí trung tâm hay không.
  • do_pad (bool, kwargs, optional) — Có nên chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược padding cụ thể phụ thuộc vào model.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước của ảnh đầu ra sau khi áp dụng center_crop.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Chỉ hỗ trợ ChannelDimension.FIRST. Được thêm vào để tương thích với các bộ xử lý chậm.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, tùy chọn) — Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị:
    • "channels_first" hoặc ChannelDimension.FIRST: ảnh ở định dạng (num_channels, height, width).
    • "channels_last" hoặc ChannelDimension.LAST: ảnh ở định dạng (height, width, num_channels).
    • "none" hoặc ChannelDimension.NONE: ảnh ở định dạng (chiều cao, chiều rộng).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào.
  • do_sample_frames (bool, kwargs, tuỳ chọn) — Có lấy mẫu các khung hình từ video trước khi xử lý hay xử lý toàn bộ video hay không.
  • video_metadata (Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None], kwargs) — Metadata của video, chứa thông tin về tổng thời lượng, fps và tổng số khung hình. Nó sẽ được sử dụng để lấy mẫu các khung hình từ video hoặc tính toán mốc thời gian. Không truyền bất kỳ metadata nào trừ khi bạn đang cố gắng giải mã video thủ công trước khi xử lý
  • fps (Annotated[int | float | None, None], kwargs) — Số khung hình mục tiêu cần lấy mẫu mỗi giây khi do_sample_frames=True.
  • num_frames (Annotated[int | None, None], kwargs) — Số khung hình tối đa cần lấy mẫu khi do_sample_frames=True.
  • return_metadata (bool, kwargs, tuỳ chọn, mặc định là False) — Có trả về metadata của video hay không. Video metadata là một đối tượng chứa thông tin về thời lượng video, fps, backend giải mã, v.v.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:
    • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
    • 'np': Trả về các đối tượng np.ndarray của NumPy.
  • **kwargs (VideosKwargs, optional) — Các tùy chọn xử lý bổ sung cho từng phương thức (text, hình ảnh, video, âm thanh). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ.

Tạo một bộ xử lý video Sam2VideoVideoProcessor.

post_process_masks

< >

( masksoriginal_sizesreshaped_input_sizesmask_threshold = 0.0binarize = Truepad_size = None ) → (torch.Tensor)

Tham số

  • masks (Union[List[torch.Tensor], List[np.ndarray]]) — Các mask dạng batch từ mask_decoder ở định dạng (batch_size, num_channels, height, width).
  • original_sizes (Union[torch.Tensor, List[Tuple[int,int]]]) — Kích thước gốc của từng ảnh trước khi được điều chỉnh kích thước thành hình dạng đầu vào mong đợi của mô hình, theo định dạng (chiều cao, chiều rộng).
  • reshaped_input_sizes (Union[torch.Tensor, List[Tuple[int,int]]]) — Kích thước của từng ảnh khi được đưa vào mô hình, ở định dạng (chiều cao, chiều rộng). Được dùng để loại bỏ phần đệm.
  • mask_threshold (float, tùy chọn, mặc định là 0.0) — Ngưỡng sử dụng để nhị phân hóa các mặt nạ.
  • binarize (bool, tùy chọn, mặc định là True) — Có nên nhị phân hóa các mặt nạ hay không.
  • pad_size (int, tùy chọn, mặc định là self.pad_size) — Kích thước đích mà các hình ảnh đã được đệm (padding) trước khi được truyền vào mô hình. Nếu là None, kích thước đích được giả định là pad_size của bộ xử lý.

Trả về

(torch.Tensor)

Mặt nạ dạng batch có định dạng batch_size, num_channels, height, width, trong đó (height, width) được xác định bởi original_size.

Loại bỏ padding và phóng to các mask lên kích thước ảnh gốc.

Sam2VideoInferenceSession

lớp transformers.Sam2VideoInferenceSession

< >

( video: typing.Optional[torch.Tensor] = Nonevideo_height: int | None = Nonevideo_width: int | None = Noneinference_device: typing.Union[torch.device, str] = 'cpu'inference_state_device: typing.Union[torch.device, str] = 'cpu'video_storage_device: typing.Union[torch.device, str] = 'cpu'dtype: typing.Union[torch.dtype, str] = 'float32'max_vision_features_cache_size: int = 1 )

Tham số

  • video (torch.Tensor, tùy chọn) — Video cần xử lý. Không cần cung cấp khi đang phát trực tiếp.
  • video_height (int, tùy chọn) — Chiều cao của video.
  • video_width (int, tùy chọn) — Chiều rộng của video.
  • inference_device (torch.device, tùy chọn, mặc định là "cpu") — Thiết bị được sử dụng cho suy luận.
  • inference_state_device (torch.device, tùy chọn, mặc định là "cpu") — Thiết bị để lưu trữ trạng thái suy luận.
  • video_storage_device (torch.device, tùy chọn, mặc định là "cpu") — Thiết bị để lưu trữ video.
  • dtype (torch.dtype, tùy chọn, mặc định là "float32") — Dtype được sử dụng cho video.
  • max_vision_features_cache_size (int, tùy chọn, mặc định là 1) — Số lượng tối đa các đặc trưng thị giác được lưu vào bộ nhớ đệm.

Quản lý các tham số, trạng thái và bộ nhớ đệm của phiên suy luận video.

add_mask_inputs

< >

( obj_idx: intframe_idx: intinputs: Tensor )

Thêm đầu vào mask với việc đặt thiết bị tự động.

add_new_frame

< >

( pixel_values: Tensorframe_idx: int | None = None )

Thêm khung mới với việc đặt thiết bị tự động.

add_point_inputs

< >

( obj_idx: intframe_idx: intinputs: dict )

Thêm các đầu vào điểm với việc đặt thiết bị tự động.

get_frame

< >

( frame_idx: int )

Lấy khung từ video.

get_obj_num

< >

( )

Lấy tổng số lượng id đối tượng duy nhất đã nhận được cho đến nay trong phiên này.

get_output

< >

( obj_idx: intframe_idx: intoutput_key: stris_conditioning_frame: bool = True )

Tham số

  • obj_idx (int) — Chỉ số của đối tượng.
  • frame_idx (int) — Chỉ số của khung hình.
  • output_key (str) — Khóa của đầu ra.
  • is_conditioning_frame (bool) — Xác định xem đầu ra có dành cho khung điều kiện (conditioning frame) hay không.

Lấy kết quả với quản lý thiết bị thông minh.

obj_id_to_idx

< >

( obj_id: int )

Ánh xạ ID đối tượng tới chỉ số, tạo mục mới nếu cần.

obj_idx_to_id

< >

( obj_idx: int )

Ánh xạ chỉ mục đối tượng phía mô hình sang id đối tượng phía client.

remove_mask_inputs

< >

( obj_idx: intframe_idx: int )

Xóa các đầu vào mask.

remove_point_inputs

< >

( obj_idx: intframe_idx: int )

Xóa các đầu vào điểm.

reset_inference_session

< >

( )

Đặt lại dữ liệu theo dõi và bộ nhớ đệm.

reset_tracking_data

< >

( )

Đặt lại dữ liệu theo dõi nhưng giữ lại bộ nhớ đệm.

store_output

< >

( obj_idx: intframe_idx: intoutput_key: str | None = Noneoutput_value: typing.Union[torch.Tensor, dict, NoneType] = Noneis_conditioning_frame: bool = True )

Tham số

  • obj_idx (int) — Chỉ số của đối tượng.
  • frame_idx (int) — Chỉ số của khung hình.
  • output_key (Optional[str]) — Khóa của đầu ra. Nếu là None, đầu ra sẽ được lưu dưới dạng từ điển.
  • output_value (Optional[Union[torch.Tensor, dict]]) — Giá trị của đầu ra.
  • is_conditioning_frame (bool) — Xác định xem đầu ra có dành cho khung điều kiện (conditioning frame) hay không.

Lưu trữ đầu ra với quản lý thiết bị thông minh. Nếu output_key là None, đầu ra sẽ được lưu trữ dưới dạng từ điển.

Sam2VideoModel

lớp transformers.Sam2VideoModel

< >

( config: Sam2VideoConfig )

Tham số

  • config (Sam2VideoConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình Sam2 Video cơ bản, xuất ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( inference_session: Sam2VideoInferenceSessionframe_idx: int | None = Noneframe: typing.Optional[torch.Tensor] = Nonereverse: bool = Falserun_mem_encoder: bool = True**kwargs ) → Sam2VideoSegmentationOutput or tuple(torch.Tensor)

Tham số

  • inference_session (~models.sam2_video.modeling_sam2_video.Sam2VideoInferenceSession) — Đối tượng phiên suy luận video.
  • frame_idx (int, tùy chọn) — Chỉ số của khung hình cần chạy suy luận. Không cần cung cấp khi suy luận trên một khung hình mới được phát trực tiếp.
  • frame (torch.Tensor, tùy chọn) — Khung cần xử lý. Cung cấp khi đang phát trực tiếp.
  • reverse (bool, tùy chọn, mặc định là False) — Có nên lan truyền theo chiều ngược lại hay không.
  • run_mem_encoder (bool, tùy chọn, mặc định là True) — Có chạy bộ mã hóa bộ nhớ trên các mặt nạ dự đoán hay không. Bộ mã hóa bộ nhớ được xử lý theo lô trên tất cả các đối tượng để đạt hiệu quả cao.

Trả về

Sam2VideoSegmentationOutput hoặc tuple(torch.Tensor)

Một Sam2VideoSegmentationOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Sam2VideoConfig) và đầu vào.

Truyền các đối tượng qua một khung video được phát trực tiếp.

  • object_ids (list[int], tùy chọn) — Danh sách các ID đối tượng đang được theo dõi trong khung hình hiện tại.
  • pred_masks (torch.Tensor có hình dạng (batch_size, num_masks, height, width)) — Các mặt nạ dự đoán được lưu trữ ở độ phân giải của mô hình.
  • object_score_logits (torch.Tensor có hình dạng (batch_size,), tùy chọn) — Logits cho điểm của các đối tượng, cho biết các đối tượng có hiện diện hay không.
  • frame_idx (int, tùy chọn) — Chỉ số khung của video.

propagate_in_video_iterator

< >

( inference_session: Sam2VideoInferenceSessionstart_frame_idx: int | None = Nonemax_frame_num_to_track: int | None = Nonereverse: bool = Falseshow_progress_bar: bool = False ) → Sam2VideoSegmentationOutput or tuple(torch.Tensor)

Tham số

  • inference_session (~models.sam2_video.modeling_sam2_video.Sam2VideoInferenceSession) — Đối tượng phiên suy luận video.
  • start_frame_idx (int, tuỳ chọn) — Chỉ số khung hình bắt đầu cho quá trình lan truyền. Cần được cung cấp nếu forward chưa được gọi trên các đầu vào mới. Nếu không được cung cấp, chỉ số khung hình bắt đầu sẽ là khung hình sớm nhất có các điểm đầu vào.
  • max_frame_num_to_track (int, tùy chọn) — Số khung hình tối đa cần theo dõi.
  • reverse (bool, tùy chọn, mặc định là False) — Có nên lan truyền theo chiều ngược lại hay không.
  • show_progress_bar (bool, tùy chọn, mặc định là False) — Có hiển thị thanh tiến trình trong quá trình lan truyền hay không.

Trả về

Sam2VideoSegmentationOutput hoặc tuple(torch.Tensor)

Một Sam2VideoSegmentationOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Sam2VideoConfig) và đầu vào.

Truyền các đối tượng qua các khung hình video. Được sử dụng khi khởi tạo phiên suy luận với một video hoàn chỉnh. Trả về Sam2VideoSegmentationOutput cho mỗi khung hình.

  • object_ids (list[int], tùy chọn) — Danh sách các ID đối tượng đang được theo dõi trong khung hình hiện tại.
  • pred_masks (torch.Tensor có hình dạng (batch_size, num_masks, height, width)) — Các mặt nạ dự đoán được lưu trữ ở độ phân giải của mô hình.
  • object_score_logits (torch.Tensor có hình dạng (batch_size,), tùy chọn) — Logits cho điểm của các đối tượng, cho biết các đối tượng có hiện diện hay không.
  • frame_idx (int, tùy chọn) — Chỉ số khung của video.

get_image_features

< >

( pixel_values: Tensor**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sam2VideoVisionEncoderOutput or tuple(torch.Tensor)

Tham số

  • pixel_values (torch.Tensor) — Giá trị pixel đầu vào có hình dạng (batch_size, num_channels, height, width).

Trả về

Sam2VideoVisionEncoderOutput hoặc tuple(torch.Tensor)

Một Sam2VideoVisionEncoderOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Sam2VideoConfig) và đầu vào.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, height, width, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  • pooler_output (torch.Tensor có hình dạng (batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

  • fpn_hidden_states (tuple(torch.Tensor)) — Tuple của torch.Tensor (một tensor cho mỗi mức đặc trưng, từ độ phân giải cao xuống thấp) có hình dạng (batch_size, hidden_size, height, width). Các bản đồ đặc trưng từ phần neck của Feature Pyramid Network.

  • fpn_position_encoding (tuple(torch.Tensor)) — Tuple của torch.Tensor (một cho mỗi mức đặc trưng, từ độ phân giải cao xuống thấp) có hình dạng (batch_size, hidden_size, height, width). Các mã hóa vị trí tương ứng với fpn_hidden_states.

Update on GitHub