Transformers documentation

Qwen2-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-09-18 tarihinde HF papers'ta yayımlandı ve 2024-08-26 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Qwen2-VL

Genel Bakış

Qwen2-VL (blog yazısı) modeli, Alibaba Research'teki Qwen ekibinin Qwen-VL modeline yaptığı önemli bir güncellemedir.

Blogdaki özet aşağıdaki gibidir:

Bu blog yazısı, son bir yıl içinde önemli iyileştirmelerden geçen Qwen-VL modelinin gelişmiş sürümü olan Qwen2-VL'yi tanıtıyor. Temel iyileştirmeler arasında geliştirilmiş görüntü anlama, ileri düzey video anlama, entegre görsel ajan işlevselliği ve genişletilmiş çok dilli destek yer alıyor. Model mimarisi, Naive Dynamic Resolution desteği sayesinde keyfi görüntü çözünürlüklerini işleyecek şekilde optimize edilmiş olup, 1B metinsel ve çok boyutlu görsel verileri etkili bir şekilde işlemek için Multimodal Rotary Position Embedding (M-ROPE) kullanıyor. Bu güncellenmiş model, GPT-4o ve Claude 3.5 Sonnet gibi önde gelen yapay zeka sistemleriyle görsel görevlerde rekabetçi performans sergilerken, metin yeteneklerinde açık kaynak modeller arasında üst sıralarda yer alıyor. Bu gelişmeler, Qwen2-VL'yi sağlam çok modlu işleme ve akıl yürütme yetenekleri gerektiren çeşitli uygulamalar için çok yönlü bir araç haline getiriyor.

Qwen2-VL architecture. Taken from the blog post.

Bu model simonJJJ tarafından katkıda bulunmuştur.

Kullanım örneği

Tekli Medya çıkarımı

Model, girdi olarak hem görüntüleri hem de videoları kabul edebilir. İşte çıkarım için örnek bir kod.

from transformers import AutoProcessor, Qwen2VLForConditionalGeneration


# Load the model in half-precision on the available device(s)
model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")


conversation = [
    {
        "role":"user",
        "content":[
            {
                "type":"image",
                "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg"
            },
            {
                "type":"text",
                "text":"Describe this image."
            }
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)



# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Toplu Karma Medya Çıkarımı

Model, görüntüler, videolar ve metin gibi çeşitli türlerden oluşan karışık örneklerden oluşan girdileri toplu (batch) olarak işleyebilir. İşte bir örnek.


# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image1.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image2.jpg"},
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "user",
        "content": "who are you?"
    }
]


# Conversation with mixed media
conversation4 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "image", "path": "/path/to/image4.jpg"},
            {"type": "video", "path": "/path/to/video.jpg"},
            {"type": "text", "text": "What are the common elements in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]
# Preparation for batch inference
inputs = processor.apply_chat_template(
    conversations,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Batch Inference
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Kullanım İpuçları

Görüntü Çözünürlüğü ödünleşimi

Model, geniş bir çözünürlük aralığında girdileri destekler. Varsayılan olarak girdi için yerel çözünürlüğü kullanır, ancak daha yüksek çözünürlükler, daha fazla hesaplama maliyeti karşılığında performansı artırabilir. Kullanıcılar, ihtiyaçlarına uygun en iyi yapılandırmayı elde etmek için minimum ve maksimum piksel sayısını ayarlayabilir.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

GPU RAM'ı sınırlıysa, çözünürlük aşağıdaki gibi azaltılabilir:

min_pixels = 256*28*28
max_pixels = 1024*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Bu, her görüntünün 256-1024 aralığında bir token sayısı kullanılarak kodlanmasını sağlar. 28 sayısı, modelin 14'lük bir yama boyutu ve 2'lik bir zamansal yama boyutu kullandığı gerçeğinden gelir (14 x 2 = 28).

Çoklu Görsel Girdileri

Varsayılan olarak, görsel ve video içeriği doğrudan sohbete dahil edilir. Birden fazla görsel işlenirken, daha iyi referans için görsellere ve videolara etiket eklemek faydalıdır. Kullanıcılar bu davranışı aşağıdaki ayarlarla kontrol edebilir:

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"},
            {"type": "image"},
            {"type": "image"},
            {"type": "video"},
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Üretim hızını artırmak için Flash-Attention 2

Öncelikle, Flash Attention 2'nin en son sürümünün yüklendiğinden emin olun:

pip install -U flash-attn --no-build-isolation

Ayrıca, Flash-Attention 2 ile uyumlu donanıma sahip olmanız gerekir. flash attention deposu resmi belgelerinde daha fazla bilgi edinebilirsiniz. FlashAttention-2 yalnızca bir model torch.float16 veya torch.bfloat16 olarak yüklendiğinde kullanılabilir.

Flash Attention-2 kullanarak bir model yüklemek ve çalıştırmak için, modeli aşağıdaki gibi yüklerken attn_implementation="flash_attention_2" parametresini eklemeniz yeterlidir:

from transformers import Qwen2VLForConditionalGeneration

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct", 
    attn_implementation="flash_attention_2",
 device_map="auto")

Transformers

Qwen2-VL

Genel Bakış

Kullanım örneği

Tekli Medya çıkarımı

Toplu Karma Medya Çıkarımı

Kullanım İpuçları

Görüntü Çözünürlüğü ödünleşimi

Çoklu Görsel Girdileri

Üretim hızını artırmak için Flash-Attention 2

Qwen2VLConfig

sınıf transformers.Qwen2VLConfig

Qwen2VLVisionConfig

sınıf transformers.Qwen2VLVisionConfig

Qwen2VLTextConfig

sınıf transformers.Qwen2VLTextConfig

Qwen2VLImageProcessor

sınıf transformers.Qwen2VLImageProcessor

ön işleme

Qwen2VLVideoProcessor

sınıf transformers.Qwen2VLVideoProcessor

ön işleme

Qwen2VLImageProcessorPil

sınıf transformers.Qwen2VLImageProcessorPil

ön işleme

Qwen2VLProcessor

sınıf transformers.Qwen2VLProcessor

__call__

Qwen2VLTextModel

sınıf transformers.Qwen2VLTextModel

forward

Qwen2VLModel

sınıf transformers.Qwen2VLModel

forward

get_video_features

get_image_features

Qwen2VLForConditionalGeneration

sınıf transformers.Qwen2VLForConditionalGeneration

forward

get_video_features

get_image_features

call