Quiz de fin de chapitre

1. Quel est l’ordre du pipeline de modélisation du langage ?

2. Combien de dimensions le tenseur produit par le <i> transformer </i> de base possède-t-il et quelles sont-elles ?

3. Lequel des éléments suivants est un exemple de tokenisation en sous-mots ?

4. Qu’est-ce qu’une tête de modèle ?

5. Qu’est-ce qu’un AutoModel?

6. Quelles sont les techniques à connaître lors de la mise en batch de séquences de longueurs différentes ?

7. Quel est l’intérêt d’appliquer une fonction SoftMax aux logits produits par un modèle de classification de séquences ?

8. Autour de quelle méthode s’articule la majeure partie de l’API <i> tokenizer </i> ?

9. Que contient la variable result dans cet exemple de code ?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. Y a-t-il un problème avec le code suivant ?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)