Quiz de Final de Capítulo

Probemos lo que aprendimos en este capítulo!

1. Cuando debería entrenar un nuevo tokenizador?

2. Cuál es la ventaja de usar un generador de listas de textos comparado con una lista de listas de textos al usar train_new_from_iterator() ?

3. Cuáles son las ventajas de utilizar un tokenizador “rápido”?

4. Como hace el pipeline token-classification para manejar entidades que se extienden a varios tokens?

5. Cómo hace el pipeline de question-answering para manejar contextos largos?

6. Qué es la normalización?

7. Qué es la pre-tokenización para un tokenizador de subpalabra?

8. Selecciona las afirmaciones que aplican para el modelo de tokenización BPE.

BPE es un algoritmo de tokenización por subpalabras que comienza con un vocabulario pequeño y aprende reglas de fusión. BPE es un algoritmo de tokenización que comienza con un vocabulario grande y de manera progresiva remueve tokens de él. El tokenizador BPE aprende reglas de fusión fusionando el parte de tokens que es el más frecuente. Un tokenizador BPE aprende una regla de fusión fusionando el par de tokens que maximiza un puntaje que privilegia pares frecuentes con partes individuales menos frecuentes. BPE tokeniza palabras en subpalabras separándolas en caracteres y luego aplicando reglas de fusión. BPE tokeniza palabras en subpalabras encontrando la subpalabra más larga partiendo desde el inicio que está en el vocabulario, luego repite el proceso para el resto del texto.

9. Selecciona las afirmaciones que aplican para el modelo de tokenizacion WordPiece.

WordPiece es un algoritmo de tokenización de subpalabras que comienza con un vocabulario pequeño y aprende reglas de fusión. WordPiece un algoritmo de tokenización de subpalabras que comienza con un vocabulario grande y de manera progresiva remueve tokens de él. Los tokenizadores WordPiece aprenden reglas de fusión fusionando el par de tokens más frecuentes. Un tokenizador WordPiece aprende una regla de fusión fusionando el par de tokens que maximiza un puntaje que privilegia pares frecuentes con partes individuales menos frecuentes. WordPiece tokeniza palabras en subpalabras encontrando la segmentación en tokens más probable, de acuerdo al modelo. WordPiece tokeniza palabras en subpalabras encontrando la subpalabra máas larga partiendo desde el inicio que está en el vocabularoi, luego repite el proceso para el resto del texto.

10. Selecciona las afirmaciones que aplican para el modelo de tokenización Unigram.

Update on GitHub

LLM Course