LLM Course

0. Cài đặt

1. Mô hình Transformer

2. Sử dụng 🤗 Transformers

3. Tinh chỉnh một mô hình huấn luyện trước

4. Chia sẻ các mô hình và tokenizer

5. Thư viện 🤗 Datasets

6. Thư viện 🤗 Tokenizers

Giới thiệu Huấn luyện một tokenizer mới từ cái cũ Sức mạnh đặc biệt của tokenizer nhanh Tokenizer nhanh trong pipeline QA Chuẩn hoá và tiền tokenize Byte-Pair Encoding tokenization WordPiece tokenization Unigram tokenization Xây dựng từng khối tokenizer Tokenizers, kiểm tra nào!Đố vui cuối chương

7. Các tác vụ NLP chính

8. Làm thế nào để yêu cầu giúp đỡ

9. Xây dựng và chia sẻ các demo

Sự kiện Khoá học

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Đố vui cuối chương

Cùng kiểm tra xem bạn đã học được những gì trong chương này!

1. Khi nào ta nên huấn luyện 1 tokenizer mới?

Khi tập dữ liệu của bạn tương tự với tập dữ liệu được sử dụng bởi một mô hình huấn luyện trước hiện có và bạn muốn huấn luyện trước một mô hình mới Khi tập dữ liệu của bạn tương tự với tập dữ liệu được sử dụng bởi một mô hình huấn luyện trước hiện có và bạn muốn tinh chỉnh một mô hình mới bằng cách sử dụng mô hình huấn luyện trước này Khi tập dữ liệu của bạn khác với tập dữ liệu được sử dụng bởi mô hình huấn luyện trước hiện có và bạn muốn huấn luyện trước một mô hình mới Khi tập dữ liệu của bạn khác với tập dữ liệu được sử dụng bởi một mô hình huấn luyện trước hiện có, nhưng bạn muốn tinh chỉnh một mô hình mới bằng cách sử dụng mô hình huấn luyện trước này

2. Ưu điểm của việc sử dụng trình tạo danh sách văn bản so với danh sách các danh sách văn bản khi sử dụng train_new_from_iterator() là gì?

3. Ưu điểm của tokenize “nhanh” là gì?

4. Pipeline token-classification xử lý các thực thể trải dài trên nhiều token như thế nào?

5. Pipeline question-answering xử lý ngữ cảnh dài như thế nào?

6. Chuẩn hoá là gì?

7. Pre-tokenization cho một tokenizer từ phụ là sao?

8. Chọn các câu áp dụng mô hình BPE để tokenize?

BPE là một thuật toán tokenize từ phụ bắt đầu với một từ vựng nhỏ và học các quy tắc hợp nhất. BPE là một thuật tokenize từ phụ bắt đầu với một lượng từ vựng lớn và loại bỏ dần các token khỏi nó. BPE tokenizer học các quy tắc hợp nhất bằng cách gộp các cặp token có tần suất cao nhất. BPE tokenizer học các quy tắc hợp nhất bằng cách gộp các cặp token tối đa hoá điểm của các cặp tần suất cao so với các phần cá nhân có tần suất ít hơn. BPE tokenize các từ thành các từ phụ bằng cách chia chúng thành các ký tự và áp dụng quy tắc hợp nhất. BPE tokenize các từ thành các từ phụ bằng cách tìm từ phụ dài nhất bắt đầu từ phần đầu có trong từ vựng, sau đó lặp lại quy trình cho phần còn lại của văn bản.

9. Chọn các câu áp dụng mô hình WordPiece để tokenize?

WordPiece là một thuật toán tokenize từ phụ bắt đầu với một từ vựng nhỏ và học các quy tắc hợp nhất. WordPiece là một thuật tokenize từ phụ bắt đầu với một lượng từ vựng lớn và loại bỏ dần các token khỏi nó. WordPiece tokenizer học các quy tắc hợp nhất bằng cách gộp các cặp token có tần suất cao nhất. WordPiece tokenizer học các quy tắc hợp nhất bằng cách gộp các cặp token tối đa hoá điểm của các cặp tần suất cao với các token cá nhân của nó có tần suất ít hơn. WordPiece tokenize từ thành các từ phụ bằng cách tìm ra những phân đoạn có khả năng tách thành token nhất dựa theo mô hình. WordPiece tokenize các từ thành các từ phụ bằng cách tìm từ phụ dài nhất bắt đầu từ phần đầu có trong từ vựng, sau đó lặp lại quy trình cho phần còn lại của văn bản.

10. Chọn các câu áp dụng mô hình Unigram để tokenize?

Unigram là một thuật toán tokenize từ phụ bắt đầu với một từ vựng nhỏ và học các quy tắc hợp nhất. Unigram là một thuật tokenize từ phụ bắt đầu với một lượng từ vựng lớn và loại bỏ dần các token khỏi nó. Unigram điều chỉnh vốn từ vựng của nó bằng cách giảm thiểu sự mất mát được tính trên toàn bộ kho ngữ liệu. Unigram điều chỉnh vốn từ vựng của nó bằng cách chỉ giữ lại những từ phụ hay xuất hiện. Unigram tokenize từ thành các từ phụ bằng cách tìm ra những phân đoạn có khả năng tách thành token nhất dựa theo mô hình. Unigram tokenizes từ thành các từ phụ bằng cách tách từ đó thành kí tự rồi áp dụng quy tắc hợp nhất.

Update on GitHub

←Tokenizers, kiểm tra nào!