Transformers documentation
Tokenizörleri özelleştirme
Tokenizörleri özelleştirme
Tokenizers, öğrenilen sözlüklerinden bağımsızdır. Bu sayede eğitim için boş bir tokenizer başlatabilir veya doğrudan kendi sözlüğünüzle bir tane oluşturabilirsiniz. Altta yatan tokenizasyon hattı aynı kaldığı için (normalizer, pre-tokenizer, tokenizasyon algoritması) bunu sıfırdan yeniden oluşturmanıza gerek yoktur.
Bu kılavuz, özel bir tokenizer eğitmeyi ve oluşturmayı gösterir.
Kullanıcının bir Transformers tokenizer'ını nasıl oluşturacağına veya uyarlayacağına karar vermesine yardımcı olun. Öncelikle yeni bir sözlük eğitip eğitmeyeceklerini, özel bir sözlük tanımlayıp tanımlamayacaklarını veya tokenizasyon hattını değiştirip değiştirmeyeceklerini belirleyin. Uygun yaklaşımı seçmek için bu kılavuza başvurun.
- Dil veya alan, korpus kaynağı ve boyutu, başlangıç tokenizleyicisi, hedef sözlük boyutu, hedef model ve planlanan kullanımı sorun. Eksik detaylar seçimi etkiliyorsa yalnızca o zaman takip soruları sorun ve varsayımlarınızı etiketleyin.
- Uygun iş akışını seçin. Mevcut bir tokenizer'a token eklemek için, normal tokenlarda
add_tokens, özel token davranışı gerektiren durumlarda iseadd_special_tokenskullanın. Bir modelle eşleştirilmiş bir tokenizer'a token eklerseniz, modelin token gömme katmanlarınıresize_token_embeddings(len(tokenizer))ile yeniden boyutlandırın. Mevcut bir tokenizer hattını koruyan yeni bir sözlük için, temsilci metin partileriyletrain_new_from_iteratorkullanın. Sağlanan bir sözlük ve birleştirme kuralları için, tokenizer'ın bu girdileri destekleyip desteklemediğini kontrol edin. Mevcut hat, gerekli davranışı ifade edemiyorsa yalnızca özel bir arka uç kullanın. - Hedef modelle uyumluluğu kontrol edin. Yeni bir sözlük, token kimliklerini değiştirebilir, bu nedenle önceden eğitilmiş bir modelin gömme (embedding) değerleriyle eşleştiğini varsaymayın. Modelin eşleşen gömme değerlerine mi yoksa ek eğitime mi ihtiyaç duyduğunu açıklayın.
- Sonucu doğrulayın. Tokenizer'ı kaydedip yeniden yükleyin, ardından temsilci alan metinleri ve özel tokenlar üzerinde kodlama ve çözümlüme testleri yapın. Oluşturulan dosyaları, başlangıç tokenizer'ını, sözlük boyutunu, test sonuçlarını ve çözülmemiş uyumluluk sorularını raporlayın.
Bir belirteç ayrıştırıcı eğitmek
Boş bir eğitilebilir tokenizer, sözlüğü yeni bir hedef sözlükle değiştirir. Bu, finans gibi yeni bir alana, düşük kaynaklı bir dile veya koda uyarlama için faydalıdır.
Boş bir tokenizer oluşturun ve bir veri seti yükleyin.
from datasets import load_dataset
from transformers import GemmaTokenizer
tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")Tokenizörü eğitmek için TokenizersBackend.train_new_from_iterator() yöntemini kullanın. Bu yöntem, verinin tamamını aynı anda belleğe yüklemek yerine veri setinden metin parçalarını döndüren bir üreteç fonksiyonu kabul eder. vocab_size argümanı, tokenizörün sözlük boyutunu belirler.
def batch_iterator(batch_size=1000):
for i in range(0, len(dataset), batch_size):
yield dataset[i : i + batch_size]["assistant"]
trained_tokenizer = tokenizer.train_new_from_iterator(
batch_iterator(),
vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]Yeni özel jetonları new_special_tokens argümanı ile ekleyin veya eski özel jetonları yeni özel jetonlara yeniden adlandırmak için special_tokens_map kullanın.
Yeni finans tokenizer'ını save_pretrained() ile kaydedin veya push_to_hub() ile Hub'a kaydedip yükleyin. Bu işlem, yeni eğitilen sözlüğü, birleştirme kurallarını ve tam pipeline yapılandırmasını içeren bir tokenizer.json dosyası oluşturur.
trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")Özel sözlük
Boş bir tokenizer, vocab ve merges argümanlarıyla özel sözlük desteği sunar.
vocab, bir tokenizörün bildiği tokenların tam kümesidir ve her giriş, bir tokenı girdi kimliğiyle eşleştirir.merges, BPE algoritmasının yan yana gelen token'ları nasıl birleştireceğini tanımlar.
from transformers import GemmaTokenizer
vocab={
"<pad>": 0,
"</s>": 1,
"<s>": 2,
"<unk>": 3,
"<mask>": 4,
"▁the": 5,
"▁stock": 6,
"▁market": 7,
"▁": 8,
"r": 9,
"a": 10,
"l": 11,
"i": 12,
"e": 13,
"d": 14,
"ra": 15,
"li": 16,
"lie": 17,
"lied": 18,
"ral": 19,
"ralli": 20,
"rallie": 21,
"rallied": 22,
}
merges=[
("r", "a"), # r + a → ra
("l", "i"), # l + i → li
("li", "e"), # li + e → lie
("lie", "d"), # lie + d → lied
("ra", "l"), # ra + l → ral
("ral", "li"), # ral + li → ralli
("ralli", "e"), # ralli + e → rallie
("rallie", "d"), # rallie + d → rallied
]
tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])TokenizersBackend Sınıflarını Alt Sınıflandırma
Tokenizers, dört farklı backend destekler. Genel olarak, yeni bir tokenizer tanımlamak için daha hızlı olduğu için TokenizersBackend kullanmanız önerilir.
PythonBackend, Rust, SentencePiece veya mistral-common gibi arka uçlara bağımlı olmayan saf bir Python belirteçleyicidir (tokenizer). PythonBackend'yi yalnızca, Rust arka ucunun ifade edemeyeceği çok özel bir belirteçleyici oluşturuyorsanız kullanmalısınız.
- TokenizersBackend sınıfını, padding tarafı ve kullanılacak tokenizasyon algoritması gibi sınıf öznitelikleriyle alt sınıflandırın.
__init__içinde tokenizasyon hattını tanımlayın. Bu, kullanılacak tokenizasyon algoritmasını, algoritma uygulanmadan önce ham metnin nasıl bölüneceğini ve tokenların metne nasıl geri dönüştürüleceğini içerir.
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend
class NewTokenizer(TokenizersBackend):
padding_side = "left"
model = BPE
def __init__(
self,
vocab=None,
merges=None,
unk_token="<unk>",
bos_token="<s>",
eos_token="</s>",
pad_token="<pad>",
):
self._vocab = vocab or {
str(unk_token): 0,
str(bos_token): 1,
str(eos_token): 2,
str(pad_token): 3,
}
self._merges = merges or []
self._tokenizer = Tokenizer(
BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
)
self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
self._tokenizer.decoder = decoders.ByteLevel()
super().__init__(
unk_token=unk_token,
bos_token=bos_token,
eos_token=eos_token,
pad_token=pad_token,
)Yeni boş tokenizer'ı eğitin veya kaydedin.
tokenizer = NewTokenizer()
# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")