# Tokenizörleri özelleştirme

Tokenizers, öğrenilen sözlüklerinden bağımsızdır. Bu sayede eğitim için boş bir tokenizer başlatabilir veya doğrudan kendi sözlüğünüzle bir tane oluşturabilirsiniz. Altta yatan tokenizasyon hattı aynı kaldığı için (normalizer, pre-tokenizer, tokenizasyon algoritması) bunu sıfırdan yeniden oluşturmanıza gerek yoktur.

Bu kılavuz, özel bir tokenizer eğitmeyi ve oluşturmayı gösterir.

> [!AgentPrompt]
> Kullanıcının bir Transformers tokenizer'ını nasıl oluşturacağına veya uyarlayacağına karar vermesine yardımcı olun. Öncelikle yeni bir sözlük eğitip eğitmeyeceklerini, özel bir sözlük tanımlayıp tanımlamayacaklarını veya tokenizasyon hattını değiştirip değiştirmeyeceklerini belirleyin. Uygun yaklaşımı seçmek için bu kılavuza başvurun.
>
> 1. Dil veya alanı, kurpus kaynağını ve boyutunu, başlangıç tokenleştiricisini, hedeflenen sözlük boyutunu, hedef modeli ve planlanan kullanımı sorun. Eksik detaylar seçimi etkiliyorsa yalnızca o zaman takip soruları sorun ve varsayımlarınızı etiketleyin. 2. Uygun iş akışını seçin. Mevcut bir tokenleştiriciye token eklemek için normal tokenlarda `add_tokens`, özel token davranışı gerektiren durumlarda ise `add_special_tokens` kullanın. Bir modelle eşleştirilmiş bir tokenleştiriciye token eklerseniz, modelin token gömme katmanlarını `resize_token_embeddings(len(tokenizer))` ile yeniden boyutlandırın. Mevcut tokenleştirici hattını koruyan yeni bir sözlük için, temsilci metin partileriyle `train_new_from_iterator` kullanın. Sağlanan bir sözlük ve birleştirme kuralları için, tokenleştiricinin bu girdileri destekleyip desteklemediğini kontrol edin. Mevcut hat gerekli davranışı ifade edemiyorsa yalnızca o zaman özel bir arka uç kullanın. 3. Hedef modelle uyumluluğu kontrol edin. Yeni bir sözlük token kimliklerini değiştirebilir, bu nedenle önceden eğitilmiş bir modelin gömme katmanlarıyla eşleştiğini varsaymayın. Modelin eşleşen gömme katmanlarına mı yoksa ek eğitime mi ihtiyaç duyduğunu açıklayın. 4. Sonucu doğrulayın. Tokenleştiriciyi kaydedin ve yeniden yükleyin, ardından temsilci alan metinlerinde ve özel tokenlarda kodlama ve çözümlenmeyi test edin. Oluşturulan dosyaları, başlangıç tokenleştiricisini, sözlük boyutunu, test sonuçlarını ve çözülmemiş uyumluluk sorunlarını raporlayın.

## Bir belirteç ayrıştırıcı eğitmek

Boş bir eğitilebilir tokenizer, sözlüğü yeni bir hedef sözlükle değiştirir. Bu, finans gibi yeni bir alana, düşük kaynaklı bir dile veya koda uyarlama için faydalıdır.

Boş bir tokenizer oluşturun ve bir veri seti yükleyin.

```py
from datasets import load_dataset
from transformers import GemmaTokenizer

tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")
```

Tokenizörü eğitmek için [TokenizersBackend.train_new_from_iterator()](/docs/transformers/v5.23.0/tr/main_classes/tokenizer#transformers.TokenizersBackend.train_new_from_iterator) yöntemini kullanın. Bu yöntem, verinin tamamını aynı anda belleğe yüklemek yerine veri setinden metin parçalarını döndüren bir üreteç fonksiyonu kabul eder. `vocab_size` argümanı, tokenizörün sözlük boyutunu belirler.

```py
def batch_iterator(batch_size=1000):
    for i in range(0, len(dataset), batch_size):
        yield dataset[i : i + batch_size]["assistant"]

trained_tokenizer = tokenizer.train_new_from_iterator(
    batch_iterator(),
    vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]
```

Yeni özel jetonları `new_special_tokens` argümanı ile ekleyin veya eski özel jetonları yeni özel jetonlara yeniden adlandırmak için `special_tokens_map` kullanın.

Yeni finans tokenizer'ını [save_pretrained()](/docs/transformers/v5.23.0/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained) ile kaydedin veya [push_to_hub()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub) ile Hub'a kaydedip yükleyin. Bu işlem, yeni eğitilen sözlüğü, birleştirme kurallarını ve tam pipeline yapılandırmasını içeren bir `tokenizer.json` dosyası oluşturur.

```py
trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")
```

## Özel sözlük

Boş bir tokenizer, `vocab` ve `merges` argümanlarıyla özel sözlük desteği sunar.

- `vocab`, bir tokenizörün bildiği tokenların tam kümesidir ve her giriş, bir tokenı girdi kimliğiyle eşleştirir.
- `merges`, BPE algoritmasının yan yana gelen token'ları nasıl birleştireceğini tanımlar.

```py
from transformers import GemmaTokenizer

vocab={
    "<pad>": 0,
    "</s>": 1,
    "<s>": 2,
    "<unk>": 3,
    "<mask>": 4,
    "▁the": 5,
    "▁stock": 6,
    "▁market": 7,
    "▁": 8,
    "r": 9,
    "a": 10,
    "l": 11,
    "i": 12,
    "e": 13,
    "d": 14,
    "ra": 15,
    "li": 16,
    "lie": 17,
    "lied": 18,
    "ral": 19,
    "ralli": 20,
    "rallie": 21,
    "rallied": 22,
}
merges=[
    ("r", "a"),       # r + a → ra
    ("l", "i"),       # l + i → li
    ("li", "e"),      # li + e → lie
    ("lie", "d"),     # lie + d → lied
    ("ra", "l"),      # ra + l → ral
    ("ral", "li"),    # ral + li → ralli
    ("ralli", "e"),   # ralli + e → rallie
    ("rallie", "d"),  # rallie + d → rallied
]

tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])
```

## TokenizersBackend Sınıflarını Alt Sınıflandırma

Tokenizers, dört farklı [backend](./fast_tokenizers#backends) destekler. Genellikle, daha hızlı olduğu için yeni bir tokenizer tanımlamak için [TokenizersBackend](/docs/transformers/v5.23.0/tr/main_classes/tokenizer#transformers.TokenizersBackend) kullanmanız önerilir.

> [!TIP]
> [PythonBackend](/docs/transformers/v5.23.0/tr/main_classes/tokenizer#transformers.PythonBackend), Rust, SentencePiece veya mistral-common gibi arka uçlara bağımlı olmayan saf bir Python tokenizörüdür. [PythonBackend](/docs/transformers/v5.23.0/tr/main_classes/tokenizer#transformers.PythonBackend)'i yalnızca, Rust arka ucuyla ifade edilemeyen çok özel bir tokenizör geliştiriyorsanız kullanmalısınız.

1. [TokenizersBackend](/docs/transformers/v5.23.0/tr/main_classes/tokenizer#transformers.TokenizersBackend) sınıfını, padding tarafı ve kullanılacak tokenizasyon algoritması gibi sınıf öznitelikleriyle alt sınıflandırın.
2. `__init__` içinde tokenizasyon hattını tanımlayın. Bu, kullanılacak tokenizasyon algoritmasını, algoritma uygulanmadan önce ham metnin nasıl bölüneceğini ve tokenların metne nasıl geri dönüştürüleceğini içerir.

```py
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend

class NewTokenizer(TokenizersBackend):
    padding_side = "left"
    model = BPE

    def __init__(
        self,
        vocab=None,
        merges=None,
        unk_token="<unk>",
        bos_token="<s>",
        eos_token="</s>",
        pad_token="<pad>",
    ):
        self._vocab = vocab or {
            str(unk_token): 0,
            str(bos_token): 1,
            str(eos_token): 2,
            str(pad_token): 3,
        }
        self._merges = merges or []

        self._tokenizer = Tokenizer(
            BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
        )
        self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
        self._tokenizer.decoder = decoders.ByteLevel()

        super().__init__(
            unk_token=unk_token,
            bos_token=bos_token,
            eos_token=eos_token,
            pad_token=pad_token,
        )
```

Yeni boş tokenizer'ı eğitin veya kaydedin.

```py
tokenizer = NewTokenizer()

# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")
```

