Parameter yang mengontrol panjang output

• max_length (int, opsional) — max_new_tokens direkomendasikan untuk mengontrol berapa banyak token yang dihasilkan model. max_length tetap ada untuk kompatibilitas mundur.
• max_new_tokens (int, opsional) — Jumlah maksimum token yang akan dihasilkan, mengabaikan jumlah token dalam prompt.
• min_length (int, opsional) — Panjang minimum dari urutan yang akan dihasilkan. Bersesuaian dengan panjang prompt input + min_new_tokens. Efeknya ditimpa oleh min_new_tokens, jika juga disetel.
• min_new_tokens (int, opsional) — Jumlah minimum token yang akan dihasilkan, mengabaikan jumlah token dalam prompt.
• early_stopping (bool atau str, opsional) — Mengontrol kondisi penghentian untuk metode berbasis beam, seperti beam-search. Menerima nilai-nilai berikut: True, di mana generasi berhenti begitu ada num_beams kandidat lengkap; False, di mana heuristik diterapkan dan generasi berhenti ketika sangat tidak mungkin menemukan kandidat yang lebih baik; "never", di mana prosedur beam search hanya berhenti ketika tidak mungkin lagi ada kandidat yang lebih baik (algoritma beam search kanonik).
• max_time (float, opsional) — Jumlah waktu maksimum yang Anda izinkan untuk komputasi berjalan, dalam satuan detik. generation akan tetap menyelesaikan pass saat ini setelah waktu yang dialokasikan telah terlewati.
• stop_strings (str atau list[str], opsional) — String atau daftar string yang harus mengakhiri generasi jika model mengoutputkannya.

Parameter yang mengontrol strategi generasi yang digunakan

• do_sample (bool) — Apakah akan menggunakan sampling; jika tidak, gunakan greedy decoding.
• num_beams (int, opsional) — Jumlah beam untuk beam search. 1 berarti tidak ada beam search.
• use_mtp — (bool): Apakah akan menggunakan Multi-Token Prediction (MTP) jika model mendukungnya.

Parameter yang mengontrol cache

• use_cache (bool) — Apakah model harus menggunakan perhatian kunci/nilai terakhir yang lalu (jika berlaku untuk model) untuk mempercepat decoding.
• cache_implementation (str, opsional) — Nama kelas cache yang akan diinstansiasi di generate, untuk decoding yang lebih cepat. Nilai yang mungkin adalah:
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  Jika tidak ada yang ditentukan, kami akan menggunakan cache default untuk model (yang sering kali adalah DynamicCache). Lihat dokumentasi cache kami untuk informasi lebih lanjut.

• cache_config (dict, opsional, default None) — Argumen yang digunakan dalam kelas cache key-value dapat diteruskan melalui cache_config.
• max_cache_len (int, opsional) — Hanya digunakan dengan cache statis (cache_implementation diatur ke "static" atau "offloaded_static"). Menetapkan ukuran awal cache ke panjang ini alih-alih max_length dari panggilan saat ini. Atur sekali ke panggilan terbesar yang Anda perkirakan agar panggilan generate() berulang dengan prompt yang lebih panjang atau max_new_tokens yang lebih besar (hingga batas ini) dapat menggunakan ulang cache yang sama alih-alih memicu alokasi ulang dan kompilasi ulang torch.compile.

Parameter untuk memanipulasi logits output model

• temperature (float, opsional) — Nilai yang digunakan untuk memodulasi probabilitas token berikutnya. Nilai ini diatur dalam file generation_config.json model. Jika tidak diatur, nilai defaultnya adalah 1.0
• top_k (int, opsional) — Jumlah token kosakata dengan probabilitas tertinggi yang dipertahankan untuk penyaringan top-k. Nilai ini diatur dalam file generation_config.json model. Jika tidak diatur, nilai defaultnya adalah 50.
• top_p (float, opsional) — Jika diatur ke float < 1, hanya kumpulan token paling probabel terkecil dengan probabilitas yang berjumlah top_p atau lebih tinggi yang dipertahankan untuk generasi. Nilai ini diatur dalam file generation_config.json model. Jika tidak diatur, nilai default adalah 1.0
• min_p (float, opsional) — Probabilitas minimum token, yang akan diskalakan oleh probabilitas token yang paling mungkin. Nilainya harus berada di antara 0 dan 1. Nilai tipikal berada dalam rentang 0,01-0,2, dengan selektivitas yang sebanding dengan pengaturan top_p dalam rentang 0,99-0,8 (gunakan kebalikan dari nilai top_p normal).
• top_h (float, opsional) — Faktor penskalaan anggaran entropi, yang mengontrol seberapa besar entropi distribusi yang dipertahankan saat pengambilan sampel. Harus berupa nilai antara 0 dan 1. Pada setiap langkah, token diurutkan berdasarkan probabilitas, dan prefiks token terkecil yang dipertahankan adalah yang entropi ternormalisasi ulang-nya kurang dari atau sama dengan top_h kali entropi dari distribusi penuh. Nilai yang lebih kecil (misalnya, 0,2–0,5) menghasilkan output yang lebih fokus dan deterministik, sedangkan nilai yang mendekati 1,0 memungkinkan lebih banyak keacakan dan keberagaman. Nilai tipikal berada dalam rentang 0,3–0,6.
• typical_p (float, opsional) — Ukuran tipikalitas lokal mengukur seberapa mirip probabilitas kondisional untuk memprediksi token target berikutnya dengan probabilitas kondisional yang diharapkan untuk memprediksi token acak berikutnya, mengingat teks parsial yang sudah dihasilkan. Jika diatur ke float < 1, himpunan terkecil dari token-token yang paling tipikal secara lokal dengan probabilitas yang berjumlah typical_p atau lebih tinggi akan dipertahankan untuk generasi. Lihat makalah ini untuk detail lebih lanjut.
• epsilon_cutoff (float, opsional) — Jika diatur ke float yang benar-benar berada di antara 0 dan 1, hanya token dengan probabilitas kondisional yang lebih besar dari epsilon_cutoff yang akan diambil sampelnya. Dalam makalah, nilai yang disarankan berkisar dari 3e-4 hingga 9e-4, tergantung pada ukuran model. Lihat Truncation Sampling as Language Model Desmoothing untuk detail lebih lanjut.
• eta_cutoff (float, opsional) — Sampling eta adalah hibrida dari sampling tipikal lokal dan sampling epsilon. Jika diatur ke float yang benar-benar berada di antara 0 dan 1, sebuah token hanya dipertimbangkan jika nilainya lebih besar dari eta_cutoff atau sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). Istilah terakhir secara intuitif adalah probabilitas token berikutnya yang diharapkan, yang diskalakan dengan sqrt(eta_cutoff). Dalam makalahnya, nilai yang disarankan berkisar dari 3e-4 hingga 2e-3, tergantung pada ukuran model. Lihat Truncation Sampling as Language Model Desmoothing untuk detail lebih lanjut.
• repetition_penalty (float, opsional) — Parameter untuk penalti pengulangan. 1.0 berarti tidak ada penalti. Lihat makalah ini untuk detail lebih lanjut.
• encoder_repetition_penalty (float, opsional) — Parameter untuk encoder_repetition_penalty. Denda eksponensial untuk urutan yang tidak ada di input asli. 1.0 berarti tidak ada denda.
• length_penalty (float, opsional) — Hukuman eksponensial terhadap panjang yang digunakan dengan generasi berbasis beam. Hukuman ini diterapkan sebagai eksponen terhadap panjang urutan, yang kemudian digunakan untuk membagi skor urutan. Karena skor adalah kemungkinan log dari urutan (yaitu negatif), length_penalty > 0.0 mendorong urutan yang lebih panjang, sedangkan length_penalty < 0.0 mendorong urutan yang lebih pendek.
• no_repeat_ngram_size (int, opsional) — Jika diatur ke int > 0, semua ngram dengan ukuran tersebut hanya dapat muncul sekali.
• bad_words_ids (list[list[int]], opsional) — Daftar dari daftar id token yang tidak diizinkan untuk dihasilkan. Periksa NoBadWordsLogitsProcessor untuk dokumentasi dan contoh lebih lanjut.
• renormalize_logits (bool) — Apakah logits akan dinormalisasi ulang setelah semua logits processors diterapkan (termasuk yang kustom). Sangat disarankan untuk mengatur flag ini ke True karena algoritma pencarian mengasumsikan bahwa skor logits telah dinormalisasi, tetapi beberapa logit processors dapat merusak normalisasi tersebut.
• forced_bos_token_id (int, opsional, defaultnya model.config.forced_bos_token_id) — ID token yang dipaksa sebagai token pertama yang dihasilkan setelah decoder_start_token_id. Berguna untuk model multibahasa seperti mBART di mana token pertama yang dihasilkan harus berupa token bahasa target.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — Apakah akan menghapus kemungkinan output nan dan inf dari model untuk mencegah metode generasi mengalami crash. Perhatikan bahwa penggunaan remove_invalid_values dapat memperlambat generasi.
• exponential_decay_length_penalty (tuple(int, float), opsional) — Tuple ini menambahkan penalti panjang yang meningkat secara eksponensial, setelah sejumlah token tertentu telah dihasilkan. Tuple tersebut harus terdiri dari: (start_index, decay_factor) di mana start_index menunjukkan di mana penalti dimulai dan decay_factor mewakili faktor peluruhan eksponensial
• suppress_tokens (list[int], opsional) — Daftar token yang akan ditekan saat generasi. Logit processor SuppressTokens akan mengatur log prob mereka menjadi -inf sehingga tidak diambil sampel.
• begin_suppress_tokens (list[int], opsional) — Daftar token yang akan ditekan di awal generasi. Prosesor logit SuppressBeginTokens akan mengatur probabilitas log mereka menjadi -inf sehingga tidak diambil sampel.
• sequence_bias (dict[tuple[int], float], opsional)) — Kamus yang memetakan urutan token ke istilah bias-nya. Bias positif meningkatkan peluang urutan tersebut dipilih, sedangkan bias negatif melakukan kebalikannya. Periksa SequenceBiasLogitsProcessor untuk dokumentasi dan contoh lebih lanjut.
• token_healing (bool) — Memperbaiki token ekor pada prompt dengan menggantinya dengan ekstensi yang sesuai. Hal ini meningkatkan kualitas penyelesaian untuk prompt yang terpengaruh oleh bias tokenisasi serakah.
• guidance_scale (float, opsional) — Skala panduan untuk classifier free guidance (CFG). CFG diaktifkan dengan mengatur guidance_scale > 1. Skala panduan yang lebih tinggi mendorong model untuk menghasilkan sampel yang lebih erat kaitannya dengan prompt input, biasanya dengan mengorbankan kualitas yang lebih buruk.
• watermarking_config (BaseWatermarkingConfig atau dict, opsional) — Argumen yang digunakan untuk memberi watermark pada keluaran model dengan menambahkan bias kecil pada himpunan token “green” yang dipilih secara acak. Lihat dokumentasi SynthIDTextWatermarkingConfig dan WatermarkingConfig untuk detail lebih lanjut. Jika diteruskan sebagai Dict, akan dikonversi menjadi WatermarkingConfig secara internal.

Parameter yang mendefinisikan variabel keluaran dari generate

• num_return_sequences (int, opsional) — Jumlah urutan yang dikembalikan dan dihitung secara independen untuk setiap elemen dalam batch.
• output_attentions (bool) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
• output_hidden_states (bool) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
• output_scores (bool) — Apakah skor prediksi akan dikembalikan atau tidak. Lihat scores di bawah tensor yang dikembalikan untuk detail lebih lanjut.
• output_logits (bool) — Apakah akan mengembalikan skor logit prediksi yang belum diproses. Lihat logits di bawah tensor yang dikembalikan untuk detail lebih lanjut.
• return_dict_in_generate (bool) — Apakah akan mengembalikan ModelOutput, alih-alih hanya mengembalikan urutan yang dihasilkan. Flag ini harus disetel ke True untuk mengembalikan cache generasi (ketika use_cache adalah True) atau output opsional (lihat flag yang diawali dengan output_)

Token khusus yang dapat digunakan saat proses generasi

• pad_token_id (int, opsional) — ID dari token padding.
• bos_token_id (int, opsional) — ID dari token awal-sekuens.
• eos_token_id (Union[int, list[int]], opsional) — ID dari token end-of-sequence. Secara opsional, gunakan daftar untuk mengatur beberapa token end-of-sequence.

Parameter generasi yang hanya ada pada model encoder-decoder

• encoder_no_repeat_ngram_size (int, opsional) — Jika diatur ke int > 0, semua ngram dengan ukuran tersebut yang muncul di encoder_input_ids tidak dapat muncul di decoder_input_ids.
• decoder_start_token_id (int atau list[int], opsional) — Jika model encoder-decoder memulai decoding dengan token yang berbeda dari bos, id token tersebut atau daftar dengan panjang batch_size. Menunjukkan daftar memungkinkan id awal yang berbeda untuk setiap elemen dalam batch (contohnya model multibahasa dengan bahasa target yang berbeda dalam satu batch)

Parameter generasi yang khusus untuk generasi asisten

• is_assistant (bool) — Apakah model tersebut adalah model asisten (draft).
• num_assistant_tokens (int, opsional) — Menentukan jumlah token spekulatif yang akan dihasilkan oleh model asisten sebelum diperiksa oleh model target pada setiap iterasi. Nilai num_assistant_tokens yang lebih tinggi membuat generasi menjadi lebih spekulatif : Jika model asisten memiliki performa yang baik, percepatan yang lebih besar dapat dicapai; jika model asisten memerlukan banyak koreksi, percepatan yang lebih rendah akan dicapai.
• num_assistant_tokens_schedule (str, opsional) — Menentukan jadwal perubahan token asisten maksimum selama inferensi.
  • "heuristic": Ketika semua token spekulatif benar, tingkatkan num_assistant_tokens sebesar 2, selain itu kurangi sebesar 1. Nilai num_assistant_tokens bersifat persisten di antara beberapa panggilan generasi dengan model asisten yang sama.
  • "heuristic_transient": Sama seperti "heuristic" tetapi num_assistant_tokens direset ke nilai awalnya setelah setiap panggilan generasi.
  • "constant": num_assistant_tokens tetap tidak berubah selama proses generasi
• assistant_confidence_threshold (float, opsional) — Ambang batas kepercayaan untuk model asisten. Jika tingkat kepercayaan model asisten terhadap prediksinya untuk token saat ini lebih rendah dari ambang batas ini, model asisten akan menghentikan iterasi generasi token saat ini, bahkan jika jumlah token spekulatif (didefinisikan oleh num_assistant_tokens) belum tercapai. Ambang batas kepercayaan asisten disesuaikan sepanjang iterasi spekulatif untuk mengurangi jumlah forward pass draft dan target yang tidak perlu, dengan bias untuk menghindari false negative. Nilai assistant_confidence_threshold bersifat persisten di antara beberapa panggilan generasi dengan model asisten yang sama. Ini adalah versi tanpa supervisi dari dynamic speculation lookahead dari Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304.
• prompt_lookup_num_tokens (int, opsional) — Jumlah token yang akan dioutput sebagai token kandidat.
• max_matching_ngram_size (int, opsional) — Ukuran ngram maksimum yang dipertimbangkan untuk pencocokan dalam prompt. Bawaan adalah 2 jika tidak diberikan.
• assistant_early_exit(int, optional) — Jika diset ke bilangan bulat positif, early exit dari model akan digunakan sebagai asisten. Hanya dapat digunakan dengan model yang mendukung early exit (yaitu model di mana logits dari lapisan antara dapat diinterpretasikan oleh LM head).
• assistant_lookbehind(int, optional) — Jika diset ke bilangan bulat positif, proses re-encoding akan mempertimbangkan assistant_lookbehind token asisten terakhir untuk menyelaraskan token dengan benar. Hanya dapat digunakan dengan tokenizer yang berbeda dalam speculative decoding. Lihat blog ini untuk detail lebih lanjut.
• target_lookbehind(int, opsional) — Jika diset ke bilangan bulat positif, proses re-encoding akan mempertimbangkan target_lookbehind token target terakhir untuk menyelaraskan token dengan benar. Hanya dapat digunakan dengan tokenizer yang berbeda dalam speculative decoding. Lihat blog ini untuk detail lebih lanjut.
• assistant_ensemble_weight (float, opsional) — Mengaktifkan verifikasi ensemble statis dalam speculative decoding. Jika diatur ke nilai dalam (0.0, 1.0), verifier menerima token terhadap campuran w * p_target + (1 - w) * q_draft alih-alih p_target, menukar bias distribusi yang terkendali untuk tingkat penerimaan yang lebih tinggi. Default adalah None, yang menjaga decoding tetap lossless. Memerlukan model asisten untuk mengembalikan logits, sehingga tidak kompatibel dengan prompt lookup decoding.
• speculation_type (str, opsional) — Jenis spekulasi yang diminta. Nilai yang diterima adalah dflash.

Parameter terkait performa dan kompilasi

• compile_config (CompileConfig, opsional) — Jika menggunakan cache yang dapat dikompilasi, ini mengontrol bagaimana generate akan compile jalur maju (forward pass) untuk inferensi yang lebih cepat.
• disable_compile (bool) — Apakah akan menonaktifkan kompilasi otomatis dari forward pass. Kompilasi otomatis terjadi ketika kriteria tertentu terpenuhi, termasuk penggunaan cache yang dapat dikompilasi. Silakan buka issue jika Anda menemukan kebutuhan untuk menggunakan flag ini.