README.md

---
license: apache-2.0
language:
- pl
library_name: transformers
pipeline_tag: text-generation
tags:
- polish
- causal-lm
- base-model
- continued-pretraining
- teacher-guided
- gqa
- rope
- swiglu
---

# Koliber v1.1-Preview

**[Koliber-v1.1-Preview](https://huggingface.co/OrisTeam/Koliber-v1.1-Preview)** is an experimental continued-training checkpoint of **Koliber v1.0 Base**, a compact Polish decoder-only causal language model developed by **OrisTeam**.

It remains a **126M base pretrained language model**, not an instruction-tuned assistant or chatbot.

The goal of v1.1 was deliberately narrow: **improve local next-token behavior and reduce some undesirable generation drift without increasing model size, changing the tokenizer, or replacing the underlying Koliber architecture**.

> [!WARNING]
> **Koliber v1.1-Preview is an unaligned base language model.**
>
> Generated text may be false, misleading, offensive, biased, unsafe, inconsistent, or otherwise inappropriate. The model may invent facts, names, quotations, dates, numbers, sources, or events, and may reproduce undesirable patterns present in its training data.
>
> Outputs should not be treated as factual, authoritative, or safe by default. Additional evaluation, filtering, alignment, and application-specific safeguards are required before deployment in user-facing or high-stakes settings.

## What changed from v1.0

Koliber v1.1 does **not** introduce a larger architecture or a new tokenizer.

The released inference model keeps the same core model shape as Koliber v1.0:

| Property | Value |
| --- | --- |
| Parameters | **126,044,928 (126M)** |
| Layers | 12 |
| Hidden size | 768 |
| Query heads / KV heads | 12 / 2 |
| Head dimension | 64 |
| FFN | 3072 |
| Context length | 1536 |
| Attention | GQA |
| Positional encoding | RoPE |
| Activation | SwiGLU |
| Normalization | RMSNorm |
| Bias | No |
| LM head | tied embeddings |
| Tokenizer | unchanged from Koliber v1.0 |
| Language | primarily Polish |
| Stage | base continued training |

Koliber v1.0 was originally pretrained on approximately **2.534B tokens**. This preview checkpoint adds approximately **184.32M continued-training tokens**.

The continued-training experiment did not attempt to turn a 126M model into a much larger model, nor to replace its knowledge with another model's knowledge. The intent was to apply a relatively small correction to token-level probability distributions while preserving the original Koliber model.

## Teacher-guided logit correction

During continued training, **[speakleash/Bielik-1.5B-v3](https://huggingface.co/speakleash/Bielik-1.5B-v3)** was loaded in parallel as a **frozen external teacher**.

The teacher was not merged into Koliber and is not required at inference time.

Koliber continued to optimize its ordinary next-token cross-entropy objective. In addition, selected aligned positions received a small teacher-guided correction signal intended to adjust local probability mass when Koliber's token distribution strongly diverged from the teacher's local preferences.

In simplified form:

```text
L = L_next_token + small_teacher_correction
```

The correction was intentionally weak. The experiment was designed to **nudge uncomfortable or overlearned local logits**, not to make Koliber imitate Bielik globally.

The released model:

- has **no teacher model attached**,
- has **no additional inference-time branch**,
- uses the **same tokenizer** as Koliber v1.0,
- uses the **same 126M inference architecture**,
- does not require Bielik to load or generate text.

## Loading

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "OrisTeam/Koliber-v1.1-Preview"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
)
```

## Generation

Koliber remains primarily a **text-completion model**. Natural text prefixes are generally more appropriate than instruction-style chat prompts.

```python
inputs = tokenizer(
    "Polska jest krajem, który",
    return_tensors="pt",
)

output = model.generate(
    **inputs,
    max_new_tokens=96,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=1.15,
)

print(
    tokenizer.decode(
        output[0],
        skip_special_tokens=True,
    )
)
```

## Polish SLM Benchmark

The table below compares this preview checkpoint with **Koliber v1.0 Base** using the same Polish SLM Benchmark primary scoring protocol.

The v1.1 checkpoint shows a **small decrease in the overall composite** while individual tasks move in different directions. This is consistent with the goal of the experiment: generation behavior was the main target, while benchmark performance was monitored primarily as a regression guard.

| Task | Koliber v1.0 Base | Koliber v1.1-Preview | Change |
| --- | ---: | ---: | ---: |
| PolEmo2 IN | 37.40 | **38.09** | +0.69 |
| PolEmo2 OUT | 26.11 | **32.39** | +6.28 |
| 8Tags | **46.87** | 44.97 | -1.90 |
| Belebele | 22.44 | 22.44 | 0.00 |
| CBD | **7.24** | 5.92 | -1.32 |
| DYK | **24.48** | 21.85 | -2.63 |
| KLEJ NER | 23.28 | **23.32** | +0.04 |
| PolQA | 52.81 | **52.85** | +0.04 |
| PPC | **35.10** | 34.70 | -0.40 |
| PSC | **31.48** | 26.35 | -5.13 |
| **Composite** | **30.72** | **30.29** | **-0.43** |

These numbers should not be interpreted as a claim that v1.1 is uniformly better than v1.0. The checkpoint changes the model's behavior and task profile rather than improving every metric simultaneously.

## Generation comparison with Koliber v1.0

The examples below use the same generation setup for both checkpoints:

```text
seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15
```

The random seed was reset before each model and each prompt.

These are **raw samples**, not hand-edited outputs and not a formal ranking.

### Example 1 — local news / web-style drift

**Prompt**

```text
Wczoraj wieczorem mieszkańcy miasta zauważyli, że
```

**Koliber v1.0 Base**

> Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.
>
> - W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje
>
> Zjawa: W tle pogłoski, o

**Koliber v1.1-Preview**

> Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Utrudnienia zostały przeprowadzone na terenie parku na wysokości ul. Podleśnej.
>
> - W ciągu drogi krajowej nr 63 na odcinku od ulicy Wiśniowej do skrzyżowania z drogą powiatową nr 306, gdzie prowadzi do przystanku autobusowego przy ulicy Grunwaldzkiej - informuje nas Marcin Gadowski, rzecznik prasowy Zarządu Dróg Miejskich w Bydgoszczy.
>
> Więcej informacji o stanie dróg w okolicach ulicy 3 Maja można znaleźć na stronie internetowej

In this sample, v1.1 still produces web/news-like text and invented details, but it remains inside one document style for longer instead of abruptly switching into an unrelated page-title fragment.

### Example 2 — scientific continuation

**Prompt**

```text
Naukowcy odkryli nową metodę, która
```

**Koliber v1.0 Base**

> Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.
>
> - W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.
>
> O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation

**Koliber v1.1-Preview**

> Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w wyniku zanieczyszczenia powietrza poprzez zwiększenie temperatury.
>
> W ramach projektu badano wpływ emisji gazów cieplarnianych na środowisko naturalne i zmiany w sposobie ich pozyskiwania. Poprawiono także efektywność wykorzystania energii pochodzącejz atmosfery.
>
> Naukowcy opracowali metodę, która umożliwi poprawę wydajności pracy na zewnątrz budynków oraz zwiększy dostępdoe do energii cieplnej. Badania pokazują, że dzięki zastosowaniu technologii TIG/TIG można szybciej i sprawniej zarządzać energią i przepływem towarów pomiędzy budynkami

Here v1.1 stays closer to the original scientific/energy topic for the full sample, although grammar, factuality and technical coherence remain weak.

### Example 3 — a failure that remains

**Prompt**

```text
Według najnowszych danych gospodarka
```

**Koliber v1.0 Base**

> Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.
>
> W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.
>
> Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat.

**Koliber v1.1-Preview**

> Według najnowszych danych gospodarka USA wyhamowała, w wyniku czego z roku na rok rośnie liczba osób cierpiących na schorzenia układu oddechowego i oddechowego. To efekt coraz bardziej agresywnej polityki wobec pacjentów, którzy chcą zmienić styl życia.
>
> Jednak, jak wskazuje badanie, wiele chorób dotyka nie tylko mężczyzn, lecz także kobiety. W związkuz tym, że są one narażone na choroby przewlekłe, kobiety nie powinny stosować leków przeciwdepresyjnych.
>
> Z tego względu, coraz więcej kobiet chce zmieniać swoją dietę

This sample is intentionally included because v1.1 does **not** eliminate semantic drift. The model still sometimes falls into a different high-probability topic even when the beginning is plausible.

## What the preview suggests

The continued-training experiment appears to change **how long Koliber can remain inside a locally plausible continuation path** in some prompts.

The effect is not uniform:

- some abrupt web/scrape-style transitions are reduced or delayed,
- some continuations stay within the original document type for longer,
- some benchmark tasks improve while others regress,
- factual hallucination remains,
- topic drift remains,
- malformed Polish remains,
- a wrong early semantic choice can still dominate the rest of a generation.

This preview therefore should be treated as an **experimental behavior-correction checkpoint**, not as a claim of a universally stronger Koliber model.

## Limitations and safety

Koliber v1.1-Preview has **not** been supervised instruction-tuned and has **not** undergone preference optimization or chat alignment.

Raw generations may:

- drift off topic or switch abruptly between document styles,
- repeat or produce malformed text,
- imitate web, news, forum, advertising, or scraped-document patterns,
- hallucinate factual claims, citations, people, organizations, dates, or statistics,
- produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
- continue unsafe or malicious patterns present in a prompt,
- behave unpredictably outside distributions represented during pretraining.

Teacher-guided continued training does **not** make the model factual, aligned, safe, or equivalent to the teacher model.

Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.

Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.

## Intended use

Koliber v1.1-Preview is intended for:

- research on small Polish language models,
- text-completion experiments,
- research on teacher-guided logit correction,
- likelihood-based and representation-level evaluation,
- continued pretraining,
- supervised fine-tuning,
- preference optimization,
- development of downstream Polish-language models.

It is **not** presented as a safety-aligned assistant.

## Relationship to Koliber v1.0

Koliber v1.1-Preview is a continued-training derivative of:

**[OrisTeam/Koliber-v1.0-Base](https://huggingface.co/OrisTeam/Koliber-v1.0-Base)**

The original v1.0 model remains a separate release and reference checkpoint.

Teacher used during the v1.1 experiment:

**[speakleash/Bielik-1.5B-v3](https://huggingface.co/speakleash/Bielik-1.5B-v3)**

Bielik is not bundled with this repository and is not required for inference.

## Citation

```bibtex
@misc{KoliberV11Preview,
  author       = {Aleksander Ogrodzki},
  title        = {Koliber v1.1-Preview},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/OrisTeam/Koliber-v1.1-Preview},
  note         = {Experimental teacher-guided continued-training checkpoint of Koliber v1.0 Base}
}
```

## License

Apache-2.0.