Yosha/gemma-4-yakut-gguf

Gemma 4 E4B (Yakut/Sakha) — GGUF (Q4_K_M) + mmproj

Yakut (Sakha) adaptation of Gemma 4 E4B IT exported to GGUF for llama.cpp-based runtimes (desktop/mobile).

This repo contains:

• merged_model.Q4_K_M.gguf — the quantized language model (text/chat).
• merged_model.F16-mmproj.gguf — the multimodal projector (mmproj) required for image inputs.

If you only need text generation/chat, you typically use only the Q4_K_M.gguf file.
For image+text (VLM) inference, you need both files.

What’s inside (training summary)

• Base model: unsloth/gemma-4-e4b-it
• Method: LoRA fine-tuning (adapters were trained, then merged into base weights)
• Language focus: Sakha (Yakut) (with some RU possible depending on prompts/data)
• Training run: 500 steps
• Loss: 87.7 → 6.7 (training loss trend during the run)
• Training data: cleaned synthetic Yakut dialogue dataset (121,651 dialogues)

Files

• merged_model.Q4_K_M.gguf
  Quantization: Q4_K_M (good quality/size tradeoff for mobile).

• merged_model.F16-mmproj.gguf
  F16 mmproj file for Gemma4 multimodal pipeline (used with --mmproj).

How to run (llama.cpp)

Text-only chat

./llama-cli -m merged_model.Q4_K_M.gguf \
  -p "Дорообо! Сахалыы тылынан кэпсээ." \
  -n 200 --temp 1.0 --top-p 0.95 --top-k 64

---
license: gemma
language:
  - sah
  - ru
base_model:
  - unsloth/gemma-4-E4B-it
datasets:
  - Yosha/yakut-dialogs
pipeline_tag: text-generation
library_name: gguf
tags:
  - gemma4
  - yakut
  - sakha
  - sah
  - lora
  - gguf
  - q4_k_m
  - unsloth
  - multimodal
  - low-resource-language
---

# 🦣 Gemma 4 E4B — Якутская версия (GGUF)

Первая публичная языковая модель на якутском языке (саха тыла),
дообученная на базе Google Gemma 4 E4B.

## 📖 Описание

Модель создана методом дообучения (LoRA fine-tuning) базовой модели
`unsloth/gemma-4-E4B-it` на якутском языке. Обучение проводилось
на датасете из 121 651 диалога на якутском языке.

**Автор:** Yosha (Alexey)  
**Дата:** Апрель 2026  
**Метод обучения:** LoRA (Low-Rank Adaptation) через Unsloth  
**Платформа:** Kaggle (GPU Tesla T4 x2)

## 📊 Результаты обучения

| Параметр | Значение |
|----------|----------|
| Шагов обучения | 500 |
| Loss (начало) | 87.7 |
| Loss (конец) | 6.7 |
| Датасет синтетический | 121 651 диалогов |
| Язык датасета | Якутский (саха) |

## 📁 Файлы

| Файл | Размер | Описание |
|------|--------|----------|
| `merged_model.Q4_K_M.gguf` | 5.34 GB | Основная модель (4-bit квантизация) |
| `merged_model.F16-mmproj.gguf` | 0.99 GB | Визуальный модуль (для работы с картинками) |

> ⚠️ Для полной работы модели нужны **оба файла**.

## 🚀 Быстрый старт

### На компьютере (llama.cpp)

```bash
# Только текст
./llama-cli \
  -m merged_model.Q4_K_M.gguf \
  -p "Дорообо! Сахалыы тылынан кэпсээ." \
  -n 200

# С картинками (мультимодальный режим)
./llama-mtmd-cli \
  -m merged_model.Q4_K_M.gguf \
  --mmproj merged_model.F16-mmproj.gguf \
  --image photo.jpg \
  -p "Бу хартыынаҕа тугу көрөҕүн?"