valendra/qwen3.5-4b-andalusian

valendra/qwen3.5-4b-andalusian es una adaptación de Qwen/Qwen3.5-4B orientada a responder en español sobre temas relacionados con Andalucía.

El modelo se ha afinado con el dataset valendra/andalusian-synthetic.

Mejora frente al modelo base

En pruebas cualitativas manuales, esta versión tiende a rendir mejor que Qwen/Qwen3.5-4B en preguntas sobre Andalucía.

Las mejoras más visibles son:

• mejor ajuste temático en historia, cultura e identidad andaluza;
• respuestas más centradas en el dominio, con menos desvíos genéricos;
• mejor separación entre hechos históricos, memoria popular y tradición oral;
• menos errores graves en comparaciones manuales sobre figuras y temas andaluces.

Ejemplos de mejora observada:

• Blas Infante: la versión afinada tiende a responder de forma más centrada en el andalucismo y con menos alucinaciones biográficas que el modelo base.
• Constitución de Cádiz de 1812: la versión afinada suele distinguir mejor entre el hecho histórico y su recuerdo simbólico o popular.
• Flamenco: la versión afinada organiza mejor respuestas que piden separar raíces históricas y tradición oral.

Uso con Transformers

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "valendra/qwen3.5-4b-andalusian"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {
        "role": "user",
        "content": "¿Qué papel tuvo Blas Infante en el andalucismo y qué hechos históricos lo respaldan?"
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=400,
        temperature=0.2,
        do_sample=True,
    )

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)

print(response)

Ejemplo rápido

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="valendra/qwen3.5-4b-andalusian",
    tokenizer="valendra/qwen3.5-4b-andalusian",
    trust_remote_code=True,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Explícame qué es el flamenco y por qué es importante en Andalucía."}
]

result = pipe(messages, max_new_tokens=300, temperature=0.2, do_sample=True)
print(result[0]["generated_text"][-1]["content"])

Prompts de ejemplo

¿Qué papel tuvo Blas Infante en el andalucismo y qué hechos históricos lo respaldan?

¿Qué papel tuvo la ciudad de Cádiz en la promulgación de la Constitución de 1812 y cómo se recuerda en la tradición oral?

¿Cómo se explica la evolución del flamenco desde sus raíces hasta la actualidad, diferenciando historia y tradición?

¿Cómo influye la memoria popular en la identidad andaluza sin confundirla con hechos documentados?

Notas

• El modelo está pensado para chat en español.
• Para mejores resultados, usa mensajes en formato conversación.
• Aunque está ajustado al dominio andaluz, conviene verificar datos históricos concretos si necesitas alta precisión.