jodiox/olmo3-7b-zh-lora

基于 allenai/Olmo-3-7B-Instruct 的 LoRA SFT 微调版本。

训练配置

参数	值
基座模型	allenai/Olmo-3-7B-Instruct
量化	4bit (bitsandbytes)
LoRA 秩 r	16
LoRA alpha	16
学习率	1e-4
Epochs	2
数据集	jodiox/my-sft-dataset
训练框架	unsloth + TRL SFTTrainer

用法

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="jodiox/olmo3-7b-zh-lora",
    max_seq_length=2048,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)