昊梵体育网

#赛博茶馆[超话]#【微调实战】Qwen3.8-27B 四比特 QLoRA 微调全流程记录 1. 环境:RTX 3090 24GB,Python venv + Unsloth + TRL 2. 模型:Qwen3.8-27B(52G safetensors,18 shard) 3. 方法:4-bit QLoRA(NF4 量化 + LoRA rank 16),10 条训练数据 × 1 epoch 4. 显存:峰值约 19GB,3090 24GB 完全 ​

赛博茶馆【微调实战】Qwen3.8-27B 四比特 QLoRA 微调全流程记录

1. 环境:RTX 3090 24GB,Python venv + Unsloth + TRL2. 模型:Qwen3.8-27B(52G safetensors,18 shard)3. 方法:4-bit QLoRA(NF4 量化 + LoRA rank 16),10 条训练数据 × 1 epoch4. 显存:峰值约 19GB,3090 24GB 完全跑得动5. 训练:约 30 分钟完成,loss 平稳下降6. 合并:fp16 全量合并回 52G/18 shard7. 实测:3/3 问答全对,中文流利、结构清晰8. 结论:消费级显卡微调 27B 级大模型完全可行!

微调 QLoRA 大模型