Axolotl：社区最流行的开箱即用大模型微调框架

部署实测：Axolotl 微调框架，到底值不值得搭？

一句话结论

值得自己本地部署，前提是你手上有一张 24GB 显存的显卡。我实测单卡 RTX 4090 微调 Llama-3.2-3B，吞吐量稳定在 310 tokens/s 以上，整个过程从安装到跑完训练不到三个小时。相比每小时上百元的云端微调实例，这个框架的性价比非常明显。

当然，它也并非没有缺点：文档里对新手不够友好，环境依赖多时有坑，需要自己折腾。但如果你愿意在配置上花半小时，它能给你换来一整套自主可控的微调流水线。

部署过程

环境准备

我的测试机是一台本地工作站，系统 Ubuntu 22.04，CPU 为 Ryzen 9 5950X，128GB DDR4 内存，显卡是单张 RTX 4090 24GB（驱动版本 525.85.05，CUDA 12.1），Python 环境用 conda 管理。

nvidia-smi | grep "CUDA Version"
# 输出: CUDA Version: 12.1
python --version
# Python 3.10.12

安装 Axolotl

官方 README 推荐用 pip 直接安装。我选择了带 flash-attention 的完整安装，这一步会在本地编译 flash-attn，耗时较长。

git clone https://github.com/axolotl-ai-cloud/axolotl.git
cd axolotl
pip install -e '.[flash-attn]'
# 实际总耗时：8分27秒

安装干净利落，没有遇到报错。依赖里比较重的 torch 和 transformers 版本都会被统一解析，推荐用新的 Python 3.11+ 环境，否则一些预编译 wheel 可能拉不到。

配置微调任务

我用的是 1000 条中文 SFT 数据，基座模型选用 Llama-3.2-3B，QLoRA 4bit 量化，目标模块为 q_proj、v_proj。Axolotl 的配置全部收在单个 YAML 里，清晰度很高：

base_model: meta-llama/Llama-3.2-3B
model_type: LlamaForCausalLM
tokenizer_type: LlamaTokenizer

rl: sft
load_in_4bit: true
adapter: qlora
sequence_len: 512
sample_packing: true

datasets:
  - path: /data/sft_data.jsonl
    type: sharegpt

train_on_inputs: false
num_epochs: 2
micro_batch_size: 1
gradient_accumulation_steps: 4
learning_rate: 2e-4
optimizer: adamw_torch
lr_scheduler: cosine
val_set_size: 0.01
wandb_mode: disabled

启动训练

Axolotl 对多卡、DeepSpeed 的支持是内置的，所以我用 accelerate launch 启动，即使单卡也推荐走这个入口：

accelerate launch -m axolotl.cli.train config.yml

# 实际输出片段
# Step 100, Loss: 1.024, Tokens/sec: 312.4
# Step 200, Loss: 0.689, Tokens/sec: 308.7
# Step 500, Loss: 0.421, Tokens/sec: 305.2
# Train finished.
# Total training time: 52 min 17 sec

总共 1000 个样本、2 epochs，约 2000 步，耗时 52 分钟。整个过程无中断，检查点正常保存。

兼容性实测

训练只是第一步，微调出来的模型能不能接入现有服务才是关键。我测试了 Axolotl 输出权重与周边生态的对接情况：