Fazendo fine-tuning de um modelo de 70B em uma placa.

O que realmente cabe

O LoRA congela o modelo e treina um pequeno par de matrizes de rank baixo ao lado de cada matriz de pesos. O QLoRA vai além e mantém os pesos congelados em 4 bits. O que você precisa manter em memória muda completamente como resultado.

Por que o fine-tuning completo não

O fine-tuning completo em BF16 precisa de cerca de 16 bytes por parâmetro: 2 para o peso, 2 para o gradiente, e 8 para os dois momentos do Adam em FP32, mais a cópia mestra. É um multiplicador fixo, e é brutal.

Estes são valores de ordem de grandeza, com uma folga modesta para ativações — suficientes para escolher uma máquina, não para prometer uma execução específica. O comprimento de sequência e o tamanho do lote alteram consideravelmente a coluna QLoRA; a coluna de fine-tuning completo quase não se move, porque é dominada pelos 16 bytes fixos por parâmetro.

Modelo por modelo

O nó mais barato do nosso catálogo que consegue treinar cada modelo com QLoRA, ao lado da máquina que você precisaria para servir o resultado.

O treinamento quer memória; o serving quer memória e largura de banda. É comum que a placa certa para treinamento seja uma placa barata e com muita memória, e que a placa certa para serving seja uma placa cara e rápida — e, como aqui as duas são mensais, rodar as duas em máquinas diferentes costuma sair mais barato do que abrir mão de uma delas.

Executando

O Axolotl vem pré-instalado como uma das imagens no configurador. Esta é uma execução completa em uma única placa, a partir de uma máquina vazia.

$ mkdir -p /scratch/ft && cd /scratch/ft
$ cat > qlora.yml <<'YAML'
base_model: meta-llama/Llama-3.3-70B-Instruct
load_in_4bit: true
adapter: qlora
lora_r: 16
lora_alpha: 32
lora_dropout: 0.05
lora_target_linear: true

sequence_len: 2048
sample_packing: true
gradient_checkpointing: true
micro_batch_size: 1
gradient_accumulation_steps: 16
num_epochs: 2
learning_rate: 0.0001
optimizer: paged_adamw_8bit
bf16: true

datasets:
  - path: /scratch/ft/data.jsonl
    type: chat_template
output_dir: /scratch/ft/out
YAML

$ docker run --rm --gpus all --ipc=host --shm-size=16g \
    -v /scratch/ft:/workspace -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    axolotlai/axolotl:main-latest \
    axolotl train /workspace/qlora.yml

$ nvidia-smi dmon -s um

# If memory sits just under the card's total, you are one long batch
# away from an out-of-memory error four hours into the run.
# Lower sequence_len or micro_batch_size now, not then.

As configurações que importam

Quanto custa um mês

O motivo pelo qual o mensal importa mais para treinamento do que para serving: um projeto de fine-tuning não é uma única execução. É uma primeira execução que falha por um bug nos dados, uma segunda que sofre overfitting, uma terceira que funciona, e depois mais cinco com ranks diferentes.

Compare isso com a cobrança por hora ao longo de um projeto, e não de uma única execução: o guia de ponto de equilíbrio faz as contas. Uma máquina que existe por três semanas enquanto você itera é exatamente o caso em que a cobrança por hora custa mais do que um prazo.

Onde o LoRA para de funcionar

É uma técnica muito boa com um limite real, e vale a pena saber de que lado dele você está antes de alugar qualquer coisa.

Para tudo o mais — um tom, um formato, um esquema, um domínio que o modelo base já conhece parcialmente — o QLoRA em uma única placa alcança a maior parte da qualidade por uma fração da máquina. Essa é a troca, e, nos modelos que a maioria das pessoas realmente ajusta, é uma boa troca.