Файнтюнинг модели 70B на одной карте.

Что реально помещается

LoRA замораживает модель и обучает небольшую пару низкоранговых матриц рядом с каждой матрицей весов. QLoRA идёт дальше и хранит замороженные веса в 4-битном формате. В результате то, что нужно держать в памяти, меняется полностью.

Почему с полным файнтюнингом всё иначе

Полный файнтюнинг в BF16 требует около 16 байт на параметр: 2 на сам вес, 2 на его градиент и 8 на два момента Adam в FP32, плюс мастер-копия. Это фиксированный множитель, и он безжалостен.

Это оценки порядка величины с небольшим запасом на активации — их достаточно, чтобы выбрать машину, но не достаточно, чтобы обещать результат конкретного запуска. Длина последовательности и размер батча заметно двигают столбец QLoRA; столбец полного файнтюнинга почти не меняется, потому что в нём доминируют фиксированные 16 байт на параметр.

По моделям

Самый дешёвый узел в нашем каталоге, способный обучить каждую модель с помощью QLoRA, а рядом — машина, которая понадобится для инференса результата.

Обучению нужна память; инференсу нужна память и пропускная способность. Часто правильная карта для обучения — дешёвая, с большим объёмом памяти, а правильная карта для инференса — дорогая и быстрая. Поскольку обе доступны здесь помесячно, запускать их на разных машинах часто дешевле, чем идти на компромисс с одной.

Запуск

Axolotl предустановлен как один из образов в конфигураторе. Это полный прогон на одной карте, с чистой машины.

$ mkdir -p /scratch/ft && cd /scratch/ft
$ cat > qlora.yml <<'YAML'
base_model: meta-llama/Llama-3.3-70B-Instruct
load_in_4bit: true
adapter: qlora
lora_r: 16
lora_alpha: 32
lora_dropout: 0.05
lora_target_linear: true

sequence_len: 2048
sample_packing: true
gradient_checkpointing: true
micro_batch_size: 1
gradient_accumulation_steps: 16
num_epochs: 2
learning_rate: 0.0001
optimizer: paged_adamw_8bit
bf16: true

datasets:
  - path: /scratch/ft/data.jsonl
    type: chat_template
output_dir: /scratch/ft/out
YAML

$ docker run --rm --gpus all --ipc=host --shm-size=16g \
    -v /scratch/ft:/workspace -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    axolotlai/axolotl:main-latest \
    axolotl train /workspace/qlora.yml

$ nvidia-smi dmon -s um

# If memory sits just under the card's total, you are one long batch
# away from an out-of-memory error four hours into the run.
# Lower sequence_len or micro_batch_size now, not then.

Настройки, которые имеют значение

Сколько стоит месяц

Причина, по которой помесячная аренда важнее для обучения, чем для инференса: проект файнтюнинга — это не один прогон. Это первый прогон, который падает из-за бага в данных, второй, который переобучается, третий, который срабатывает, а затем ещё пять — с разными рангами.

Сравните это с почасовой оплатой в рамках проекта, а не одного прогона: руководство по точке окупаемости разбирает эту арифметику. Машина, которая существует три недели, пока вы итерируете, — это именно тот случай, когда почасовая тарификация обходится дороже, чем срок аренды.

Где LoRA перестаёт работать

Это очень хорошая техника с реальной границей применимости, и прежде чем что-то арендовать, стоит понять, по какую сторону этой границы вы находитесь.

Для всего остального — тона, формата, схемы, области, которую базовая модель уже наполовину знает — QLoRA на одной карте даёт бо́льшую часть качества за долю стоимости машины. Это и есть компромисс, и для моделей, которые люди чаще всего дообучают на практике, он хорош.