Tek bir kartta 70B bir modeli fine-tuning yapmak.

Gerçekte sığan

LoRA modeli dondurur ve her ağırlık matrisinin yanına küçük bir çift düşük ranklı matris ekleyip eğitir. QLoRA daha da ileri gider ve dondurulmuş ağırlıkları 4 bitte tutar. Sonuç olarak bellekte tutmanız gereken şey tamamen değişir.

Tam fine-tuningin neden durmadığı

BF16'da tam fine-tuning, parametre başına yaklaşık 16 bayt gerektirir: ağırlık için 2, gradyanı için 2 ve FP32'de Adam'ın iki momenti için 8, artı ana kopya. Bu sabit bir çarpandır ve acımasızdır.

Bunlar, aktivasyonlar için makul bir pay bırakılmış büyüklük mertebesi rakamlarıdır: bir makine seçmeye yeter, belirli bir çalıştırmayı garanti etmeye yetmez. Dizi uzunluğu ve batch boyutu QLoRA sütununu önemli ölçüde değiştirir; tam fine-tuning sütunu ise neredeyse hiç değişmez, çünkü parametre başına sabit 16 bayt burada baskındır.

Modele göre

Kataloğumuzda her modeli QLoRA ile eğitebilecek en ucuz düğüm, sonucu sunmak için ihtiyaç duyacağınız makineyle birlikte.

Eğitim bellek ister; çıkarım ise bellek ve bant genişliği ister. Doğru eğitim kartının ucuz ve büyük bellekli, doğru çıkarım kartının ise pahalı ve hızlı olması sık görülür — ve burada ikisi de aylık olduğundan, iki ayrı makinede çalıştırmak genellikle tek bir kartta uzlaşmaktan daha ucuzdur.

Çalıştırmak

Axolotl, yapılandırıcıdaki imajlardan biri olarak önceden kurulu gelir. Bu, boş bir makineden başlayarak tek bir kartta yapılan eksiksiz bir çalıştırmadır.

$ mkdir -p /scratch/ft && cd /scratch/ft
$ cat > qlora.yml <<'YAML'
base_model: meta-llama/Llama-3.3-70B-Instruct
load_in_4bit: true
adapter: qlora
lora_r: 16
lora_alpha: 32
lora_dropout: 0.05
lora_target_linear: true

sequence_len: 2048
sample_packing: true
gradient_checkpointing: true
micro_batch_size: 1
gradient_accumulation_steps: 16
num_epochs: 2
learning_rate: 0.0001
optimizer: paged_adamw_8bit
bf16: true

datasets:
  - path: /scratch/ft/data.jsonl
    type: chat_template
output_dir: /scratch/ft/out
YAML

$ docker run --rm --gpus all --ipc=host --shm-size=16g \
    -v /scratch/ft:/workspace -v /scratch/models:/root/.cache/huggingface \
    -e HF_TOKEN="$HF_TOKEN" \
    axolotlai/axolotl:main-latest \
    axolotl train /workspace/qlora.yml

$ nvidia-smi dmon -s um

# If memory sits just under the card's total, you are one long batch
# away from an out-of-memory error four hours into the run.
# Lower sequence_len or micro_batch_size now, not then.

Önemli olan ayarlar

Bir ayın maliyeti

Aylık kiralamanın sunumdan çok eğitim için önemli olmasının nedeni şu: bir fine-tuning projesi tek bir çalıştırma değildir. Bir veri hatasıyla başarısız olan ilk çalıştırma, aşırı öğrenen ikincisi, işe yarayan üçüncüsü ve ardından farklı ranklarla beş çalıştırma daha demektir.

Bunu tek bir çalıştırma yerine bir proje boyunca saatlik fiyatlandırmayla karşılaştırın: başabaş rehberi hesaplamayı yapar. Siz denemeler yaparken üç hafta boyunca var olan bir makine, tam olarak bir sayacın bir süreden daha pahalıya geldiği durumdur.

LoRA'nın artık işe yaramadığı nokta

Gerçek bir sınırı olan çok iyi bir tekniktir ve herhangi bir şey kiralamadan önce bu sınırın hangi tarafında olduğunuzu bilmeye değer.

Geri kalan her şey için — bir ton, bir format, bir şema, temel modelin zaten yarı yarıya bildiği bir alan — tek bir kartta QLoRA, makinenin bir kısmıyla kalitenin çoğuna ulaşır. Takas budur ve çoğu insanın gerçekte fine-tuning yaptığı modellerde iyi bir takastır.