BAB 08

08 - Fine-Tuning LLMs: LoRA, QLoRA, RLHF, DPO, dan Unsloth

Estimasi Waktu: 55 menit
Level: Advanced

RAG vs. Fine-Tuning: Kapan Harus Melakukan Apa?

Sebelum melakukan fine-tuning, Anda wajib paham perbedaannya dengan RAG:

Fitur	RAG	Fine-Tuning
Tujuan	Memberi akses informasi baru/dinamis.	Mengubah gaya bicara, format output, atau memperdalam pemahaman domain khusus.
Pengetahuan Baru	Sangat mudah (tinggal update Vector DB).	Sulit (model rentan mengalami catastrophic forgetting).
Kebutuhan GPU	Rendah (tidak melatih model).	Tinggi (butuh GPU VRAM besar).
Kompleksitas	Sedang.	Tinggi.

Aturan praktisnya: Gunakan RAG untuk fakta. Gunakan Fine-Tuning untuk gaya, format, dan instruksi khusus.

1. Parameter-Efficient Fine-Tuning (PEFT) & LoRA

Melatih seluruh parameter LLM (Full Fine-Tuning) sangat mahal karena membutuhkan puluhan GPU H100. Industri menggunakan PEFT (Parameter-Efficient Fine-Tuning), dengan teknik paling populer bernama LoRA (Low-Rank Adaptation).

Konsep LoRA:

Dibanding memperbarui matriks bobot ($W$) berukuran raksasa pada LLM, LoRA mengunci bobot asli model dan menyisipkan dua matriks adaptor kecil berpangkat rendah ($A$ dan $B$) secara paralel. Ini mengurangi jumlah parameter yang perlu dilatih hingga 99%.

  INPUT ───┬───────────────────► WEIGHTS (Locked: W) ───┬───► OUTPUT
           │                                            │
           └─► ADAPTER A (Rank r) ──► ADAPTER B (r) ───┘

2. QLoRA: Fine-Tuning di Satu GPU

QLoRA (Quantized LoRA) menyempurnakan LoRA dengan melakukan kuantisasi model dasar ke format 4-bit (NormalFloat4) dan menggunakan optimasi memori tingkat lanjut (Double Quantization & Paged Optimizers).

Dengan QLoRA, model berukuran 7B atau 8B parameter (seperti Llama-3-8B) dapat difine-tune di satu GPU konsumer (seperti RTX 3090/4090 dengan 24GB VRAM) bukan kluster server.

3. Alignment: RLHF & DPO

Setelah model dilatih mengikuti instruksi, model perlu diselaraskan (aligned) agar aman, jujur, dan tidak beracun (helpful, harmless, honest).

RLHF (Reinforcement Learning from Human Feedback): Menggunakan model reward terpisah untuk melatih LLM menggunakan algoritma PPO. RLHF sangat kompleks dan tidak stabil.
DPO (Direct Preference Optimization): Metode modern yang menyederhanakan RLHF dengan membuang model reward. DPO langsung mengoptimalkan LLM berdasarkan pasangan jawaban pilihan (preferred vs. rejected responses) secara langsung menggunakan cross-entropy loss yang sederhana.

4. Modern Tools: Unsloth & Axolotl

Unsloth: Library open-source yang sangat populer karena mampu melatih model LLM (Llama, Mistral, Gemma) hingga 2x lebih cepat dan menghemat VRAM hingga 80% tanpa menurunkan akurasi dengan menulis ulang kernel GPU PyTorch menggunakan Triton secara native.
Axolotl: Framework berbasis konfigurasi YAML yang mempermudah orkestrasi training model tanpa menulis kode PyTorch dari nol.

Contoh Konfigurasi Axolotl (dataset & hyperparameter):

base_model: meta-llama/Meta-Llama-3-8B-Instruct
load_in_4bit: true
adapter: lora
lora_r: 16
lora_alpha: 32
datasets:
  - path: ojan/dataset_percakapan_indo
    type: sharegpt
dataset_prepared_path: last_run_prepared
val_set_size: 0.05
output_dir: ./model_output
sequence_len: 2048
learning_rate: 0.0002

Latihan

Buka Notebook Google Colab gratis. Coba jalankan tutorial fine-tuning dari notebook resmi Unsloth untuk melatih model Llama 3.2 1B/3B dengan dataset kustom Anda.
Pelajari format dataset ShareGPT dan Alpaca untuk fine-tuning instruksi. Ubah data percakapan Anda menjadi format tersebut.

Target: Memahami proses teknis melatih model kustom menggunakan LoRA/QLoRA dan bagaimana mempersiapkan dataset training.