BAB 17
Sumber: Disusun berdasarkan riset terkini tentang RAG, vector databases, dan knowledge-augmented AI Estimasi Waktu: 40-50 menit Prasyarat: Pelajaran 04 (Generative AI Fundamentals)
Materi ini menjelaskan RAG (Retrieval-Augmented Generation), salah satu teknik terpenting untuk membuat AI lebih akurat dan relevan. RAG mengatasi salah satu keterbatasan terbesar AI: pengetahuan yang terbatas dan kadang usang. Dengan RAG, AI bisa mengakses informasi terkini dan spesifik dari sumber yang kamu tentukan.
Setelah mempelajari materi ini, kamu akan mampu:
┌──────────────────────────────────────────────────────┐
│ KETERBATASAN PENGETAHUAN AI │
├──────────────────────────────────────────────────────┤
│ │
│ 1. KNOWLEDGE CUTOFF │
│ → Pengetahuan AI berhentu di tanggal tertentu │
│ → Tidak tahu peristiwa setelahnya │
│ │
│ 2. HALUSINASI │
│ → AI bisa membuat jawaban yang terdengar benar │
│ tapi sebenarnya salah │
│ │
│ 3. KURANG SPESIFISITAS │
│ → Pengetahuan umum, bukan spesifik organisasi │
│ → Tidak tahu SOP, data internal, konteks unik │
│ │
│ 4. TIDAK BISA MENYITIR │
│ → Sulit memberikan referensi tepat ke sumber │
│ │
└──────────────────────────────────────────────────────┘User: "Berapa kebijakan cuti tahunan di perusahaan saya?"
AI (tanpa RAG): "Kebijakan cuti bervariasi antar perusahaan..." ← Generik, tidak spesifik
AI (dengan RAG): "Berdasarkan dokumen HR perusahaan Anda, karyawan mendapat 12 hari cuti tahunan..." ← Spesifik dan akuratRetrieval-Augmented Generation (RAG) adalah teknik di mana AI mencari informasi relevan dari sumber eksternal sebelum menghasilkan jawaban. Alih-alih mengandalkan pengetahuan bawaan saja, AI mengambil konteks spesifik dari database, dokumen, atau API.
AI tanpa RAG = Menjawab ujian dengan open-book tapi bukunya di rumah
(hanya mengandalkan apa yang diingat)
AI dengan RAG = Menjawab ujian dengan open-book dan bukunya ada di meja
(bisa melihat referensi yang tepat sebelum menjawab)| Aspek | RAG | Fine-tuning | Prompt Biasa |
|---|---|---|---|
| Biaya | Rendah-Sedang | Tinggi | Rendah |
| Data terkini | Ya (real-time) | Tidak (perlu retrain) | Tidak |
| Spesifisitas | Tinggi | Sedang | Rendah |
| Sumber bisa disitir | Ya | Tidak | Tidak |
| Kompleksitas setup | Sedang | Tinggi | Rendah |
| Privacy control | Tinggi (data lokal) | Sedang | Rendah |
┌─────────────────────────────────────────────────────────────┐
│ ALUR KERJA RAG │
│ │
│ FASE INDEXING (dilakukan sekali/sekaligus) │
│ │
│ Dokumen ──► Chunking ──► Embedding ──► Vector Database │
│ (PDF, dll) (pecah (ubah jadi (simpan │
│ jadi potongan) angka/vektor) vektor) │
│ │
│ ────────────────────────────────────────────────────── │
│ │
│ FASE QUERY (setiap kali user bertanya) │
│ │
│ Pertanyaan ──► Embedding ──► Search ──► Retrieve │
│ User (ubah jadi (cari yang (ambil top-k │
│ vektor) paling mirip) chunk terbaik) │
│ │
│ │ │
│ v │
│ │
│ Pertanyaan + Konteks ──► LLM ──► Jawaban │
│ (retrieved chunks) (generate (dengan sumber │
│ dengan konteks) yang bisa disitir) │
│ │
└─────────────────────────────────────────────────────────────┘Mengumpulkan sumber pengetahuan:
Memecah dokumen panjang menjadi potongan-potongan kecil:
Dokumen asli (5000 kata):
┌─────────────────────────────────────┐
│ Paragraf 1 │ Paragraf 2 │ Paragraf 3 │ ...
└─────────────────────────────────────┘
Setelah chunking:
Chunk 1: [Paragraf 1 + awal Paragraf 2]
Chunk 2: [Paragraf 2 + awal Paragraf 3]
Chunk 3: [Paragraf 3 + awal Paragraf 4]
...Mengubah setiap chunk menjadi vektor (serangkaian angka) yang merepresentasikan makna semantiknya:
"Saya suka makan nasi goreng" → [0.12, -0.34, 0.56, ..., 0.78] (1536 dimensi)
"Makanan favorit saya adalah nasi goreng" → [0.11, -0.33, 0.55, ..., 0.77]
↑ Mirip karena maknanya miripYang penting dipahami:
Menyimpan semua vektor di database yang dioptimalkan untuk pencarian similarity:
| Vector DB | Karakteristik |
|---|---|
| ChromaDB | Open-source, mudah digunakan, cocok untuk pemula |
| Pinecone | Cloud-managed, scalable, production-ready |
| Weaviate | Open-source, fitur lengkap, hybrid search |
| Qdrant | High-performance, Rust-based |
| FAISS | Library dari Meta, sangat cepat, in-memory |
| pgvector | Extension PostgreSQL, mudah diintegrasikan |
Pertanyaan user diubah menjadi vektor menggunakan model embedding yang sama.
Mencari chunk yang paling mirip (nearest neighbors) berdasarkan jarak vektor:
Pertanyaan: "Apa kebijakan cuti hamil?"
Vektor pertanyaan ──► Cari yang terdekat ──►
→ Chunk tentang "cuti hamil 3 bulan" (similarity: 0.94)
→ Chunk tentang "prosedur pengajuan cuti" (similarity: 0.72)
→ Chunk tentang "cuti tahunan 12 hari" (similarity: 0.45)Chunk yang ditemukan ditambahkan ke prompt sebagai konteks:
System: Jawab pertanyaan berdasarkan konteks yang diberikan.
Jika konteks tidak cukup, katakan bahwa kamu tidak tahu.
Konteks:
[Chunk 1: Kebijakan cuti hamil di perusahaan X adalah 3 bulan...]
[Chunk 2: Pengajuan cuti harus disetujui oleh supervisor...]
Pertanyaan: Apa kebijakan cuti hamil?
Jawab:Masalah: Chunk yang diambil tidak relevan atau yang relevan justru tidak ditemukan.
Solusi:
Masalah: LLM cenderung mengabaikan informasi di tengah-tengah konteks yang panjang.
Solusi:
Masalah: Beberapa pertanyaan membutuhkan informasi dari beberapa sumber berbeda.
Solusi:
Masalah: Meskipun dengan konteks, AI tetap bisa mengarang.
Solusi:
Pertanyaan: Apa yang ingin kamu capai?
┌─ Perilaku/style baru ────────────► FINE-TUNING
│ (AI harus bicara seperti ahli hukum,
│ menulis dalam gaya brand tertentu)
│
├─ Pengetahuan baru/fakta ─────────► RAG
│ (AI harus tahu data perusahaan,
│ kebijakan internal, info terkini)
│
├─ Keduanya ──────────────────────► RAG + FINE-TUNING
│ (AI harus tahu data internal DAN
│ berinteraksi dengan gaya tertentu)
│
└─ Cukup pengetahuan umum ────────► PROMPTING BIASA
(AI cukup menggunakan pengetahuan
bawaan dengan instruksi yang jelas)┌──────────────────────────────────────────────────────┐
│ RAG TECH STACK │
│ │
│ Framework: │
│ - LangChain / LlamaIndex / Haystack │
│ │
│ Embedding Model: │
│ - OpenAI text-embedding-3-small/large │
│ - Cohere embed-multilingual │
│ - Sentence Transformers (open-source) │
│ │
│ Vector Database: │
│ - ChromaDB / Pinecone / Weaviate / pgvector │
│ │
│ LLM: │
│ - Claude / GPT-4 / Gemini / Llama (open-source) │
│ │
│ Document Processing: │
│ - Unstructured / PyPDF / DocETL │
│ │
└──────────────────────────────────────────────────────┘# 1. Load dokumen
documents = load_documents("./knowledge_base/")
# 2. Pecah menjadi chunks
chunks = split_documents(documents, chunk_size=500, overlap=50)
# 3. Buat embedding dan simpan
for chunk in chunks:
embedding = embed(chunk.text)
vector_db.store(embedding, metadata=chunk.metadata)
# 4. Query time
def answer_question(question):
# Cari chunks relevan
query_embedding = embed(question)
relevant_chunks = vector_db.search(query_embedding, top_k=5)
# Buat prompt dengan konteks
context = "\n".join([chunk.text for chunk in relevant_chunks])
prompt = f"""
Berdasarkan konteks berikut, jawab pertanyaan.
Jika konteks tidak cukup, katakan kamu tidak tahu.
Konteks: {context}
Pertanyaan: {question}
"""
# Generate jawaban
answer = llm.generate(prompt)
return answer