RAG: Kasih Model Buku Catatan Sebelum Ditanya

Ada dua cara membuat AI menjawab tentang dokumenmu:

1. Fine-tuning — latih ulang model dengan datamu. Mahal, lambat update, dan tetap tidak menjamin jawaban akurat.
2. RAG — saat user bertanya, sistem mencarikan potongan dokumen yang relevan, lalu menempelkannya ke prompt: "jawab HANYA dari teks berikut".

Hampir selalu mulai dari yang kedua. RAG itu murah, instan terhadap data baru, dan bisa menunjukkan sumber jawabannya.

Alur lengkapnya

Saat indexing (sekali, atau tiap dokumen berubah):

1. Pecah dokumen jadi chunk (200–500 token, sedikit tumpang-tindih biar konteks tidak terpotong di tengah ide).
2. Ubah tiap chunk jadi embedding, simpan di vector database.

Saat user bertanya:

1. Ubah pertanyaan jadi embedding.
2. Cari k chunk yang paling mirip (cosine similarity).
3. Susun prompt: instruksi + chunk terpilih + pertanyaan.
4. Model menjawab berdasarkan chunk itu, idealnya menyebut sumbernya.

Kenapa ini mengurangi halusinasi

Tanpa RAG, model menebak dari pengetahuan samar bobotnya — bebas mengarang. Dengan instruksi "jawab hanya dari konteks", tebakannya dipagari: kalau info tidak ada di chunk, model diarahkan menjawab "tidak ditemukan". Bukti jawaban bisa kamu cek langsung di chunk yang ditampilkan.

Jebakan-jebakan yang sering kejadian

• Chunk kegedean/kekecilan. Kegedean → prompt penuh dan bocor ke banyak topik. Kekecilan → potongan ide tengahnya hilang.
• Pertanyaan yang maknanya jauh dari isi dokumen. "Kenapa laba Q3 turun?" tidak akan menemukan chunk laporan keuangan kalau embeddernya menangkap makna yang salah — uji dengan pertanyaan nyata dari user asli.
• Tanpa sumber. Selalu minta model mengutip chunk mana yang jadi dasar jawaban; ini bikin jawaban bisa diaudit.
• Lupa evaluasi. Siapkan 20 pertanyaan + jawaban benar, jalankan berkala. RAG yang tidak diuji = RAG yang diam-diam salah.

Kapan fine-tuning tetap perlu

Kalau yang kamu inginkan adalah gaya atau perilaku (tone brand, format laporan khusus), fine-tuning berguna. Tapi untuk pengetahuan — dokumen, SOP, katalog — RAG hampir selalu pilihan yang lebih tepat. Sering keduanya dipakai bersama.

Bangun sendiri sekarang

Di Playground RAG ada mini knowledge base siap pakai. Nyalakan/matikan RAG, atur berapa chunk yang diambil, dan lihat sendiri perbedaan jawabannya — lengkap dengan potongan yang dipilih.