Context Window: Meja Kerja Model

Model bahasa itu pelupa — bukan karena lemah, tapi karena ia hanya melihat apa yang ada di context window: seluruh teks (sistem + obrolan + dokumen) yang diproses dalam satu permintaan.

Anggap meja kerja: prompt kamu, dokumen yang kamu tempel, dan semua balasan sebelumnya harus muat di atas meja itu. Meja penuh = hal paling lama tidak terlihat lagi.

Token, bukan kata

Ukuran context window dihitung dalam token — potongan kata. Bahasa Indonesia kira-kira 1 token ≈ 3–4 karakter (istilah teknis Inggris bisa lebih hemat). Jadi context window 128 ribu token ≈ ratusan halaman teks. Model terbaru mencapai 1 juta token — tapi "muat semua" ≠ "dibaca semua".

Masalah nyata: lost in the middle

Riset berulang kali menemukan pola: model paling teliti pada awal dan akhir context window. Informasi di tengah dokumen panjang sering "masuk mata tapi tidak diproses". Implikasi praktisnya:

• Instruksi penting → taruh di awal (system prompt) atau ulangi di akhir.
• Kalau dokumen sangat panjang, meringkas per bagian dulu sering lebih akurat daripada membuang semuanya sekaligus.

Ke mana memori lama pergi

Perhatikan: LLM tidak punya memori permanen. Yang terlihat seperti "ingat obrolan kita" adalah aplikasi yang mengirim ulang riwayat obrolan tiap kali kamu kirim pesan. Kalau riwayatnya melebihi window, aplikasi memotong atau meringkas bagian lama — dan model "lupa".

Ini pula kenapa teknik seperti RAG (materi berikutnya) penting: alih-alih memaksa semua dokumen masuk meja, ambil saja halaman yang relevan saat dibutuhkan.

Hemat dan efektif

• Potong riwayat yang tidak relevan sebelum kirim ulang.
• Meringkas dulu > menempel mentah-mentah.
• Satu tugas = satu prompt yang bersih, bukan obrolan 50 giliran yang berantakan.

Ukur sendiri

Playground Context Window menampilkan perkiraan token teks kamu secara langsung — tempel dokumen, lihat pemakaian meja kerjanya, lalu minta model meringkasnya.