Short-term vs Long-term Memory AI Agent 2026: Context Window dan Working Memory
Perbedaan short-term vs long-term memory AI agent 2026 menentukan apakah agen tetap relevan di sesi panjang atau hanya unggul di demo singkat. Artikel cluster ini membedah context window, working memory, dan long-term profile agar tim engineering Indonesia bisa merancang state yang hemat token dan stabil.
Ini bagian dari hub AI Agent Memory 2026. Setelah memahami lapisan short dan long-term, lanjut ke vector memory dan episodic store serta memory hygiene dan privacy.
Context window adalah RAM percakapan. Long-term memory adalah hard drive kebijakan bisnis. Jangan menyimpan arsip di RAM.
Apa Itu Short-term Memory di AI Agent
Short-term memory mencakup token di context window plus working state di luar model: goal aktif, daftar tool yang sudah dipanggil, hasil parsial, dan ringkasan rolling. Model hanya melihat apa yang Anda inject di prompt; sisanya harus dikelola aplikasi.
Kesalahan umum: menempel seluruh history chat setiap turn. Hasilnya latency naik, biaya membengkak, dan sinyal penting tenggelam. Solusi 2026: strukturkan state object, kompres history, dan pilih ulang hanya potongan relevan.
Working memory yang baik menjawab: apa tujuan user sekarang, langkah apa yang sudah selesai, data apa yang masih hilang, dan guardrail mana yang aktif. Field ini harus deterministic, bukan narasi bebas yang sulit diuji.
Pola ringkasan rolling
Setiap N turn, ringkas percakapan lama menjadi bullet fakta. Simpan ringkasan di session store, buang detail mentah yang tidak lagi diperlukan. Pertahankan kutipan ketat hanya untuk keputusan berisiko tinggi.
Slot filling untuk task agent
Untuk agen task-oriented, pakai slot: intent, entity, deadline, channel, confidence. Update slot tiap turn. Prompt model dengan slot, bukan log panjang. Ini menekan amnesia parsial di dialog multi-langkah.
Long-term Memory: Profil, Preferensi, dan Fakta Stabil
Long-term memory menyimpan informasi yang harus bertahan lintas sesi: preferensi bahasa, segmen pelanggan, policy diskon, role karyawan, atau batasan akses. Data ini jarang berubah dan harus punya owner plus proses update yang jelas.
Jangan campur long-term profile dengan knowledge dokumen. Profile adalah atribut entity; knowledge adalah konten yang di-retrieve. Campur keduanya membuat retention policy kacau dan audit sulit.
| Aspek | Short-term | Long-term |
|---|---|---|
| Horizon | Menit sampai jam (sesi) | Hari sampai tahun |
| Store tipikal | Redis / session DB | User profile DB terenkripsi |
| Isi | Goal, tool result, ringkasan | Preferensi, role, kebijakan |
Context Window Strategy 2026
Bagi budget token: system policy, profile ringkas, retrieved snippets, working state, dan user message terbaru. Urutan prioritas menjaga agar guardrail tidak terdorong keluar saat dialog memanjang.
Gunakan model routing: model kecil untuk update state dan klasifikasi intent, model besar hanya saat reasoning berat. Short-term memory yang rapi membuat routing lebih akurat karena input lebih bersih.
- Hard cap history: batasi N turn mentah, sisanya ringkas.
- Pin policy: selalu inject aturan kritis di awal prompt.
- Pin goal: goal aktif selalu hadir sampai completed atau cancelled.
- Drop noise: buang small talk yang tidak memengaruhi keputusan.
- Trace token: log ukuran tiap blok prompt untuk optimasi.
Implementasi Praktis untuk Stack Umum
Di LangGraph atau orchestrator serupa, simpan state typed (Pydantic/dataclass). Jangan andalkan string monolitik. Di API gateway, pasang middleware yang meredact secret sebelum state di-persist. Di frontend channel, kirim conversation_id stabil agar short-term bisa dilanjutkan.
Untuk multi-agent, short-term per agent harus terisolasi. Shared blackboard hanya berisi field yang disepakati. Tanpa isolasi, satu specialist bisa mengotori context specialist lain.
Hubungkan ke knowledge layer lewat retrieval yang sadar state: query embedding dibentuk dari goal plus entity, bukan dari seluruh chat. Detail pipeline ada di vector memory 2026.
Metrik Kesehatan Short-term dan Long-term
Ukur session completion rate, average tokens per turn, state missing-field rate, dan profile update lag. Jika tokens per turn naik tanpa kenaikan completion, context bloat sedang terjadi. Jika profile update lag tinggi, long-term memory tidak sinkron dengan CRM atau identity store.
Tambahkan canary session: skenario dialog 20 turn dengan tool call. Bandingkan jawaban turn 18 dengan turn 3 terhadap goal yang sama. Drift besar menandakan ringkasan rolling terlalu agresif atau pin goal gagal.
Untuk multi-channel, pastikan conversation_id global. User yang pindah dari web ke WhatsApp harus membawa long-term profile yang sama, sementara short-term bisa di-reset atau di-merge sesuai kebijakan bisnis.
Kesimpulan
Short-term menjaga kelancaran sesi; long-term menjaga konsistensi lintas sesi. Context window bukan tempat arsip. Desain state terstruktur, ringkasan rolling, dan profil terenkripsi adalah standar short-term vs long-term memory AI agent 2026.
Kembali ke panduan AI Agent Memory 2026, lanjut vector episodic, atau pelajari hygiene privacy. Navigasi cluster: artikel ini adalah fondasi state management.
CTA: Petakan field short-term dan long-term di agen Anda hari ini. Hapus field yang tidak punya TTL atau owner.
FAQ
1. Berapa turn history yang ideal di context?
Bergantung task. Mulai dari 6-12 turn mentah plus ringkasan. Ukur repeat error dan token cost, lalu sesuaikan.
2. Apakah long-term memory harus vector DB?
Tidak. Profil dan preferensi cukup di relational/document DB. Vector untuk knowledge dan episode semi-struktural.
3. Bagaimana mencegah state bocor antar user?
Key session dengan user_id plus tenant_id, isolasi store, dan tes regression multi-tenant setiap rilis.
4. Di mana baca topik terkait?
Lihat pillar memory, vector episodic, dan hygiene privacy.