Cost Routing AI Agent 2026: Small Model vs Large Model per Specialist Task
Cost routing AI agent 2026 adalah kebijakan operasional yang memutuskan model mana yang dipanggil untuk setiap jenis task specialist. Alih-alih selalu memakai model frontier, sistem mengarahkan kerja rutin ke model kecil/menengah dan hanya menaikkan ke model besar saat sinyal kegagalan atau risiko terukur. Pendekatan ini menjadi tulang punggung AI Agent Economics 2026 karena langsung menekan token spend tanpa mengorbankan outcome bisnis.
Banyak tim Indonesia masih memakai satu model “serba bisa” untuk klasifikasi tiket, ekstraksi invoice, draft email, dan reasoning multi-dokumen. Akibatnya, 70-85% task sederhana membayar harga reasoning berat. Cost routing membalik default: small first, large when needed.
“Model besar adalah amunisi mahal. Cost routing yang baik menembakkannya hanya pada target yang tepat.”
Apa itu cost routing untuk AI agent?
Cost routing adalah lapisan keputusan sebelum inferensi: classifier ringan atau rule engine membaca metadata task (intent, panjang konteks, nilai transaksi, SLA), lalu memilih tier model. Routing bisa statis (map task_type → model_id) atau dinamis (confidence-based cascade). Keduanya valid; yang penting ada log dan audit path.
Dalam arsitektur multi-agent, routing juga berlaku antar specialist: agent ekstraksi vs agent penalaran vs agent menulis. Lihat konteks orkestrasi di artikel pilar AI Agent Economics dan batasan langkah di agent harness design.
Tiga pola routing yang terbukti
- Static map — cepat, mudah diaudit, cocok task stabil.
- Cascade confidence — small → large jika skor di bawah threshold.
- Risk-tier routing — nilai/risiko tinggi langsung large + human checkpoint.
- Time/budget aware — degradasi ke small saat budget jam hampir habis.
- Shadow A/B — large model jalan di bayangan untuk evaluasi, tidak dilayani user.
| Tipe task | Tier default | Escalate bila |
|---|---|---|
| Klasifikasi intent / tag | Small | Confidence < 0.75 |
| Ekstraksi field terstruktur | Small/Medium | Schema mismatch / OCR buruk |
| Reasoning multi-dokumen | Large | Konflik sumber / nilai tinggi |
Cara membangun taxonomy task yang bisa di-route
Mulai dari log 2-4 minggu: kelompokkan request ke 8-15 bucket. Contoh CS: greeting, cek status, refund policy, komplain emosional, eskalasi legal. Contoh finance ops: parse invoice, matching PO, anomaly flag, narasi variance. Setiap bucket punya: model default, max tokens, tool set, dan owner bisnis.
Jangan buat 50 bucket di hari pertama. Taxonomy terlalu halus membuat routing rapuh. Taxonomy terlalu kasar membuat model besar tetap dipanggil berlebihan. Iterasi bulanan: gabung bucket sepi, pecah bucket yang sering escalate.
Metrik routing yang wajib di dashboard
Pantau: % traffic per tier, escalate rate, cost per outcome per bucket, latency p95 per tier, dan false-escalate (large dipanggil tapi small cukup — diukur via shadow). Tanpa metrik ini, cost routing jadi slogan.
Anti-pattern yang membakar budget
Pertama, prompt raksasa yang selalu menyertakan seluruh history. Kedua, tool call spekulatif (“coba semua API, nanti dipilih”). Ketiga, retry tanpa jitter/budget. Keempat, memaksa large model untuk formatting JSON sederhana. Kelima, tidak memisahkan eval traffic dari production. Semua anti-pattern ini bisa dijinakkan lewat harness — lihat Agent Harness Design 2026.
Hubungkan juga ke keputusan investasi: jika satu use case terus butuh large model 90% waktu, mungkin process redesign lebih murah daripada token. Framework boardroom ada di AI investment governance agentic.
Playbook 30 hari implementasi cost routing
Minggu 1: inventory task + baseline cost. Minggu 2: static map 2-tier + logging. Minggu 3: confidence cascade pada 2 bucket volume tinggi. Minggu 4: review finance — target turunkan 20-40% cost/outcome tanpa drop quality di bawah ambang. Libatkan ops, bukan hanya engineer model.
Untuk bisnis multi-cabang Indonesia, pertimbangkan juga routing geo/latency: model regional untuk task sensitif latensi, model cloud global untuk batch malam. Dokumentasikan keputusan agar audit internal dan vendor review lebih mudah.
Cost routing bukan proyek sekali jalan. Harga model berubah, distribusi task bergeser, dan kualitas small model meningkat. Jadwalkan review bulanan bersama platform dan product owner. Kembali ke kerangka besar lewat panduan AI Agent Economics 2026.
Studi kasus ringkas: CS e-commerce 3 tier model
Sebuah retailer omnichannel di Indonesia menerapkan cost routing tiga tier untuk agent CS WhatsApp. Tier small menangani cek status pesanan dan FAQ pengiriman (62% volume). Tier medium menangani klaim ringan dan ubah alamat. Tier large hanya untuk komplain multi-order dan indikasi fraud. Dalam 6 minggu, cost per resolved ticket turun 34% sementara CSAT stabil di 4.5/5.
Kunci keberhasilan: taxonomy task dari 10.000 tiket historis, threshold confidence 0.78 untuk escalate, dan shadow eval large model setiap 5% sample. Tim tidak mengubah model vendor — hanya routing policy dan logging. Saat peak sale, circuit breaker memaksa mode small+template untuk intent rendah risiko agar budget jam tidak jebol.
Pelajaran untuk tim lain: ukur escalate rate per bucket, bukan rata-rata global. Bucket “refund policy” yang semula sering naik ke large ternyata cukup medium setelah prompt + retrieval diperbaiki. Routing mengungkap utang desain, bukan hanya menekan tagihan.
Kesimpulan
Cost routing AI agent 2026 mengubah default dari “selalu model terbaik” menjadi “model yang cukup untuk outcome”. Dengan taxonomy task, cascade confidence, dan metrik cost-per-outcome, tim Indonesia bisa menekan OPEX agent sambil menjaga kualitas. Kombinasikan dengan harness yang ketat dan governance investasi agar penghematan tidak hilang di lapisan lain.
FAQ
1. Apakah cost routing memperlambat respons?
Classifier ringan biasanya menambah milidetik, bukan detik. Net effect sering lebih cepat karena small model latency lebih rendah.
2. Berapa threshold confidence yang ideal?
Tidak universal. Mulai 0.7-0.8, kalibrasi per bucket pakai data 2 minggu, lalu sesuaikan false-negative vs cost.
3. Bisakah routing 100% rule-based tanpa ML?
Bisa untuk domain stabil. Hybrid rule + confidence sering paling robust di produksi.
CTA: Pilih satu bucket volume tinggi hari ini, petakan ke small model default, dan ukur escalate rate 7 hari. Lanjut ke harness design, investment governance, atau kembali ke AI Agent Economics 2026.