Post Views: 8

Tracing & Debugging AI Agent: OpenTelemetry + Langfuse untuk Tim Engineering Indonesia

Tim Anda menemukan bahwa 14% sesi agen menghasilkan jawaban yang menyinggung pelanggan. Laporan error dari support penuh, tetapi log aplikasi Anda terlihat bersih-bersih saja. Ini adalah skenario klasik yang terjadi ketika tracing AI agent belum diimplementasikan dengan benar.Artikel cluster ini adalah panduan teknis langkah-demi-langkah untuk membangun distributed tracing AI agent Anda menggunakan OpenTelemetry dan Langfuse — dua teknologi yang menjadi standar industri 2026. Kembali ke panduan pilar observability untuk konteks yang lebih luas.

Mengapa Tracing Konvensional Tidak Cukup

Tracing tradisional (OpenTelemetry klasik) memahami request sebagai unit. Tetapi AI agent bekerja dengan unit yang berbeda: reasoning step, tool call, LLM completion, dan retrieval query. Tanpa instrumentasi khusus GenAI, Anda melihat agen sebagai “satu black box panjang” yang sulit di-decompose. Inilah mengapa OpenTelemetry merilis GenAI Semantic Conventions di awal 2025 dan diperluas di 2026.

Arsitektur Tracing Agent Modern

Komponen Stack

OpenTelemetry SDK di Python/Node.js agent runtime — instrumen span untuk setiap LLM call, tool invocation, dan reasoning loop.
OTel Collector (self-hosted di K8s atau VM) — menerima trace via OTLP, batch, dan forward ke backend.
Langfuse (open-source, v3.x) — backend trace-aware-GenAI dengan UI reasoning graph, eval dashboard, dan prompt playground.

Contoh Instrumentasi Python

Snippet berikut menunjukkan cara melakukan span untuk tool call dengan atribut GenAI:

from opentelemetry import trace
from opentelemetry.semconv.ai import SpanAttributes

tracer = trace.get_tracer("ai-agent")
with tracer.start_as_current_span("agent.tool_invocation") as span:
    span.set_attribute(SpanAttributes.GEN_AI_TOOL_NAME, "search_kb")
    span.set_attribute("agent.reasoning_step", step_num)
    span.set_attribute("user.session_id", session_id)
    result = await tool.run(query)
    span.set_attribute("tool.latency_ms", elapsed)
    span.set_attribute("tool.tokens", result.usage.total_tokens)

Span Types yang Wajib Di-Trace

Span Type	Atribut Kunci	Use Case
llm.completion	model, prompt_tokens, completion_tokens, temperature	Setiap call ke OpenAI/Anthropic
agent.tool_invocation	tool_name, args_hash, latency_ms, success	Panggil API eksternal / DB query
agent.reasoning_step	step_idx, decision, confidence	CoT / ReAct loop decision
retrieval.query	query, top_k, vector_db, hit_rate	RAG vector search

Setup Langfuse Self-Hosted (Production-Ready)

Untuk tim Indonesia yang perlu compliance lokal dan kontrol data, self-hosting adalah opsi terkuat. Minimum setup:

Infrastructure: 2 VM (4 vCPU, 8GB RAM) untuk Langfuse web + worker, 1 managed PostgreSQL, 1 managed Redis, 1 ClickHouse untuk trace storage.
Deployment: Docker Compose untuk staging (1 VM cukup), Kubernetes Helm chart untuk production.
Backup: snapshot ClickHouse harian ke S3, retention 90 hari raw, 1 tahun aggregate.
Auth: integrasi dengan Auth0/Keycloak/Supabase Auth. Matikan signup publik.

Debugging Patterns dengan Trace

Pattern 1: Reasoning Loop Ditemukan

Filter trace di Langfuse dengan span_count > 8 untuk menemukan sesi di mana reasoning loop berulang. Biasanya terkait prompt ambigu atau tool yang return error tanpa fallback. Solusi: tambahkan max_iterations guardrail + circuit breaker.

Pattern 2: Tool Failure Berulang

Group trace by tool_name dan hitung success rate per tool. Tool dengan success rate < 95% biasanya menunjukkan masalah API rate limit, timeout, atau auth token rotation. Distinguish dari user-induced failures (input tidak valid).

Pattern 3: Prompt Drift Antar Versi

Trace membawa atribut prompt_version. Bandingkan distribusi output antar versi prompt menggunakan embedding clustering di Langfuse. Drift > 0.15 cosine biasanya tanda regresi.

“Sejak kami men-trace setiap reasoning step dengan OpenTelemetry, MTTR untuk insiden agen turun dari 3 jam ke 18 menit. Game changer untuk operasi 24/7.” — Reza Halim, Lead SRE, e-commerce unicorn Indonesia

Integrasi dengan Stack Lokal

Di Indonesia, banyak tim menggabungkan Langfuse dengan Grafana (untuk custom dashboard) dan Sentry (untuk error tracking). Caranya: forward trace ke OTel Collector, lalu export ke Grafana Tempo untuk visualisasi service-map, sambil mengirim error span ke Sentry via webhook.

Kesimpulan

Tracing dengan OpenTelemetry + Langfuse adalah fondasi non-negotiable untuk AI agent production. Tanpa visibility per reasoning step, Anda beroperasi dengan mata tertutup. Kombinasikan tracing ini dengan metrik AgentOps untuk konteks kualitas, dan cost telemetry untuk kontrol finansial. Lihat artikel pilar utama untuk peta lengkap observability stack.

FAQ Tracing AI Agent

1. Apa beda OTel GenAI Semantic Conventions dengan W3C Trace Context?

W3C Trace Context adalah standar propagasi trace_id lintas service (transport-agnostic). OTel GenAI Semantic Conventions adalah standar penamaan span dan atribut khusus AI/LLM. Keduanya saling melengkapi.

2. Apakah Langfuse bisa handle volume 10 juta span/bulan?

Ya, dengan ClickHouse sebagai storage backend, Langfuse tested hingga 50 juta span/bulan per cluster. Tuning utama: batch size OTel exporter (建议 512), ClickHouse partition strategy per minggu.

3. Bagaimana sampling strategy untuk agen volume tinggi?

Pakai tail-based sampling di OTel Collector: 100% untuk sesi dengan error atau latency > 5s, 5% untuk sukses biasa. Hemat 70-80% storage tanpa kehilangan observability untuk kasus sulit.

4. Apakah saya perlu trace setiap LLM call atau cukup sample?

Trace 100% di staging dan minggu pertama production. Setelah yakin stabil, turunkan ke tail-based sampling. Jangan sample 1% dari awal — Anda akan kehilangan kasus edge.

5. Bisa pakai Langfuse SaaS saja tanpa self-host?

Bisa, untuk fleet < 1 juta span/bulan. Di atas itu self-host mulai lebih murah, dan compliance data-residency (mis. UU PDP) lebih mudah dipenuhi. Rekomendasi: SaaS untuk prototyping, self-host untuk production.

Lanjut ke topik terkait: metrik AgentOps dan kontrol biaya. Atau kembali ke panduan pilar.