Diskusi terbaru tentang strategi logging dalam sistem dengan throughput tinggi telah memicu perdebatan menarik di kalangan developer. Percakapan berpusat pada apakah aplikasi harus mencatat progress setiap X detik (berbasis waktu) atau setiap X item yang diproses (berbasis hitungan), namun respons komunitas mengungkap isu yang lebih mendalam tentang tujuan fundamental logging itu sendiri.
Masalah Inti dengan Pendekatan Logging Tradisional
Proposal awal menyarankan bahwa logging berbasis waktu memberikan tingkat output yang lebih konsisten dibandingkan logging berbasis hitungan. Dalam sistem yang mungkin memproses jutaan event per detik di production tetapi hanya segelintir saat testing lokal, logging berbasis hitungan menciptakan volume log yang sangat berbeda. Logging berbasis waktu bertujuan mengatasi hal ini dengan mempertahankan output yang stabil terlepas dari kecepatan pemrosesan.
Namun, developer berpengalaman di komunitas dengan cepat mengidentifikasi masalah yang lebih fundamental. Perdebatan ini sebenarnya bukan tentang strategi timing - melainkan tentang mencampuradukkan logs dengan metrics. Perbedaan ini penting karena masing-masing memiliki tujuan berbeda dan harus ditangani secara berbeda.
Perbandingan Logging Berbasis Jumlah vs Berbasis Waktu
| Pendekatan | Keuntungan | Kerugian |
|---|---|---|
| Berbasis Jumlah | • Penggunaan memori terbatas<br>• Konsumsi sumber daya yang dapat diprediksi<br>• Implementasi sederhana | • Tingkat log yang tidak konsisten<br>• Skalabilitas buruk di berbagai lingkungan<br>• Volume output yang bervariasi |
| Berbasis Waktu | • Tingkat output log yang konsisten<br>• Perilaku yang tidak bergantung pada lingkungan<br>• Volume log yang dapat diprediksi | • Penggunaan memori yang berpotensi tidak terbatas<br>• Implementasi yang lebih kompleks<br>• Kebutuhan retensi data yang bervariasi |
Logs vs Metrics: Memahami Perbedaannya
Komunitas sangat menekankan bahwa logs harus menangkap event dan informasi state spesifik, sementara metrics harus melacak pengukuran dan statistik. Logs dimaksudkan untuk merekam event menarik seperti error, perubahan state, atau kejadian penting. Metrics, di sisi lain, mengukur hal-hal seperti tingkat pemrosesan, performa sistem, dan statistik operasional.
Entry log harus menangkap event dalam waktu, misalnya: seseorang yang login, kegagalan, catatan kejadian penting yang terjadi, dll. Sebaliknya, metric adalah nilai tunggal, tangkapan point-in-time dari ukuran sesuatu, diukur dalam unit atau dengan dimensi.
Pemisahan ini penting karena mencampur keduanya menciptakan masalah. Ketika metrics disematkan dalam logs, mereka menjadi bergantung pada log levels, lebih sulit dianalisis, dan memaksa batasan timing yang mencakup operasi I/O yang tidak perlu.
Perbedaan Utama: Log vs Metrik
- Log: Menangkap kejadian spesifik, perubahan status, error, dan kejadian penting pada saat terjadinya
- Metrik: Mengukur performa sistem, tingkat pemrosesan, dan statistik operasional dari waktu ke waktu
- Penyimpanan: Log biasanya disimpan sebagai teks/JSON; metrik disimpan dalam database time-series
- Analisis: Log dicari dan difilter; metrik diagregasi dan divisualisasikan
- Waktu: Log ditulis ketika kejadian terjadi; metrik dikumpulkan secara berkala
Solusi Observability Modern
Diskusi mengungkap bagaimana platform observability modern telah berkembang untuk menangani tantangan-tantangan ini. Tools seperti Datadog , Honeycomb , dan sistem yang dibangun dengan standar OpenTelemetry memungkinkan developer untuk mengeluarkan data terstruktur yang dapat dipotong dan dianalisis dengan berbagai cara. Platform ini dapat menangani event individual dan memungkinkan pengguna membuat tampilan metrics kustom tanpa melakukan pra-agregasi data.
Pendekatan ini menawarkan keuntungan signifikan untuk debugging dan analisis sistem. Developer dapat melacak sesi pengguna individual di berbagai layanan, memfilter data berdasarkan atribut spesifik, dan menggali dari metrics tingkat tinggi ke traces individual ketika masalah muncul.
Pertimbangan Implementasi Praktis
Untuk sistem yang memang membutuhkan progress logging, beberapa anggota komunitas menyarankan pendekatan hybrid. Ini menggabungkan threshold waktu dan hitungan, logging ketika salah satu kondisi terpenuhi. Ini memberikan penggunaan memori yang terbatas sambil mempertahankan tingkat output yang wajar.
Beberapa developer juga menunjukkan kendala resource dengan logging berbasis waktu murni. Menyimpan jumlah data yang bervariasi untuk periode waktu tetap dapat mengonsumsi memori tanpa batas, sementara pendekatan berbasis hitungan menggunakan resource yang dapat diprediksi.
Jalan ke Depan
Konsensus komunitas menunjukkan bahwa sebagian besar skenario pelacakan progress lebih baik dilayani oleh sistem metrics yang tepat daripada logs. Logs harus fokus pada menangkap event dan error yang bermakna, sementara metrics harus menangani pengukuran performa dan throughput.
Untuk tim yang baru memulai dengan sistem throughput tinggi, ini berarti berinvestasi dalam infrastruktur observability yang tepat sejak awal. Tools modern memudahkan pemisahan concerns dengan tepat dan memberikan kemampuan debugging yang lebih baik daripada pendekatan logging tradisional.
Perdebatan ini menyoroti bagaimana keputusan arsitektur sistem yang tampak sederhana di permukaan sering mengungkap prinsip desain yang lebih mendalam. Dalam kasus ini, pertanyaan kapan harus melakukan logging mengarah pada diskusi penting tentang tujuan fundamental dari berbagai tools observability.
Referensi: Log by Time, not by Count