Komunitas teknologi sedang aktif mendiskusikan berbagai pendekatan untuk mengatasi masalah latensi S3 setelah RisingWave mempublikasikan detail tentang solusi caching hibrida mereka yang disebut Foyer. Meskipun S3 menawarkan penyimpanan tak terbatas dengan biaya rendah, latensi 50-150ms membuatnya tidak cocok untuk aplikasi real-time yang membutuhkan akses data cepat.
Perbandingan Latensi S3 vs Penyimpanan Lokal
- Waktu S3 hingga byte pertama: 50-150ms
- Akses memori: ~0ms
- Akses disk: 0,2-1ms
- S3 Express One Zone: Milidetik satu digit
Swap vs Manajemen Cache Eksplisit
Perdebatan utama muncul mengenai apakah developer membutuhkan sistem caching yang kompleks atau dapat mengandalkan solusi yang lebih sederhana. Beberapa developer berargumen bahwa menggunakan memory sistem dengan swap menyediakan interface terpadu tanpa manajemen cache eksplisit. Materialize.com dilaporkan beralih dari manajemen disk cache kustom ke penggunaan swap dan melihat peningkatan performa yang signifikan. Pendekatan ini memungkinkan sistem operasi menangani memory spilling ke disk secara otomatis.
Namun, yang lain menunjukkan kelemahan serius dengan pendekatan swap. Untuk workload yang sensitif terhadap latensi, page fault dan swapping menciptakan lonjakan performa yang tidak dapat diprediksi yang merusak response time. Banyak lingkungan produksi sengaja menonaktifkan swap untuk mencegah masalah ini, membuat manajemen cache eksplisit lebih dapat diandalkan di berbagai skenario deployment.
Strategi Manajemen Cache
- Manajemen Eksplisit: Koordinasi cache memori dan disk yang disesuaikan
- Berbasis Swap: Biarkan OS menangani pelimpahan memori ke disk secara otomatis
- Pendekatan Hibrida: Menggabungkan cache memori dengan lapisan cache disk
- Trade-offs: Kompleksitas versus prediktabilitas performa
Dampak Performa di Dunia Nyata
Perbedaan performa antara S3 dan penyimpanan lokal sangat substansial. Time to first byte S3 berkisar dari 50-150ms, sementara penyajian dari memory turun ke hampir nol, dan akses disk hanya membutuhkan 0,2-1ms. Kesenjangan besar ini menjelaskan mengapa caching menjadi esensial daripada opsional untuk aplikasi yang dibangun di atas S3.
AWS memang menawarkan S3 Express One Zone dengan latensi single-digit millisecond, tetapi layanan premium ini menargetkan use case yang berbeda di mana objek yang sama membutuhkan akses sering di berbagai instance. Untuk akses berulang single-instance, local caching tetap lebih cost-effective.
Solusi Open Source Mendapat Daya Tarik
Beberapa proyek sedang membangun di atas Foyer, library caching hibrida berbasis Rust yang terinspirasi dari CacheLib Facebook. Distributed Chroma menggunakan Foyer secara ekstensif dalam vector database open-source mereka, sementara developer lain telah mengintegrasikannya ke dalam file system dan layanan penyimpanan. Library ini menawarkan mode in-memory dan hibrida, memungkinkan developer memulai dengan sederhana dan menambahkan disk caching nanti tanpa mengubah logika aplikasi.
Fitur Foyer Hybrid Cache
- Ditulis dalam Rust, terinspirasi dari CacheLib milik Facebook
- Mendukung mode in-memory dan hybrid
- Abstraksi cache in-memory tanpa copy
- Multiple disk engine untuk berbagai jenis workload
- Digunakan oleh Distributed Chroma dan proyek open-source lainnya
Pertimbangan Biaya dan Trade-off
Meskipun request GET S3 relatif murah, biaya sebenarnya berasal dari dampak latensi terhadap performa aplikasi daripada harga request. Kompleksitas sistem caching hibrida memerlukan perencanaan yang hati-hati seputar cache invalidation, write-through behavior, dan penanganan concurrent request untuk data yang sama.
Diskusi ini mengungkapkan bahwa memilih antara strategi caching yang berbeda sangat bergantung pada kebutuhan workload spesifik, kendala deployment, dan target performa. Seiring lebih banyak aplikasi mengadopsi arsitektur S3-first, keputusan caching ini menjadi semakin kritis untuk mempertahankan user experience yang dapat diterima.
Referensi: The Case for Hybrid Cache for Object Stores