StreamNative telah meluncurkan Ursa Engine, platform streaming data baru yang menjanjikan pengurangan biaya secara dramatis dibandingkan dengan deployment Apache Kafka tradisional. Perusahaan mengklaim bisnis dapat mencapai pengurangan biaya hingga 95% dan scaling 1000x lebih cepat, sambil mempertahankan kompatibilitas penuh dengan API Kafka. Namun, pengumuman ini telah memicu perdebatan sengit dalam komunitas developer tentang akurasi benchmark dan sifat proprietary platform tersebut.
Klaim Perbandingan Biaya:
- Ursa : $50 USD per jam untuk beban kerja GB/s
- Klaim pengurangan biaya: Hingga 95% vs Kafka tradisional
- Peningkatan performa: Penskalaan 1000x lebih cepat, throughput 2,5x lebih tinggi
- Berdasarkan deployment AWS multi-zone tanpa tiered storage
 |
|---|
| Grafik ini mengilustrasikan kompleksitas dan biaya tersembunyi yang terkait dengan deployment Kafka tradisional, memberikan konteks untuk klaim biaya Ursa Engine |
Klaim Pengurangan Biaya Menghadapi Pengawasan Ketat
Klaim paling menarik perhatian berpusat pada menjalankan workload Kafka throughput tinggi hanya dengan 50 dolar Amerika Serikat per jam untuk pemrosesan gigabyte per detik. StreamNative menerbitkan perbandingan biaya detail yang menunjukkan bagaimana workload Kafka 5 GB/s akan jauh lebih murah di Ursa dibandingkan dengan kompetitor seperti WarpStream, Amazon MSK, dan Redpanda. Analisis tersebut mengasumsikan deployment multi-zone di AWS tanpa tiered storage yang diaktifkan.
Namun, para ahli industri menolak angka-angka ini. Seorang karyawan Redpanda menunjukkan potensi kelemahan dalam metodologi benchmark, khususnya terkait biaya lalu lintas cross-availability zone. Mereka mencatat bahwa dengan traffic shaping yang tepat dan fitur follower fetching, perbedaan biaya yang diklaim bisa berkurang secara substansial, menyebut perbandingan tersebut sebagai benchmarketing yang tidak beritikad baik.
 |
|---|
| Gambar ini secara konseptual mewakili analisis pengurangan biaya dan potensi jebakan dalam benchmarking Ursa Engine terhadap kompetitor |
Janji dan Pertanyaan Arsitektur Leaderless
Inovasi inti Ursa terletak pada arsitektur leaderless yang memisahkan metadata dari penyimpanan data. Tidak seperti deployment Kafka tradisional yang memerlukan protokol konsensus berbasis leader, Ursa mengklaim menghilangkan kebutuhan untuk merutekan lalu lintas melalui lead broker tunggal. Desain ini konon mengurangi lalu lintas inter-zone yang mahal yang mendorong kenaikan biaya dalam deployment multi-availability zone.
Komunitas teknis tetap penasaran tentang bagaimana pendekatan leaderless ini benar-benar bekerja. Developer yang familiar dengan protokol konsensus mencatat bahwa baik Kafka maupun Pulsar bergantung pada sistem berbasis leader untuk memberikan jaminan mereka, menimbulkan pertanyaan tentang trade-off apa yang dibuat Ursa untuk mencapai desain leaderless-nya. StreamNative menjelaskan mereka menggunakan Apache BookKeeper untuk workload yang sensitif terhadap latensi dan object storage untuk skenario yang dioptimalkan biaya.
Catatan: Protokol konsensus adalah metode yang memungkinkan sistem terdistribusi untuk menyepakati konsistensi dan pengurutan data di beberapa server.
Arsitektur Teknis:
- Desain Tanpa Pemimpin: Menghilangkan routing broker utama tunggal
- Opsi Penyimpanan: Object storage ( AWS S3 , GCP GCS , Azure Blob ) untuk optimasi biaya; Apache BookKeeper untuk beban kerja latensi rendah
- Integrasi Lakehouse: Dukungan native untuk format Apache Iceberg dan Delta Lake
- Dukungan Protokol: Kompatibilitas penuh Kafka API ditambah protokol Apache Pulsar
Janji Open Source Bertemu Skeptisisme Komunitas
Mungkin isu yang paling kontroversial adalah status proprietary Ursa saat ini. Platform ini hanya tersedia melalui layanan cloud StreamNative, meskipun co-founder Sijie Guo berjanji untuk segera meng-open source komponen inti. Ini telah memicu kekhawatiran yang familiar dalam komunitas developer tentang perusahaan yang menggunakan janji open source untuk marketing sambil mempertahankan kontrol proprietary.
Orang-orang curiga akan ditinggalkan begitu saja. Ada banyak contoh seperti itu di masa lalu, di mana perusahaan beriklan dengan FOSS, tetapi tidak bermaksud serius.
Kewaspadaan komunitas berasal dari pengalaman berulang dengan perusahaan yang awalnya menjanjikan rilis open source tetapi kemudian mengubah haluan. Developer sangat tertarik pada kemampuan self-hosting, percaya mereka bisa mencapai biaya yang lebih rendah lagi dengan melakukan deployment langsung di infrastruktur cloud daripada melalui layanan terkelola StreamNative.
Integrasi Lakehouse Membedakan Ursa
Selain klaim biaya, Ursa membedakan dirinya melalui integrasi native dengan arsitektur lakehouse. Platform ini menyimpan data langsung dalam format tabel terbuka seperti Apache Iceberg dan Delta Lake, menghilangkan kebutuhan untuk konektor terpisah dan mengurangi duplikasi data antara sistem streaming dan analitik. Integrasi dengan komponen modern data stack seperti Open Catalog milik Snowflake merepresentasikan pergeseran arsitektur yang signifikan dari platform streaming tradisional.
Timing ini sejalan dengan tren industri yang lebih luas menuju arsitektur database berbasis object storage. Mirip dengan bagaimana Snowflake merevolusi data warehousing dengan mengadopsi object storage pada 2016, platform streaming sekarang mengikuti jejak yang sama. Ursa bergabung dengan solusi streaming berbasis object storage lainnya seperti AutoMQ dan WarpStream yang sekarang sudah dihentikan dalam kategori yang sedang berkembang ini.
Lanskap Kompetitif:
- Kompetitor Langsung: WarpStream (dihentikan), AutoMQ, Amazon MSK, Redpanda
- Posisi Pasar: Platform streaming berbasis object storage
- Ketersediaan: Saat ini hanya tersedia di cloud melalui StreamNative ; versi open source dijanjikan akan hadir
- Dukungan Cloud: AWS , Google Cloud Platform , Microsoft Azure
 |
|---|
| Grafik ini menguraikan proses migrasi dari layanan Kafka ke Ursa Engine milik StreamNative , menampilkan transisi menuju arsitektur data baru |
Kesimpulan
Ursa Engine merepresentasikan upaya ambisius untuk membayangkan kembali infrastruktur streaming data untuk era cloud. Meskipun penghematan biaya dan inovasi arsitektur yang dijanjikan menarik, platform ini menghadapi pertanyaan yang sah tentang metodologi benchmark dan komitmen open source jangka panjang. Saat pasar streaming data terus berkembang menuju object storage dan integrasi lakehouse, kesuksesan Ursa kemungkinan akan bergantung pada penyampaian perbandingan performa yang transparan dan menepati janji open source. Komunitas developer tetap optimis dengan hati-hati tetapi jelas mengharapkan bukti yang lebih konkret sebelum adopsi yang luas.
Referensi: Ursa Engine