Lanskap penyimpanan data telah menyambut pemain baru dengan Arc Core, sebuah platform data lake berperforma tinggi yang dibangun di atas Apache Iceberg. Namun, peluncuran platform ini telah memicu diskusi menarik tentang penamaan merek dalam ekosistem teknologi yang semakin padat saat ini.
Kebingungan Merek dalam Ekosistem Arc
Komunitas dengan cepat mengidentifikasi tantangan branding potensial untuk Arc Core. Dengan Arc browser, Arc Prize, dan Arc Institute yang sudah mapan di ruang teknologi, beberapa developer khawatir tentang visibilitas merek dan kebingungan pasar. Sang pencipta mengakui kekhawatiran ini namun menjelaskan bahwa pilihan nama berasal dari Ark - yang mewakili sesuatu yang menyimpan dan membawa data - dimodifikasi menjadi Arc untuk menghindari konotasi alkitabiah.
Diskusi penamaan ini mengungkap tantangan yang lebih luas yang dihadapi produk teknologi baru: menemukan nama yang khas dalam pasar yang semakin jenuh. Meskipun fungsionalitasnya berbeda sepenuhnya dari produk Arc yang sudah ada, nama yang sama dapat berdampak pada kemudahan ditemukan dan pengenalan merek.
Kemampuan Teknis dan Kasus Penggunaan
Arc Core memposisikan dirinya sebagai data warehouse sekaligus sistem query aktif, menargetkan beban kerja IoT dan time-series. Platform ini secara otomatis menyimpulkan skema dari data yang masuk dan mendukung evolusi skema tanpa downtime - fitur penting untuk struktur data yang berubah dengan cepat.
Sistem ini menggunakan partisi berbasis waktu per jam sebagai default, dengan rencana untuk partisi kustom berdasarkan tag atau atribut lainnya. Pendekatan ini mengoptimalkan query rentang waktu yang umum dalam skenario observabilitas dan IoT. Untuk menangani volume data besar, Arc Core mengelompokkan penulisan sebelum melakukan flush dan menawarkan pekerjaan kompaksi opsional untuk menggabungkan file Parquet yang lebih kecil.
Kasus penggunaan saya bukan IoT, tetapi sekitar sebulan sekali saya mendapat dump data besar-besaran dari vendor. Bayangkan puluhan juta baris dan 100+ kolom. Membersihkan, menyerap, dan melakukan query data ini melalui RDBMS standar adalah proses yang lambat dan rapuh.
Fitur Teknis Utama:
- Kompatibilitas Apache Iceberg
- Inferensi dan evolusi skema otomatis
- Partisi berbasis waktu (default tingkat jam)
- Dukungan MessagePack dan Line Protocol
- Penyimpanan kompatibel S3 dengan backend MinIO
- Arsitektur append-only dengan rencana update/delete melalui penulisan ulang
 |
|---|
| Tampilan repositori GitHub untuk proyek Arc, yang menyoroti pengembangan dan fokus teknisnya |
Arsitektur Penyimpanan dan Klaim Performa
Arc Core menggunakan MinIO sebagai backend penyimpanan utamanya, dengan para pencipta mengklaim performa yang lebih baik daripada ClickHouse untuk query rentang waktu pada penyimpanan S3. Namun, komunitas telah mengajukan pertanyaan penting tentang benchmark ini, mencatat bahwa pengujian jaringan lokal mungkin tidak mencerminkan skenario latensi S3 dunia nyata.
Platform ini beroperasi sebagai append-only untuk saat ini, mirip dengan sebagian besar sistem time-series, dengan update dan delete direncanakan melalui penulisan ulang partisi. Pilihan desain ini memprioritaskan throughput penulisan dan performa query analitik daripada kemampuan transaksional.
Hasil Performa Query:
- Q0 (Agregasi metadata): 3,4ms
- Q1 (Kapasitas tulis): 8,3ms
- Q2 (Pengelompokan kompleks): 133ms
- Q3 (Latensi tulis): 45,8ms
- Q4 (Filter multi-sumber): 2,38s
Posisi Pasar dan Pengembangan Masa Depan
Saat ini dalam tahap beta, Arc Core bertujuan untuk melayani sebagai database utama dan solusi penyimpanan jangka panjang untuk sistem seperti TimescaleDB, InfluxDB, dan Kafka. Roadmap mencakup integrasi Grafana, dukungan Prometheus remote write, dan eksekusi query terdistribusi.
Kesuksesan platform ini kemungkinan akan bergantung pada seberapa baik ia membedakan dirinya secara teknis dari solusi yang sudah mapan, sambil menavigasi tantangan pengenalan merek yang datang dengan berbagi nama populer dalam ekosistem teknologi.
Referensi: Arc Core