Netflix baru-baru ini mengungkap Unified Data Architecture (UDA), sebuah sistem yang dirancang untuk mengatasi fragmentasi data di seluruh tumpukan teknologi mereka yang masif. Pengumuman ini telah memicu diskusi intens di komunitas teknologi tentang apakah model data universal merupakan solusi atau masalah yang menunggu untuk terjadi.
Janji dan Bahaya Model Data Universal
UDA Netflix bertujuan untuk memungkinkan tim memodelkan sekali, merepresentasikan di mana-mana dengan menciptakan sumber kebenaran tunggal untuk konsep bisnis seperti film, aktor, dan data pengguna. Sistem ini menghasilkan skema secara otomatis untuk platform yang berbeda - dari API GraphQL hingga tabel database - memastikan konsistensi di seluruh arsitektur microservices Netflix yang luas.
Namun, komunitas teknologi terpecah tentang apakah pendekatan ini benar-benar berfungsi dalam praktik. Banyak developer menunjuk pada ketegangan fundamental: sementara model terpadu menjanjikan konsistensi, mereka juga menciptakan hambatan organisasi. Setiap perubahan pada definisi data bersama sekarang memerlukan persetujuan dari beberapa tim, berpotensi memperlambat pengembangan secara signifikan.
Komponen Kunci UDA:
- Model Domain: Menangkap konsep bisnis dan hubungan-hubungannya
- Pemetaan: Menghubungkan model domain ke penyimpanan data fisik (basis data, API)
- Proyeksi: Menghasilkan skema untuk sistem yang berbeda ( GraphQL , Avro , SQL )
- Graf Pengetahuan: Merepresentasikan hubungan antara konsep-konsep data
- Upper: Metamodel untuk ekstensibilitas (detail belum dipublikasikan)
Pelajaran dari Upaya Masa Lalu
Diskusi mengungkapkan bahwa Netflix bukanlah perusahaan pertama yang mencoba pendekatan ini. Developer berbagi pengalaman dengan sistem serupa di Uber (disebut Dragon) dan organisasi besar lainnya. Sebagian besar upaya ini baik gagal total atau berhasil hanya dalam kasus penggunaan yang sangat terbatas dan spesifik.
Satu wawasan kunci dari komunitas berpusat pada sifat konsep bisnis itu sendiri. Film berarti hal yang berbeda untuk tim keuangan Netflix (kontrak), tim infrastruktur (file), dan pelanggan (konten hiburan). Mencoba memaksa konteks yang berbeda ini ke dalam definisi universal tunggal sering kali menciptakan lebih banyak masalah daripada menyelesaikannya.
Upaya Industri Serupa:
- ** Uber Dragon **: Sistem integrasi skema (tidak pernah dibuat open-source)
- ** LinkedIn Hydra **: Kelanjutan dari konsep Dragon (open-source)
- ** SAP **: Pendekatan skema tetap yang mengharuskan adaptasi pelanggan
- ** Epic EMR **: Sistem kesehatan dengan tantangan model universal serupa
Dilema Microservices
Kritikus berargumen bahwa UDA merepresentasikan langkah mundur dari prinsip microservices, di mana setiap layanan harus memiliki datanya secara independen. Ironinya adalah bahwa Netflix membantu mempopulerkan arsitektur microservices, namun UDA tampaknya bertentangan dengan filosofi tersebut dengan memusatkan definisi data.
Beberapa developer mempertanyakan apakah Netflix telah menciptakan masalah yang tidak perlu dipecahkan. Mereka menunjukkan bahwa GraphQL sudah dirancang untuk menyediakan tampilan data terpadu tanpa memerlukan skema universal. Keberadaan beberapa definisi Movie mungkin sebenarnya merupakan fitur, bukan bug.
Tantangan Implementasi Teknis
Di luar kekhawatiran filosofis, komunitas mengidentifikasi tantangan praktis dengan pendekatan UDA. Manajemen versi menjadi kompleks ketika satu perubahan skema mempengaruhi puluhan layanan. Penanganan error tidak jelas - jika satu sistem salah menginterpretasikan skema universal, bagaimana UDA mendeteksi dan memperbaiki masalah ini?
Sistem ini sangat bergantung pada teknologi RDF dan semantic web yang populer di pertengahan tahun 2000-an tetapi tidak pernah mencapai adopsi yang luas. Meskipun alat-alat ini kuat, mereka menambah kompleksitas yang banyak organisasi kesulitan untuk mempertahankan dalam jangka panjang.
Fondasi Teknis:
- Dibangun di atas RDF ( Resource Description Framework )
- Menggunakan teknologi web semantik ( SPARQL , OWL )
- Terintegrasi dengan Apollo Federation untuk GraphQL
- Mendukung pembuatan skema otomatis di berbagai format
- Memanfaatkan knowledge graph untuk penemuan data dan lineage
Trade-off Governance
Mungkin kekhawatiran paling signifikan yang diangkat adalah organisasional daripada teknis. Model data universal memerlukan struktur governance yang kuat untuk mencegah kekacauan. Ini berarti komite, proses persetujuan, dan overhead koordinasi yang dapat memperlambat inovasi.
Ini pada dasarnya masalah bisnis, bukan masalah teknis, tetapi memiliki dampak pada kecepatan pengembangan, jadi secara sekunder ini adalah masalah teknis.
Arsitek Netflix mengakui kekhawatiran ini tetapi berargumen bahwa UDA dirancang untuk hidup berdampingan dengan sistem yang ada daripada menggantikannya sepenuhnya. Mereka menekankan bahwa adopsi akan bersifat sukarela, tidak diwajibkan di seluruh organisasi.
Melihat ke Depan
Perdebatan ini menyoroti tantangan yang lebih luas yang dihadapi perusahaan teknologi besar: bagaimana mempertahankan konsistensi dan mengurangi duplikasi tanpa menghambat inovasi. UDA Netflix merepresentasikan satu pendekatan, tetapi reaksi komunitas yang beragam menunjukkan tidak ada solusi universal untuk masalah universal ini.
Apakah UDA berhasil mungkin tergantung lebih sedikit pada keunggulan teknisnya dan lebih pada kemampuan Netflix untuk mengelola perubahan organisasi yang diperlukan. Rekam jejak perusahaan dengan pergeseran arsitektur skala besar memberi mereka kredibilitas, tetapi sejarah upaya serupa menunjukkan kehati-hatian diperlukan.
Diskusi berlanjut saat perusahaan lain mengamati eksperimen Netflix dengan minat, mengetahui mereka menghadapi tantangan serupa dalam arsitektur data mereka sendiri.
Referensi: Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix