Sistem AI desktop terbaru NVIDIA , yaitu DGX Spark , mendapat kritik tajam dari komunitas teknologi karena proposisi nilai yang meragukan dan keterbatasan performa. Dengan harga 3.999 dolar Amerika untuk model 4TB, workstation AI kompak ini menjanjikan performa AI 1 petaFLOP namun kenyataannya tampak jauh lebih kompleks.
Spesifikasi Utama DGX Spark
- Arsitektur: NVIDIA Grace Blackwell (GB10 Superchip)
- CPU: 20-core Arm Cortex-A725
- Memori: 128GB LPDDR5X unified system memory
- Penyimpanan: 1TB atau 4TB NVMe M.2 dengan self-encryption
- Jaringan: ConnectX-7 Smart NIC, 10GbE Ethernet, WiFi 7
- Dimensi: 160mm × 160mm × 50.5mm
- Berat: 1,2kg
- Daya: TBD (diperkirakan ~170W berdasarkan informasi pabrikan)
Angka Performa Tidak Menceritakan Keseluruhan Kisah
Angka headline 1 petaFLOP dari DGX Spark hadir dengan peringatan signifikan yang tidak ditekankan secara menonjol oleh NVIDIA . Metrik performa ini hanya berlaku untuk presisi FP4 dengan structured sparsity, yang berarti performa dunia nyata kemungkinan akan jauh lebih rendah. Analisis komunitas mengungkap rasio harga terhadap performa yang mengkhawatirkan ketika dibandingkan dengan alternatif seperti RTX 5090 , yang menawarkan nilai lebih baik pada 4 dolar Amerika per teraFLOP dibandingkan 4 dolar Amerika per teraFLOP Spark untuk operasi FP4.
Memori unified 128GB sistem ini terdengar mengesankan, namun dipasangkan dengan bandwidth memori hanya 256GB/s. Hal ini menciptakan bottleneck signifikan yang membatasi kemampuan sistem untuk memproses model AI besar secara efisien, meskipun memiliki memori yang cukup untuk secara teoritis menangani model hingga 200 miliar parameter.
Presisi FP4: Format angka dengan presisi sangat rendah yang menukar akurasi dengan kecepatan, sering memerlukan optimisasi khusus untuk mencapai tingkat performa yang diiklankan.
Perbandingan Harga-Performa
| Sistem | Harga (USD) | Performa FP4 | Harga per TF4 |
|---|---|---|---|
| RTX 5090 | $1,999 | 3,352 TFLOPS | $0.60 |
| Jetson Thor | $3,499 | 2,070 TFLOPS | $1.69 |
| DGX Spark | $3,999 | 1,000 TFLOPS | $4.00 |
Bottleneck Bandwidth Melemahkan Kemampuan AI
Keterbatasan bandwidth memori muncul sebagai kelemahan paling kritis DGX Spark . Pada 256GB/s, sistem ini tertinggal jauh dari kompetitor seperti M4 Max Apple yang menghadirkan 546GB/s, dan sekitar 1,8TB/s dari RTX 5090 . Kendala bandwidth ini sangat berdampak pada kecepatan generasi token untuk model bahasa, membuat sistem kurang cocok untuk aplikasi AI interaktif.
Bandwidth RAM sangat lambat sehingga Anda hampir tidak bisa melakukan training atau inference atau melakukan apa pun dengannya.
Bagi pengguna yang mempertimbangkan beban kerja AI, keterbatasan bandwidth ini berarti DGX Spark kesulitan dengan pemrosesan prompt dan kecepatan inference dibandingkan GPU khusus, meskipun kapasitas memorinya lebih besar.
Perbandingan Bandwidth Memori
- NVIDIA DGX Spark: 256GB/s
- Apple M4 Max: 546GB/s
- Apple M3 Ultra: 819GB/s
- RTX 5090: ~1.8TB/s
- RTX Pro 6000 Blackwell: ~1.8TB/s
 |
|---|
| Komponen internal detail dari sistem AI NVIDIA menekankan aspek teknologi yang relevan dengan keterbatasan performanya |
Posisi Pasar Menimbulkan Pertanyaan
DGX Spark memasuki pasar yang ramai di mana alternatif menawarkan proposisi nilai yang lebih baik. RTX 5090 memberikan kecepatan inference superior untuk model yang lebih kecil, sementara Mac Studio Apple dengan M3 Ultra menawarkan performa AI yang sebanding dengan bandwidth memori yang jauh lebih tinggi. Bahkan Jetson Thor NVIDIA sendiri dilaporkan menghadirkan performa dua kali lipat dengan harga yang lebih rendah.
Faktor bentuk kompak sistem dan arsitektur berbasis ARM mungkin menarik bagi pengembang yang mencari platform pengembangan AI lengkap, namun kompromi performa tampak signifikan. Perangkat ini menjalankan DGX OS NVIDIA dan hadir dengan stack software AI perusahaan yang sudah terinstal, menargetkan pengembang yang membutuhkan solusi siap pakai daripada performa maksimum.
Kesimpulan
NVIDIA DGX Spark mewakili upaya menarik untuk membawa kemampuan AI datacenter ke desktop, namun umpan balik komunitas awal menunjukkan kompromi signifikan dalam performa dan nilai. Meskipun memori unified 128GB memungkinkan bekerja dengan model yang lebih besar daripada GPU konsumen pada umumnya, keterbatasan bandwidth dan harga tinggi membuatnya menjadi pilihan yang meragukan untuk sebagian besar skenario pengembangan AI. Pengguna yang mencari performa per dolar yang lebih baik mungkin menemukan nilai lebih pada solusi GPU tradisional atau platform pesaing dari Apple dan AMD .
Referensi: NVIDIA DGX Spark