NVIDIA DGX Spark menjanjikan kinerja AI setara superkomputer untuk workstation desktop, namun pengujian komunitas terkini mengungkap celah kinerja yang mengejutkan dan memicu perdebatan sengit tentang proposisi nilainya. Meskipun sistem AI kompak NVIDIA ini memiliki spesifikasi mengesankan termasuk memori terpadu 128GB dan interkoneksi 200Gbps, pengujian independen menunjukkan bahwa sistem ini mungkin kesulitan bersaing dengan baik GPU konsumen maupun sistem alternatif dalam tugas inferensi dunia nyata.
 |
|---|
| Kemasan NVIDIA DGX Spark, melambangkan komitmen merek terhadap performa AI dalam workstation desktop |
Tolok Ukur Kinerja Memicu Kontroversi
Bandwidth memori DGX Spark sebesar 273 GB/s muncul sebagai hambatan kritis dalam pengujian komunitas. Seorang komentator mencatat bahwa RTX 5090 memiliki bandwidth memori 1792 GB/s, sementara DGX Spark hanya memiliki 273 GB/s, yang berarti sekitar 1/6,5. Perbedaan substansial ini terlihat jelas dalam hasil tolok ukur, di mana Spark hanya menghasilkan 94,67 token per detik untuk prefill dan 11,66 token per detik untuk decode saat menjalankan GPT-OSS 120B menggunakan Ollama. Angka-angka ini terlihat mengecewakan dibandingkan dengan sistem seperti AMD Strix Halo, yang dilaporkan mencapai 420 token per detik prefill dan lebih dari 40 token per detik decode untuk model yang sama.
Ada beberapa hasil benchmark di reddit: intinya sistem ini benar-benar dikalahkan oleh Strix Halo, dengan harga setengahnya.
Metodologi pengujiannya sendiri mendapat kritik, dengan beberapa ahli menyarankan bahwa penggunaan llama.cpp alih-alih Ollama dapat menunjukkan kinerja yang jauh lebih baik. Seorang komentator yang mengidentifikasi diri sebagai pembuat llama.cpp membagikan hasil sampel yang menunjukkan model GPT-OSS 120B mencapai 1792,32 token per detik untuk prefill dan 38,54 token per detik untuk decode pada sistem Spark mereka - secara dramatis lebih tinggi dari angka yang dilaporkan dalam tinjauan asli.
Perbandingan Performa (GPT-OSS 120B)
- DGX Spark (Ollama): 94.67 tps prefill / 11.66 tps decode
- DGX Spark (llama.cpp): 1792.32 tps prefill / 38.54 tps decode
- Strix Halo: ~420 tps prefill / >40 tps decode
- RTX 5090: ~4100 tps prefill / ~40 tps decode
Harga dan Proposisi Nilai Dipertanyakan
Dengan harga 4000 dolar AS, DGX Spark berada di segmen harga kompetitif yang mencakup RTX 5090 NVIDIA sendiri dengan harga sekitar 2000 dolar AS dan sistem AMD Strix Halo sekitar 1800-2000 dolar AS. Anggota komunitas dengan cepat mencatat bahwa sistem yang dibangun di sekitar RTX 5090 akan memberikan kinerja GPU dan bandwidth memori yang jauh lebih tinggi, meskipun terbatas pada 32GB VRAM. Memori terpadu 128GB tetap menjadi keunggulan utama Spark untuk menjalankan model yang sangat besar yang tidak muat dalam memori GPU diskrit saja.
Perbandingan dengan ekosistem Apple juga menarik diskusi signifikan. Sementara Mac Studio dengan memori terpadu 128GB berharga 3499 dolar AS, para komentator mencatat bahwa kompatibilitas CUDA memberikan sistem NVIDIA akses ke ekosistem alat dan kerangka kerja AI yang jauh lebih luas. Namun, beberapa mempertanyakan mengapa pengujian asli tidak memasukkan kerangka kerja MLX Apple, yang mungkin menunjukkan kinerja yang lebih baik untuk sistem Mac dalam tugas inferensi AI.
Perbandingan Harga
- DGX Spark: $4.000 USD
- RTX 5090: ~$2.000 USD
- Strix Halo: $1.800-$2.000 USD
- Mac Studio (128GB): $3.499 USD
 |
|---|
| Desain hardware Apple yang kompak dan ramping, berfungsi sebagai tolok ukur kompetitif terhadap proposisi nilai NVIDIA DGX Spark |
Wawasan Teknis dan Perspektif Alternatif
Di luar angka kinerja mentah, komunitas mengidentifikasi beberapa faktor teknis yang mungkin menjelaskan karakteristik DGX Spark. Penggunaan memori LPDDR5x, meskipun menyediakan kapasitas besar dalam faktor bentuk kompak, secara inherent membatasi bandwidth dibandingkan dengan memori GDDR7 yang digunakan dalam GPU diskrit. Pilihan desain ini mencerminkan posisi Spark sebagai platform pengembangan dan prototipe, bukan server inferensi produksi.
Kemampuan interkoneksi mendapat pujian, dengan seorang komentator mencatat bahwa Spark memiliki interkoneksi yang sangat cepat. Jenis interkoneksi yang ingin digunakan seseorang di pusat data AI yang sebenarnya, sehingga Anda dapat menggunakan lebih dari satu Spark pada waktu yang sama. Port QSFP ganda yang mendukung bandwidth agregat 200Gbps memungkinkan beberapa Spark bekerja bersama sebagai kluster kecil, berpotensi mengatasi keterbatasan unit individu untuk beban kerja inferensi terdistribusi.
Perbandingan Bandwidth Memori
- DGX Spark: 273 GB/s (LPDDR5x)
- RTX 5090: 1792 GB/s (GDDR7)
- Strix Halo: 256 GB/s (DDR5)
Kesimpulan
DGX Spark mewakili kompromi yang menarik antara aksesibilitas dan kinerja di ruang perangkat keras AI. Meskipun pengujian komunitas telah mengungkap kekhawatiran yang sah tentang kinerja inferensinya relatif terhadap sistem pesaing, kombinasi unik platform ini dari memori terpadu besar, interkoneksi berkecepatan tinggi, dan faktor bentuk kompak mungkin masih membuatnya berharga untuk kasus penggunaan tertentu. Seiring dukungan perangkat lunak yang matang dan metodologi pengujian yang meningkat, kemampuan sebenarnya dari sistem yang tidak konvensional ini kemungkinan akan menjadi lebih jelas. Untuk saat ini, konsensus komunitas menunjukkan bahwa calon pembeli harus mengevaluasi dengan cermat kebutuhan beban kerja spesifik mereka sebelum memilih Spark daripada alternatif tradisional yang lebih umum.
Referensi: NVIDIA DGX Spark In-Depth Review: A New Standard for Local AI Inference