Tes benchmark komprehensif terhadap sistem desktop berbasis AMD terbaru Framework telah mengungkap karakteristik performa yang menarik untuk beban kerja AI, dengan diskusi komunitas menyoroti aspek-aspek yang menjanjikan sekaligus keterbatasan yang mencolok. Pengujian melibatkan konfigurasi single-node dan pengaturan cluster 4-node, memberikan wawasan tentang bagaimana sistem ini berkinerja di berbagai skenario deployment.
Performa Single Node Menunjukkan Harapan untuk Setup AI Budget
Desktop Framework , yang dilengkapi dengan prosesor AMD Ryzen 7 5700X dan RAM 128GB, menunjukkan performa yang wajar untuk tugas-tugas inferensi AI lokal. Anggota komunitas sangat tertarik membandingkan setup ini dengan solusi berbasis GPU tradisional. Perbandingan seorang pengguna dengan kartu grafis RTX 4000 SFF Ada (20GB) yang berharga sekitar 1.200 dolar Amerika Serikat, menunjukkan desktop tersebut berkinerja sekitar sepertiga kecepatan untuk sebagian besar tugas. Meskipun ini mungkin terlihat mengecewakan pada pandangan pertama, komunitas mencatat bahwa desain memori terintegrasi menawarkan keunggulan signifikan untuk model AI yang lebih besar yang melebihi batas memori GPU pada umumnya.
Diskusi mengungkap pertimbangan penting bagi calon pembeli yang memilih antara pendekatan hardware yang berbeda. Untuk pengguna yang tertarik pada model AI yang lebih kecil sekitar 27 miliar parameter, GPU NVIDIA khusus tetap menjadi pilihan yang disukai. Namun, bagi mereka yang bekerja dengan model yang lebih besar mulai dari 70 hingga 120 miliar parameter, sistem berbasis AMD atau penawaran Apple menjadi lebih menarik karena kapasitas memori yang superior.
Perbandingan Performa:
- Framework AMD desktop: ~2,5-3x lebih lambat dibandingkan RTX 4000 SFF Ada (20GB) untuk sebagian besar tugas AI
- Harga RTX 4000 SFF Ada : ~$1.200 USD
- Lebih cocok untuk model berparameter 70-120B dibandingkan model 27B (keunggulan NVIDIA )
Hasil Konfigurasi Cluster Menimbulkan Pertanyaan
Mungkin temuan paling mengejutkan dari pengujian adalah performa cluster. Ketika dikonfigurasi sebagai setup 4-node dengan total RAM 512GB, sistem menunjukkan hasil yang mengecewakan dibandingkan dengan operasi single-node. Komunitas mengungkapkan keprihatinan khusus tentang performa GPU yang secara signifikan lebih buruk dalam konfigurasi cluster dibandingkan pada single node, terutama mengingat single node tidak memiliki GPU khusus.
Kesenjangan performa ini telah memicu diskusi tentang alat inferensi AI terdistribusi. Beberapa anggota komunitas merekomendasikan untuk mengeksplorasi proyek seperti distributed-llama, meskipun mereka mencatat bahwa solusi ini memiliki keterbatasan tersendiri, termasuk masalah kompatibilitas Vulkan dan dukungan hanya untuk sejumlah terbatas model AI. Kompleksitas pengaturan dan pemeliharaan cluster AI terdistribusi disorot sebagai penghalang signifikan bagi pengguna rumahan.
Spesifikasi Perangkat Keras:
- Prosesor AMD Ryzen 7 5700X
- RAM 128GB (node tunggal) / Total RAM 512GB (kluster 4-node)
- Penyimpanan NVMe Micron 9300
- GPU terintegrasi dengan dukungan Vulkan dan ROCm
Tantangan Ekosistem Software Berlanjut
Pengujian mengungkap tantangan berkelanjutan dengan dukungan software AI pada hardware AMD . Meskipun ROCm (platform komputasi GPU AMD ) akhirnya berfungsi setelah upgrade ke distribusi Linux yang lebih baru, proses instalasi terbukti sulit pada awalnya. Anggota komunitas mencatat bahwa dukungan Vulkan , yang biasanya bekerja lebih andal secara langsung, tidak didukung oleh alat AI populer seperti Ollama .
Alasan yang mereka berikan secara subjektif buruk... hanya 'tidak' tegas, kami pikir itu tidak dapat diandalkan. Saya kira mereka hanya ingin Anda meninggalkan mereka dan menggunakan llama.cpp.
Keterbatasan software ini telah mengarah pada spekulasi tentang potensi pengaruh dari NVIDIA dalam menjaga solusi GPU alternatif kurang dapat diakses oleh pengguna akhir. Beberapa anggota komunitas telah menemukan kesuksesan dengan alat alternatif seperti ramalama, yang dilaporkan memberikan akselerasi GPU yang lebih baik secara langsung pada sistem AMD .
Masalah Kompatibilitas Perangkat Lunak:
- Instalasi ROCm sulit pada Fedora 42, lebih mudah pada Rawhide
- Ollama tidak memiliki dukungan Vulkan meskipun fork komunitas membuktikan fungsionalitasnya
- Alat alternatif: distributed-llama, ramalama, llama.cpp RPC
- Vulkan umumnya bekerja lebih andal dibandingkan ROCm untuk pengguna akhir
Posisi Pasar dan Proposisi Nilai
Diskusi komunitas mengungkap opini campuran tentang posisi pasar desktop AMD Framework . Meskipun sistem menawarkan keunggulan unik untuk beban kerja AI spesifik, terutama yang memerlukan jumlah memori besar, rasio performa per dolar menghadapi persaingan ketat dari solusi GPU khusus dan penawaran AMD lainnya seperti Ryzen 9950X .
Struktur harga telah menarik kritik, dengan pengguna mencatat bahwa bergerak melampaui performa desktop mainstream memerlukan lompatan biaya yang signifikan ke hardware tingkat profesional. Ini telah mengarah pada pertanyaan tentang target pasar untuk sistem ini, dengan saran mulai dari perdagangan frekuensi tinggi hingga aplikasi data science, meskipun banyak dari kasus penggunaan ini mungkin lebih baik dilayani oleh hardware server khusus.
Desktop AMD Framework tampaknya menempati posisi niche dalam lanskap hardware AI. Meskipun menawarkan keunggulan yang menarik untuk kasus penggunaan spesifik yang melibatkan model AI besar, performa cluster yang campuran dan tantangan ekosistem software menunjukkan bahwa ini mungkin paling cocok untuk pengguna dengan kebutuhan spesifik daripada sebagai workstation AI serbaguna.
Referensi: Benchmark Framework Desktop Mainboard and 4-node cluster #21