Prosesor NorthPole terbaru IBM telah memicu diskusi sengit di komunitas teknologi setelah mengklaim peningkatan performa yang dramatis dibandingkan GPU tradisional. Chip ini merepresentasikan pergeseran fundamental dari arsitektur von Neumann yang telah berusia puluhan tahun yang memisahkan unit memori dan komputasi, dengan mengintegrasikannya secara langsung.
Reaksi komunitas menunjukkan baik kegembiraan maupun skeptisisme terhadap klaim-klaim ini. Sementara IBM melaporkan hasil benchmark yang mengesankan, para pengembang berpengalaman mempertanyakan apakah ini merepresentasikan inovasi sejati atau hanya iterasi lain dari pendekatan yang sudah ada.
 |
|---|
| Representasi bergaya dari bottleneck von Neumann, yang mengilustrasikan aliran data dan kendala pemrosesan |
Klaim Benchmark Menghadapi Pemeriksaan Realitas
Angka-angka performa IBM tentu menarik perhatian. Dalam pengujian dengan model bahasa berparameter 3 miliar, NorthPole mendemonstrasikan performa 47 kali lebih cepat dari GPU paling hemat energi dan efisiensi energi 73 kali lebih baik dari GPU dengan latensi terendah. Namun, anggota komunitas menggali lebih dalam tentang apa arti angka-angka ini dalam praktik.
Diskusi mengungkapkan bahwa IBM telah mengerjakan teknologi ini selama lebih dari satu dekade, membuat beberapa orang bertanya-tanya apakah perusahaan berharap orang lain akan mengimplementasikan pendekatan serupa dan kemudian membayar biaya lisensi untuk paten IBM . Timeline pengembangan yang panjang ini juga menimbulkan pertanyaan mengapa peningkatan yang begitu dramatis baru diumumkan sekarang.
Klaim Performa NorthPole:
- 47x lebih cepat dibandingkan GPU paling hemat energi
- 73x lebih efisien energi dibandingkan GPU dengan latensi terendah
- Diuji pada LLM berparameter 3 miliar (model IBM Granite-8B-Code-Base )
- Timeline pengembangan: 10+ tahun
Perang Arsitektur: Von Neumann vs. Komputasi In-Memory
Komunitas teknis sangat terlibat dalam memperdebatkan perubahan arsitektur fundamental. Desain von Neumann tradisional, di mana prosesor dan memori terpisah, menciptakan apa yang disebut para ahli sebagai bottleneck - prosesor sering menganggur menunggu data berpindah bolak-balik dari memori.
Untuk komputasi tujuan umum, tidak ada yang lebih powerful dari arsitektur von Neumann.
Bottleneck ini menjadi sangat bermasalah untuk beban kerja AI, di mana sejumlah besar bobot model perlu terus-menerus dipindahkan antara memori dan prosesor. Pendekatan IBM memindahkan komputasi langsung ke dalam memori, menghilangkan sebagian besar pergerakan data ini.
Dampak Bottleneck Von Neumann pada AI:
- Energi transfer data: ~90% dari konsumsi energi beban kerja AI
- Energi komputasi aktual: ~10% dari konsumsi energi beban kerja AI
- Akar masalah: Perpindahan konstan bobot model antara unit memori dan komputasi yang terpisah
Perbandingan Lanskap Kompetitif
Diskusi komunitas mengungkapkan bahwa NorthPole IBM tidak beroperasi dalam isolasi. Pendekatan serupa sedang dikejar oleh perusahaan seperti Groq dengan chip LPU mereka, desain perangkat keras Tenstorrent , dan arsitektur NPU AMD . Setiap perusahaan menangani masalah bottleneck memori dari sudut yang sedikit berbeda.
Cerebras telah mengambil pendekatan ekstrem dengan chip WSE-3 mereka, menggabungkan memori on-chip 44GB. Sementara itu, Groq fokus pada membuat memori sangat cepat daripada memindahkan komputasi ke dalam memori itu sendiri. Debat komunitas berpusat pada pendekatan mana yang akan terbukti paling efektif dalam aplikasi dunia nyata.
Arsitektur Chip AI yang Bersaing:
- IBM NorthPole: Komputasi dalam memori dengan penyimpanan analog
- Groq LPU: Memori ultra-cepat (80 terabyte/detik) dengan pemisahan komputasi/memori tradisional
- Cerebras WSE-3: SRAM on-chip 44GB
- Tenstorrent: Kapasitas SRAM tinggi dengan harga yang kompetitif
- AMD NPU: Unit pemrosesan neural khusus
 |
|---|
| Para ahli industri mendiskusikan pendekatan inovatif untuk mengatasi bottleneck memori dalam komputasi |
Kebangkitan Memori Analog Menghasilkan Antusiasme
Satu aspek yang menghasilkan antusiasme sejati adalah penggunaan memori analog IBM untuk menyimpan bobot model. Ini merepresentasikan kembalinya yang menarik ke konsep komputasi analog yang sebagian besar ditinggalkan puluhan tahun lalu demi presisi digital.
Komunitas menghargai keanggunan pendekatan ini - karena bobot model AI tidak memerlukan presisi sempurna, penyimpanan analog dapat memberikan peningkatan efisiensi yang masif sambil menambahkan noise yang bermanfaat yang mungkin benar-benar meningkatkan performa model. Ketidakpresisian ini, alih-alih menjadi kekurangan, bisa berfungsi seperti variasi temperatur built-in yang membantu mencegah overfitting.
 |
|---|
| Blog IBM membahas keterbatasan arsitektur von Neumann pada komputasi AI |
Realitas Pasar vs. Inovasi Teknis
Meskipun pencapaian teknis yang mengesankan, sentimen komunitas menyarankan kehati-hatian tentang dampak praktis langsung. Peningkatan, meskipun signifikan dalam kondisi laboratorium, mungkin merepresentasikan kemajuan yang lebih incremental daripada terobosan revolusioner ketika diterapkan dalam skenario dunia nyata.
Diskusi yang lebih luas mencerminkan tantangan industri yang berkelanjutan dengan biaya komputasi AI dan konsumsi energi. Sementara arsitektur baru seperti NorthPole menawarkan arah yang menjanjikan, komunitas mengakui bahwa adopsi praktis akan bergantung pada faktor-faktor di luar angka performa mentah, termasuk kompatibilitas perangkat lunak, biaya manufaktur, dan dukungan ekosistem.
Referensi: Why a decades old architecture decision is impeding the power of AI computing