Saat biaya pelatihan AI mencapai level yang sangat tinggi—dengan OpenAI dilaporkan menghabiskan lebih dari 50 juta dolar Amerika Serikat setiap hari untuk pelatihan model bahasa besar—komunitas teknologi semakin mengarah pada alternatif perangkat keras radikal yang dapat mendemokratisasi pengembangan kecerdasan buatan. Pendekatan yang berpusat pada GPU saat ini telah menciptakan kesenjangan sumber daya yang besar, membuat perusahaan kecil dan peneliti tidak mampu bersaing dengan raksasa teknologi yang mengendalikan ratusan ribu prosesor kelas atas.
Biaya Pelatihan AI Saat Ini:
- OpenAI : $50+ juta USD per hari untuk pelatihan LLM
- Laboratorium besar menguasai: 200.000+ GPU setara H100 / H200
- Biaya pelatihan DeepSeek : $6 juta USD (angka yang diperdebatkan)
- Ambang batas pengeluaran AI perusahaan: $30.000+ USD bulanan untuk layanan distilasi
Komputasi Berpusat Memori Semakin Menguat
Diskusi seputar arsitektur komputasi berpusat memori semakin intensif karena penskalaan GPU tradisional mencapai hambatan ekonomi. Teknologi seperti memristor dan chip neuromorphic berjanji untuk secara dramatis mengurangi kebutuhan energi dan komputasi untuk pelatihan AI. Sementara perusahaan seperti Cerebras telah mendemonstrasikan prosesor skala wafer dengan 44 GB SRAM dan bandwidth 21 PB/s, komunitas percaya bahwa penyimpangan yang jauh lebih radikal dari arsitektur saat ini diperlukan.
Memristor: Perangkat memori yang dapat menyimpan data dan melakukan komputasi, berpotensi menghilangkan kebutuhan untuk terus-menerus memindahkan data antara memori dan unit pemrosesan.
Teknologi Komputasi Alternatif:
- Memristor: Perangkat memori yang menggabungkan penyimpanan dan komputasi
- Spiking Neural Networks (SNNs): Pemrosesan jarang yang terinspirasi dari otak
- Prosesor skala wafer: Chip Cerebras dengan SRAM 44 GB, bandwidth 21 PB/s
- Komputasi berpusat memori: Pemrosesan yang lebih dekat dengan penyimpanan data
- Chip neuromorphic: Perangkat keras yang meniru arsitektur otak
Spiking Neural Networks Menunjukkan Potensi untuk Efisiensi
Spiking Neural Networks (SNNs) merepresentasikan frontier lain yang dapat merevolusi efisiensi AI. Arsitektur yang terinspirasi otak ini memproses informasi dalam pola yang jarang dan digerakkan oleh peristiwa, bukan operasi matriks padat yang diandalkan model saat ini. Otak manusia diperkirakan beroperasi dengan kepadatan graf hanya 0,0001 hingga 0,001, menunjukkan potensi besar untuk pendekatan komputasi jarang yang lebih efisien.
Skeptisisme Bertemu Optimisme dalam Respons Komunitas
Sementara beberapa anggota komunitas tetap skeptis tentang teknologi terobosan yang telah dicoba selama puluhan tahun, yang lain menunjuk pada preseden historis di mana penelitian yang gigih akhirnya membuahkan hasil. Neural network itu sendiri, kendaraan listrik, dan vaksin mRNA semuanya memerlukan puluhan tahun pengembangan sebelum mencapai kesuksesan mainstream. Ledakan AI saat ini telah menciptakan tekanan pendanaan yang belum pernah terjadi sebelumnya untuk menemukan alternatif dari pelatihan berbasis GPU yang mahal.
Ada tekanan besar untuk membuktikan dan menskalakan paradigma alternatif radikal seperti komputasi berpusat memori seperti memristor, atau SNNs, dll. Itulah mengapa saya terkejut kita tidak banyak mendengar tentang investasi spekulatif yang sangat besar dalam arah ini untuk secara dramatis melipatgandakan efisiensi komputasi AI.
Stopgap Distilasi
Sampai terobosan perangkat keras ini terwujud, distilasi model telah muncul sebagai strategi utama untuk pemain yang lebih kecil. Teknik ini memungkinkan perusahaan untuk melatih model yang lebih kecil dan terspesialisasi menggunakan output dari model guru yang lebih besar, biasanya mempertahankan 95% kinerja sambil menjadi satu orde magnitude lebih cepat dan lebih murah untuk dijalankan. Namun, pendekatan ini masih meninggalkan keunggulan pelatihan fundamental pada lab yang didanai dengan baik.
Perlombaan untuk alternatif perangkat keras AI mencerminkan pengakuan yang lebih luas bahwa lintasan saat ini tidak berkelanjutan. Baik melalui memristor, chip neuromorphic, atau paradigma komputasi yang sepenuhnya baru, terobosan berikutnya berpotensi meratakan lapangan bermain dan membuat AI canggih dapat diakses oleh peneliti dan perusahaan di seluruh dunia.
Referensi: GPU-Rich Labs Have Won: What's Left for the Rest of Us is Distillation