Komunitas penelitian AI sedang ramai diperdebatkan setelah Rich Sutton, pemenang Turing Award dan suara berpengaruh dalam kecerdasan buatan, secara publik menyatakan bahwa large language models (LLM) bukanlah jalur yang layak untuk mencapai kecerdasan umum yang sesungguhnya. Perubahan posisinya yang mengejutkan ini telah menimbulkan gelombang di dunia teknologi, terutama mengingat advokasinya sebelumnya untuk pendekatan scaling yang banyak dipercaya mendukung pengembangan LLM.
Penulis The Bitter Lesson Mengubah Haluan
Kritik Sutton berpusat pada keterbatasan fundamental yang dia lihat dalam teknologi LLM saat ini. Dia berargumen bahwa sistem-sistem ini beroperasi terutama dengan meniru perilaku manusia dan memprediksi token teks, daripada mengembangkan pemahaman yang sesungguhnya tentang dunia. Menurut Sutton, LLM tidak memiliki kemampuan untuk membangun model dunia yang kuat - representasi internal tentang bagaimana dunia fisik sebenarnya bekerja, melampaui sekadar memprediksi apa yang mungkin dikatakan manusia tentangnya.
Ini merupakan perubahan signifikan dari esai terkenalnya tahun 2019 The Bitter Lesson, yang menekankan bahwa kemajuan AI secara konsisten berasal dari scaling komputasi daripada solusi yang direkayasa secara manual. Banyak pendukung LLM telah mengutip karya ini sebagai validasi untuk pendekatan mereka dalam membangun model bahasa yang semakin besar.
Argumen Inti Menentang LLM Murni:
- Tidak memiliki model dunia yang sejati selain prediksi teks
- Tidak dapat "terkejut" oleh peristiwa dunia nyata
- Terbatas pada meniru perilaku manusia daripada memahami
- Performa buruk pada tugas penalaran dan perencanaan
- Tantangan dengan situasi baru di luar data pelatihan
Reaksi Komunitas Terpecah atas Implikasinya
Respons komunitas teknologi mengungkapkan perpecahan mendalam tentang apa artinya ini bagi pengembangan AI. Beberapa pengamat menekankan bahwa perdebatan ini secara khusus menyangkut jalur menuju artificial general intelligence (AGI), bukan nilai praktis dari aplikasi LLM saat ini. Sistem-sistem ini terus menunjukkan kemampuan luar biasa dalam coding, penulisan, dan tugas-tugas pemecahan masalah yang memiliki manfaat bisnis dan sosial yang jelas.
Namun, yang lain menunjukkan bahwa sistem AI modern jarang menggunakan LLM murni lagi. Implementasi saat ini biasanya menggabungkan model bahasa dengan alat tambahan, function calls, dan sistem penalaran yang jauh melampaui prediksi teks sederhana. Pendekatan hibrida ini mungkin mengatasi beberapa kekhawatiran Sutton sambil tetap memanfaatkan kekuatan inti dari language modeling.
Pergeseran yang Lebih Luas di Antara Para Pemimpin AI
Sutton bergabung dengan peneliti AI terkemuka lainnya yang telah mengungkapkan skeptisisme tentang LLM sebagai satu-satunya jalur menuju AGI. Yann LeCun telah beralih ke eksplorasi arsitektur world model, sementara Demis Hassabis dari DeepMind juga telah mengakui keterbatasan dalam pendekatan saat ini. Konsensus yang berkembang di antara para peneliti terkemuka ini menunjukkan bahwa bidang ini mungkin memasuki fase eksplorasi baru melampaui strategi scaling murni.
Perdebatan ini menyoroti perbedaan krusial antara menciptakan alat AI yang berguna dan mencapai kecerdasan umum yang sesungguhnya. Meskipun LLM unggul dalam banyak tugas, para kritikus berargumen bahwa mereka secara fundamental tidak memiliki pembelajaran berbasis kejutan dan perilaku terarah tujuan yang menjadi karakteristik pemahaman yang sesungguhnya.
Satu-satunya hal yang bisa Anda percayai adalah data dan itu membuktikan kita belum mencapai puncak dalam hal LLM.
Tokoh Kunci yang Mengkritik Pendekatan LLM Murni:
- Rich Sutton - Pemenang Turing Award, penulis "The Bitter Lesson" (2019)
- Yann LeCun - Mengalihkan fokus ke arsitektur world model pada akhir 2022
- Demis Hassabis - Peraih Nobel dan CEO Google DeepMind
- Gary Marcus - Kritikus LLM jangka panjang sejak 2019
Melihat ke Depan
Saat komunitas AI bergulat dengan pertanyaan-pertanyaan fundamental ini, fokus bergeser ke arah pendekatan hibrida yang menggabungkan LLM dengan teknologi lain. Baik melalui reinforcement learning, metode neurosymbolic, atau arsitektur yang sepenuhnya baru, para peneliti sedang mengeksplorasi cara-cara untuk mengatasi keterbatasan yang telah diidentifikasi Sutton dan lainnya sambil membangun di atas kesuksesan yang tak terbantahkan dari model bahasa saat ini.
Perdebatan ini pada akhirnya mencerminkan kematangan bidang ini saat para peneliti bergerak melampaui kegembiraan awal dari kemampuan LLM untuk mengatasi tantangan yang lebih dalam dalam menciptakan sistem yang benar-benar cerdas.
Referensi: Game over for pure LLMs. Even Turing Award Winner Rich Sutton has gotten off the bus.