Industri kecerdasan buatan sedang menghadapi tantangan mendasar yang dapat mengubah seluruh bidang ini. Setelah bertahun-tahun mengalami pertumbuhan eksplosif yang didorong oleh dataset masif, perusahaan AI kehabisan data pelatihan berkualitas tinggi. Kekurangan ini mengancam pendekatan tradisional yang hanya mengandalkan peningkatan skala model dengan lebih banyak daya komputasi dan dataset yang lebih besar.
Berakhirnya Era Penskalaan Mudah
Masalah ini berasal dari kesalahpahaman terhadap esai terkenal Rich Sutton yang berjudul Bitter Lesson . Meskipun banyak yang menginterpretasikannya sebagai seruan untuk memprioritaskan daya komputasi di atas segalanya, hambatan sebenarnya ternyata adalah ketersediaan data. Hukum penskalaan saat ini menunjukkan bahwa menggandakan kapasitas GPU memerlukan sekitar 1,4 kali lebih banyak data pelatihan untuk mempertahankan efisiensi. Namun, perusahaan pada dasarnya telah menghabiskan konten berbasis teks internet untuk tujuan pelatihan.
Hal ini menciptakan kendala matematis yang tidak dapat diselesaikan dengan uang sebanyak apa pun. Hubungan antara anggaran komputasi, parameter model, dan data pelatihan mengikuti rasio tertentu. Ketika satu elemen mencapai batasnya, seluruh pendekatan penskalaan akan runtuh. Perusahaan tidak lagi dapat sekadar menambah perangkat keras tanpa peningkatan yang sesuai dalam materi pelatihan berkualitas.
Hubungan Hukum Penskalaan: Anggaran komputasi C ~ 6N × D, dimana N = parameter model dan D = token data pelatihan. Menggandakan komputasi memerlukan data ~1,41x lebih banyak untuk mempertahankan efisiensi.
Dua Jalur Maju untuk Pengembangan AI
Industri menghadapi pilihan kritis antara dua pendekatan yang berbeda. Jalur pertama berfokus pada perbaikan arsitektur - mengembangkan desain model yang lebih efisien yang dapat mencapai performa lebih baik dengan data yang ada. Ini mencakup inovasi seperti State Space Models dan kerangka kerja penalaran baru yang dapat memberikan peningkatan performa yang stabil sebesar 20-30%.
Pendekatan kedua melibatkan pembuatan data pelatihan sintetis melalui apa yang disebut peneliti sebagai metode alkimia. Ini mencakup teknik seperti pembelajaran penguatan dari umpan balik manusia, skenario bermain sendiri, dan sistem AI yang menghasilkan contoh pelatihan mereka sendiri. Meskipun berpotensi revolusioner, jalur ini membawa risiko yang lebih tinggi dan hasil yang tidak pasti.
Jika Anda dapat menemukan cara untuk menghasilkan imbalan yang dapat diverifikasi tentang dunia target, Anda pada dasarnya dapat menghasilkan data dalam jumlah tidak terbatas dan kemungkinan melampaui hambatan saat ini.
Jalur Peningkatan Performa: Perbaikan arsitektur menawarkan peningkatan stabil 20-30%, sementara pendekatan data sintetis menawarkan variasi yang lebih tinggi dengan potensi peningkatan 300%.
Interaksi Dunia Nyata sebagai Bagian yang Hilang
Banyak peneliti percaya bahwa solusinya terletak pada menghubungkan sistem AI secara lebih langsung dengan dunia fisik. Model bahasa saat ini dilatih terutama pada teks - pada dasarnya bayangan di dinding pengetahuan manusia daripada pengalaman langsung. Manusia belajar melalui interaksi multi-modal dengan lingkungan mereka, memproses informasi visual, auditori, dan taktil secara bersamaan.
Kekayaan data dari interaksi dunia nyata jauh melampaui apa yang ditangkap dalam teks tertulis. Satu momen pengalaman manusia mengandung informasi yang jauh lebih banyak daripada yang dapat disampaikan melalui bahasa saja. Ini menunjukkan bahwa sistem AI memerlukan akses ke aliran data sensorik, umpan balik robotika, dan lingkungan interaktif untuk terus berkembang.
Kesenjangan Linimasa Pengembangan: Model AI robotika diperkirakan tertinggal ~5 tahun dari model bahasa dalam hal kemampuan dan ketersediaan data.
Implikasi Industri dan Prospek Masa Depan
Kekurangan data ini memiliki implikasi mendalam bagi perusahaan AI dan investor. Buku panduan tradisional untuk mengamankan lebih banyak sumber daya komputasi dan mengharapkan peningkatan proporsional tidak lagi berfungsi. Perusahaan sekarang harus mengembangkan strategi data yang canggih bersamaan dengan rencana komputasi mereka.
Tantangan ini sangat akut untuk aplikasi robotika, yang tertinggal sekitar lima tahun di belakang model bahasa dalam pengembangan. Data dunia fisik lebih mahal untuk dikumpulkan dan lebih kompleks untuk diproses daripada informasi berbasis teks. Namun, ini mungkin merupakan jalur paling menjanjikan menuju kecerdasan buatan yang benar-benar umum.
Industri berada di persimpangan jalan di mana rekayasa yang cerdas dan pendekatan novel lebih penting daripada daya komputasi mentah. Kesuksesan kemungkinan akan datang dari perusahaan yang dapat secara dramatis meningkatkan efisiensi data atau menemukan cara inovatif untuk menghasilkan materi pelatihan sintetis berkualitas tinggi. Era penskalaan sederhana mungkin berakhir, tetapi zaman pengembangan AI yang canggih baru saja dimulai.
Referensi: The Bitter Lesson Is Misunderstood