Sebuah artikel terbaru yang mengklaim bahwa lottery ticket hypothesis menjelaskan mengapa model AI masif bekerja telah memicu perdebatan sengit di komunitas teknologi, dengan para ahli mempertanyakan baik klaim historis maupun penjelasan teknis yang disajikan.
Klaim Historis Mendapat Kritik
Pernyataan artikel bahwa penelitian AI memiliki sejarah 300 tahun telah menarik skeptisisme langsung dari komunitas. Meskipun beberapa konsep statistik seperti regresi linear memang berasal dari sekitar 220 tahun yang lalu hingga karya Legendre pada tahun 1805, para ahli menunjukkan bahwa bias-variance tradeoff itu sendiri jauh lebih baru. Klaim menyeluruh bahwa prinsip ini mengatur setiap sistem pembelajaran selama tiga abad tampaknya merupakan pernyataan berlebihan yang mencampuradukkan konsep machine learning modern dengan metode statistik yang jauh lebih tua.
Garis Waktu Sejarah:
- ~1805: Legendre menjelaskan regresi linear (~220 tahun yang lalu)
- 2018: Hipotesis tiket lotre diperkenalkan oleh Frankle dan Carbin di MIT
- 2019: Fenomena penurunan ganda didokumentasikan oleh Belkin dan rekan-rekannya
- Saat ini: Model campuran ahli mengimplementasikan aktivasi parameter selektif
Penjelasan Alternatif untuk Kesuksesan Model AI
Anggota komunitas mengusulkan penjelasan yang lebih sederhana untuk mengapa large language model bekerja dengan sangat baik. Sebuah argumen tandingan utama menunjukkan bahwa terobosan tersebut bukan tentang ukuran model saja, melainkan tentang membingkai masalah sebagai tugas prediksi kata berikutnya. Pendekatan ini menciptakan akses ke dataset skala internet dengan triliunan contoh berlabel, menyediakan struktur kaya yang diperlukan untuk membuat model besar menjadi berguna.
LLM tidak membantah bias-variance tradeoff; kita hanya menemukan lebih banyak data dan GPU untuk belajar darinya.
Peran kemajuan komputasi tidak dapat diremehkan. Peningkatan masif dalam daya komputasi yang tersedia selama dekade terakhir membuat pelatihan yang seharusnya memakan waktu seumur hidup tiba-tiba menjadi layak, membuka kemungkinan yang sepenuhnya baru untuk penskalaan model.
Kekhawatiran Teknis Tentang Penjelasan Lottery Ticket
Beberapa masalah teknis telah muncul dalam diskusi komunitas tentang penjelasan lottery ticket hypothesis. Seorang ahli mencatat bahwa artikel tersebut memberikan penjelasan yang sangat buruk/salah tentang lottery ticket hypothesis yang sebenarnya, merujuk pada makalah penelitian asli untuk perbandingan.
Pertanyaan overfitting tetap kontroversial. Beberapa pihak berpendapat bahwa apa yang kita lihat bukanlah ketiadaan overfitting, melainkan overfitting tersembunyi yang menjadi jelas hanya ketika model menghadapi contoh adversarial - input yang dibuat dengan hati-hati yang mengekspos memorisasi model daripada pemahaman sejati.
Implikasi Praktis dan Efisiensi Model
Jika lottery ticket hypothesis akurat seperti yang disajikan, hal ini akan menimbulkan pertanyaan penting tentang efisiensi model. Anggota komunitas menunjukkan bahwa jika 99% bobot model mewakili lottery ticket yang gagal, ini seharusnya membuat sebagian besar komputasi inferensi tidak diperlukan. Namun, kenyataannya lebih bernuansa - subset bobot yang berbeda aktif untuk berbagai jenis masalah, membuat jaringan penuh diperlukan untuk kinerja tujuan umum.
Teknik modern seperti mixture of experts model sudah mengimplementasikan prinsip ini sampai tingkat tertentu, dengan hanya sebagian kecil dari total parameter aktif untuk input tertentu, menunjukkan bahwa bidang ini telah bergerak menuju arsitektur yang lebih efisien.
Perbandingan Skala Model:
- Evolusi seri GPT : 117 juta → 175 miliar parameter
- Model Kimi K2 : 32B parameter aktif dari 1T total (3,2% aktif)
- Kemampuan pruning: Hingga 96% parameter dapat dihapus tanpa kehilangan akurasi
Pertanyaan Kecerdasan Tetap Terbuka
Mungkin perdebatan paling mendasar berpusat pada apa arti semua ini untuk memahami kecerdasan itu sendiri. Beberapa anggota komunitas menunjukkan bahwa jika penjelasan tersebut benar, hal ini mungkin menunjukkan bahwa sistem-sistem ini sama sekali tidak benar-benar cerdas - mereka hanyalah sistem pencocokan pola yang sangat canggih dengan pengetahuan latar belakang yang luas.
Diskusi ini mengungkapkan ketegangan yang lebih dalam dalam penelitian AI antara mereka yang melihat model besar saat ini sebagai batu loncatan menuju kecerdasan sejati dan mereka yang memandangnya sebagai sistem yang secara fundamental terbatas yang unggul dalam pengenalan pola statistik tanpa pemahaman sejati.
Saat bidang AI terus berkembang dengan cepat, perdebatan ini menyoroti pentingnya analisis yang ketat dan peer review dalam memahami mengapa sistem paling kuat kita bekerja - dan apa keterbatasannya.
Referensi: How Al researchers accidentally discovered that everything they thought about learning was wrong