Komunitas AI terlibat dalam perdebatan sengit tentang apakah melemparkan lebih banyak daya komputasi pada masalah selalu merupakan pendekatan terbaik. Diskusi ini berpusat pada pelajaran pahit terkenal dari Rich Sutton - gagasan bahwa metode umum yang menggunakan banyak komputasi pada akhirnya akan mengalahkan solusi yang dirancang manusia. Meskipun prinsip ini tampaknya menjelaskan terobosan terbaru AI, perkembangan baru membuat peneliti mempertanyakan penerapannya secara universal.
 |
|---|
| Visual ini menekankan konsep dasar "the bitter lesson" dalam AI, yang menjadi landasan untuk diskusi dalam artikel |
Pendekatan Komputasi-Pertama Menabrak Tembok Praktis
Pelajaran pahit bekerja dengan baik di lingkungan terkontrol seperti catur dan Go, di mana aturan jelas dan kemenangan mudah diukur. Namun, aplikasi dunia nyata menyajikan tantangan yang lebih rumit. Organisasi berjuang dengan proses yang tidak terdefinisi, kualitas data yang buruk, dan tujuan yang sulit diukur secara sederhana. Tidak seperti permainan catur dengan aturan yang jelas, dinamika tempat kerja melibatkan prosedur tidak tertulis dan interaksi manusia yang kompleks yang sulit ditangkap dalam data.
Komunitas telah mencatat bahwa banyak perusahaan bahkan tidak dapat mendefinisikan tujuan mereka dengan jelas, apalagi menyediakan data berkualitas tinggi yang diperlukan agar pendekatan berat komputasi bekerja secara efektif. Ini menciptakan masalah mendasar: tanpa data yang baik dan tujuan yang jelas, menambahkan lebih banyak daya komputasi tidak membantu.
Model Efisien Menantang Narasi Penskalaan
Perkembangan terbaru dalam AI menunjukkan bahwa lebih pintar, bukan lebih besar, mungkin lebih baik. Dalam catur, Stockfish tetap tak terkalahkan meskipun menggunakan pendekatan hibrida yang menggabungkan pemrograman tradisional dengan jaringan neural kecil, bukan deep learning murni. Ia dapat berjalan di iPhone sambil mengungguli alternatif berat komputasi.
Demikian pula, model baru yang disebut Hierarchical Reasoning Model ( HRM ) mencapai hasil mengesankan pada benchmark penalaran AI hanya menggunakan 27 juta parameter - fraksi kecil dibandingkan dengan model miliaran parameter. Sementara OpenAI dilaporkan menghabiskan 30.000 dolar Amerika Serikat per tugas untuk mencapai skor tinggi, HRM mencapai hasil serupa dengan sumber daya komputasi yang jauh lebih sedikit.
Model seperti HRM kemungkinan bisa berjalan di ponsel Anda, sama seperti Stockfish. Ini bukan program tujuan umum, dan mereka tidak unggul dengan komputasi berlimpah.
Perbandingan Model:
- HRM (Hierarchical Reasoning Model): 27 juta parameter, terspesialisasi untuk tugas-tugas spesifik
- LLM Standar: Miliaran parameter, tujuan umum
- OpenAI o3: $30.000 USD per tugas untuk skor benchmark tinggi
- Stockfish: Pendekatan hibrida, berjalan di iPhone, tetap tak terkalahkan dalam catur
Perspektif Sepanjang Karir vs. Kebutuhan Langsung
Diskusi mengungkapkan perbedaan penting tentang horison waktu. Beberapa anggota komunitas berpendapat bahwa pelajaran pahit berlaku untuk strategi penelitian sepanjang karir, dengan asumsi peningkatan perangkat keras yang berkelanjutan selama beberapa dekade. Dari sudut pandang ini, bertaruh pada pendekatan komputasi umum masuk akal untuk arah penelitian jangka panjang.
Namun, untuk aplikasi praktis langsung, solusi khusus sering memberikan hasil yang lebih baik. Perusahaan yang membangun alat AI hari ini membutuhkan solusi yang bekerja dalam batasan saat ini, bukan kemampuan teoretis masa depan. Ketegangan antara strategi eksplorasi-versus-eksploitasi menjadi krusial ketika memutuskan antara berinvestasi dalam pendekatan umum yang dapat diskalakan atau solusi efisien yang ditargetkan.
Biaya Manufaktur:
- Fab wafer modern: $1-3 miliar USD (saat ini)
- Fab wafer masa depan: Hingga $20 miliar USD (proyeksi)
- Konteks historis: Sekitar tahun 2000, biaya seperti ini tidak akan dapat dibiayai
Batasan Keuangan dan Teknis Membentuk Realitas
Komunitas telah mengajukan pertanyaan tentang siapa yang diuntungkan dari mempromosikan pendekatan berat komputasi. Ada kesadaran yang berkembang bahwa penekanan terbaru pada penskalaan mungkin dipengaruhi oleh mereka yang menjual sumber daya komputasi atau mereka yang memiliki akses ke anggaran komputasi besar-besaran.
Biaya manufaktur untuk chip canggih terus meningkat, dengan fasilitas fabrikasi modern menelan biaya 1-20 miliar dolar Amerika Serikat. Ini menciptakan batasan praktis tentang seberapa banyak komputasi yang secara realistis dapat diterapkan pada masalah, terutama untuk organisasi kecil dan peneliti.
Perdebatan mencerminkan pertanyaan yang lebih luas tentang prioritas pengembangan AI. Meskipun pendekatan komputasi umum mungkin akhirnya mendominasi, kebutuhan langsung akan solusi praktis dan efisien yang bekerja dalam batasan dunia nyata tetap mendesak. Pelajaran pahit mungkin benar dalam jangka panjang, tetapi tidak selalu memandu keputusan terbaik untuk aplikasi AI hari ini.
Referensi: Does the Bitter Lesson Have Limits?