Komunitas penelitian AI sedang aktif memperdebatkan salah satu teori paling berpengaruh di bidang ini ketika biaya implementasi dunia nyata mengungkap kompleksitas yang tak terduga. The Bitter Lesson milik Rich Sutton , yang berargumen bahwa penskalaan komputasi dan data secara konsisten mengungguli pendekatan berbasis pengetahuan manusia, menghadapi pengawasan dari para praktisi yang melihat realitas yang lebih bernuansa sedang muncul.
Teori asli tersebut menyarankan pembagian yang jelas antara dua pendekatan pengembangan AI: metode berdasarkan pengetahuan manusia versus yang berskala dengan data dan kekuatan komputasi. Argumen Sutton sangat meyakinkan - secara historis, terobosan terbesar datang dari melemparkan lebih banyak sumber daya komputasi pada masalah daripada dengan hati-hati menyusun wawasan manusia ke dalam sistem.
Biaya Tersembunyi dari Penskalaan Data Murni
Namun, diskusi komunitas mengungkap apa yang disebut beberapa orang sebagai Realitas Keras di balik The Bitter Lesson. Meskipun penskalaan mungkin berhasil dalam teori, perusahaan AI terkemuka saat ini menghabiskan miliaran dolar untuk kurasi data dan kontrol kualitas. Ini bukan hanya tentang mengumpulkan lebih banyak data - ini tentang dengan hati-hati memilih, meninjau, dan memproses informasi berkualitas tinggi dengan pengawasan manusia yang ekstensif.
Pergeseran menjadi jelas ketika membandingkan sistem AI lama dengan yang modern. Model sebelumnya untuk tugas seperti deteksi wajah bisa bekerja dengan gambar wajah apa pun, terlepas dari kualitasnya. Sistem AI percakapan hari ini memerlukan dataset yang sangat dikurasi untuk menghindari menghasilkan output yang berbahaya atau tidak berguna. Perbedaannya terletak pada perpindahan dari pengenalan pola sederhana ke penciptaan asisten AI yang benar-benar berguna.
Perbandingan Biaya: Investasi Kurasi Data
- AI Tradisional (sebelum 2020): Biaya kurasi data minimal, mengandalkan dataset mentah
- LLM Modern (2023-2024): Miliaran hingga puluhan miliaran USD diinvestasikan dalam pengumpulan, peninjauan, dan pemrosesan data
- Proyek skala kecil: Model sederhana sering kali mengungguli jaringan neural ketika data terbatas
Masalah Dikotomi Palsu
Kritikus berargumen bahwa The Bitter Lesson menciptakan pilihan buatan antara pengetahuan manusia dan penskalaan komputasi. Dalam praktiknya, tidak ada model pembelajaran mesin yang ada tanpa pengetahuan manusia - manusia merancang arsitektur, memilih metode pelatihan, dan mengevaluasi hasilnya. Demikian pula, tidak ada sistem AI yang berguna yang bergantung murni pada pengetahuan manusia yang dikodekan keras tanpa komponen pembelajaran apa pun.
Evolusi mesin catur memberikan contoh yang sempurna. Stockfish awalnya menggunakan pengetahuan catur ekstensif yang dibangun oleh para ahli. Leela Chess Zero kemudian mengalahkannya menggunakan pembelajaran penguatan murni tanpa pengetahuan catur. Tetapi plot twist terakhir datang ketika Stockfish menggabungkan kedua pendekatan - menambahkan jaringan saraf ke basis pengetahuan mereka yang ada - dan dengan mudah merebut kembali posisi teratas.
Timeline Evolusi Mesin Catur
- Era Stockfish: Pengetahuan catur manusia + algoritma tradisional
- Leela Chess Zero: Pembelajaran penguatan murni, tanpa pengetahuan catur → Mengalahkan Stockfish
- Stockfish Modern: Pendekatan gabungan (jaringan saraf + pengetahuan manusia) → Merebut kembali posisi teratas
Pendekatan Spektrum
Daripada melihat ini sebagai pilihan ya-atau-tidak, para praktisi mengadopsi pendekatan spektrum. Mereka memulai dengan metode umum yang luas di awal pengembangan, kemudian secara bertahap menambahkan pengetahuan dan bimbingan manusia yang lebih spesifik sesuai kebutuhan. Ini mungkin dimulai dengan pembelajaran mandiri pada dataset besar, kemudian pindah ke data yang dikurasi dalam domain spesifik, dan akhirnya mencakup umpan balik dan evaluasi manusia.
Seluruh proses pembangunan model dipandu oleh pengetahuan domain. Metode yang menerapkan pengetahuan ini berkisar dari 'langsung' hingga 'berpengaruh.'
Pendekatan ini mengakui bahwa tahap pengembangan AI yang berbeda mendapat manfaat dari keseimbangan otomatisasi dan wawasan manusia yang berbeda. Kuncinya adalah memilih titik operasi yang tepat pada spektrum ini untuk setiap bagian dari proses pengembangan.
Pendekatan Spektrum Pengembangan AI
- Tahap Awal: Supervisi mandiri pada dataset masif dan beragam (pendekatan berpengaruh)
- Tahap Menengah: Dataset terkurasi dalam domain spesifik
- Tahap Akhir: Umpan balik manusia, evaluasi, dan penyesuaian halus (pendekatan langsung)
- Hasil: Peningkatan bertahap integrasi pengetahuan manusia sepanjang siklus hidup pengembangan
Implikasi Praktis untuk Tim yang Lebih Kecil
Perdebatan ini memiliki relevansi khusus untuk tim di luar perusahaan teknologi besar. Sementara Google , OpenAI , dan organisasi serupa mampu melemparkan sumber daya komputasi besar pada masalah, tim yang lebih kecil sering menemukan bahwa menggabungkan pengetahuan domain dengan sumber daya komputasi yang lebih sederhana menghasilkan hasil yang lebih baik.
Banyak praktisi melaporkan bahwa model sederhana dan dapat dipahami sering mengungguli jaringan saraf kompleks ketika data terbatas. Triknya adalah mencocokkan kompleksitas model Anda dengan informasi yang tersedia - menggunakan kecanggihan yang cukup untuk menangkap pola tanpa overfitting pada data yang jarang.
Diskusi menunjukkan bahwa meskipun The Bitter Lesson mungkin berlaku di garis depan penelitian AI, realitas praktis untuk sebagian besar aplikasi melibatkan keseimbangan yang hati-hati antara wawasan manusia dengan kekuatan komputasi. Seiring bidang ini matang, kesuksesan semakin bergantung pada mengetahui kapan menerapkan setiap pendekatan daripada memilih sisi dalam pertempuran buatan antara pengetahuan manusia dan pembelajaran mesin.
Referensi: The Bitter Lesson is wrong. Well... sort of.