Sebuah esai terbaru yang berargumen bahwa model bahasa besar ( LLMs ) tidak memiliki model dunia yang asli telah memicu diskusi hangat di komunitas AI . Perdebatan berpusat pada apakah sistem AI saat ini benar-benar memahami dunia di sekitar mereka atau hanya unggul dalam pencocokan pola dan generasi teks.
Kontroversi dimulai ketika seorang pengembang membagikan pengalaman LLMs yang gagal dalam permainan catur dasar, kehilangan jejak posisi bidak pada langkah ke-9 dan membuat gerakan ilegal. Hal ini memicu pertanyaan yang lebih luas tentang apa yang merupakan model dunia dan apakah LLMs memiliki pemahaman yang asli tentang domain tempat mereka beroperasi.
Tantangan Catur Mengungkap Keterbatasan Fundamental
Contoh catur telah menjadi titik fokus perdebatan. Para kritikus menunjukkan bahwa LLMs kesulitan dengan aturan catur dasar, gagal melacak posisi bidak dan menghasilkan gerakan legal secara konsisten. Namun, penelitian terbaru menunjukkan bahwa narasi ini mungkin sudah ketinggalan zaman. Studi menunjukkan bahwa model canggih dapat mencapai performa catur tingkat profesional, dengan peningkatan signifikan terjadi ketika akurasi gerakan legal mencapai 99,8%.
Perbedaan ini menyoroti isu kunci: model lama dan yang tanpa pelatihan khusus sering gagal pada tugas yang memerlukan penalaran spasial dan pelacakan keadaan. Namun sistem yang lebih baru menunjukkan peningkatan substansial, menimbulkan pertanyaan apakah keterbatasan ini fundamental atau hanya artefak dari pendekatan pelatihan.
Metrik Performa Catur:
- Ambang batas rating tingkat profesional: <1800 ELO
- Titik terobosan akurasi langkah legal: 99,8%
- Peningkatan rating ELO yang signifikan terjadi setelah mencapai akurasi langkah legal yang tinggi
Melampaui Permainan: Aplikasi Dunia Nyata Menunjukkan Hasil Beragam
Perdebatan meluas melampaui catur ke aplikasi praktis. Contohnya termasuk LLMs yang salah menjelaskan alpha blending dalam perangkat lunak pengeditan gambar, mengklaim bahwa pencampuran warna tidak melibatkan kalkulasi matematis. Kesalahan seperti itu mengungkap celah dalam memahami konsep dasar tentang bagaimana komputer memproses informasi visual.
Namun, anggota komunitas mencatat bahwa kegagalan ini sering bergantung pada model mana yang digunakan dan bagaimana pertanyaan dibingkai. Model berkapasitas penalaran modern seperti GPT-5 Thinking dan Claude with Extended Thinking menunjukkan performa yang jauh lebih baik pada tugas serupa, menunjukkan bahwa lanskap ini berkembang pesat.
Model LLM yang Direferensikan dalam Diskusi:
- ChatGPT (berbagai versi termasuk GPT-5 Thinking)
- Claude (dengan kemampuan Extended Thinking)
- Grok
- Google AI Overviews
- Gemini 2.5 Flash dan varian Pro
Faktor Tokenisasi dan Konteks Historis
Aspek menarik dari diskusi ini melibatkan tokenisasi - bagaimana model memecah teks menjadi potongan yang dapat diproses. Beberapa kegagalan, seperti menghitung huruf dalam kata, berasal dari keterbatasan teknis ini daripada kurangnya pemahaman. Anggota komunitas telah mencatat bahwa apa yang dulunya merupakan kasus kegagalan yang dapat diandalkan, seperti menghitung huruf B dalam blueberry, tidak lagi membuat model saat ini tersandung.
Hal itu telah didiskusikan dan direproduksi pada GPT-5 di HN beberapa hari yang lalu... Poster saudara mungkin keliru mengira masalah strawberry dari 2024 pada model LLM yang lebih lama.
Siklus peningkatan yang cepat ini membuat sulit untuk menarik kesimpulan yang bertahan lama tentang keterbatasan fundamental versus rintangan teknis sementara.
Contoh Kegagalan LLM yang Umum:
- Chess : Kehilangan jejak posisi bidak pada langkah ke-9
- Alpha blending : Salah mengklaim bahwa pencampuran warna tidak menggunakan rumus matematika
- Penghitungan huruf: Masalah historis dengan menghitung huruf tertentu dalam kata-kata (sebagian besar telah teratasi pada model yang lebih baru)
- Thread safety : Kebingungan tentang operasi list Python dan perilaku GIL
Masalah Keterbatasan Pembelajaran
Mungkin kendala paling signifikan yang teridentifikasi adalah ketidakmampuan LLMs untuk belajar selama inferensi. Tidak seperti manusia yang dapat membangun pemahaman tentang basis kode atau domain baru melalui interaksi, model saat ini tidak dapat memperbarui pengetahuan mereka secara real-time. Keterbatasan ini mempengaruhi kemampuan mereka untuk mengembangkan pemahaman bernuansa tentang situasi baru atau domain khusus.
Diskusi mengungkap komunitas yang bergulat dengan kemampuan yang berkembang pesat. Sementara para skeptis menunjuk pada keterbatasan fundamental dalam cara LLMs memproses informasi, yang lain berargumen bahwa terobosan terbaru dalam penalaran matematis dan pemecahan masalah menunjukkan kemampuan pemodelan dunia yang asli. Kebenaran kemungkinan terletak di antara posisi-posisi ini, dengan sistem saat ini menunjukkan kemampuan luar biasa di beberapa domain sambil mempertahankan titik buta yang signifikan di domain lain.
Seiring kemampuan AI terus maju dengan kecepatan yang sangat tinggi, perdebatan tentang model dunia mencerminkan pertanyaan yang lebih luas tentang sifat kecerdasan dan pemahaman dalam sistem buatan.
Referensi: LLMs aren't world models