Komunitas AI sedang bergulat dengan kontradiksi yang membingungkan. Sementara model terbaru dari OpenAI dan Google telah mencapai performa medali emas pada International Mathematical Olympiad 2025, sistem yang sama ini kesulitan dengan tugas-tugas dasar yang mengejutkan yang dapat ditangani sebagian besar manusia dengan mudah.
Paradoks Performa AI yang Besar
Ketidaksesuaian ini telah memicu perdebatan sengit di antara para pengembang dan peneliti. Model bahasa canggih kini dapat memecahkan masalah matematika kompleks yang menantang siswa-siswa terpintar di dunia, namun mereka secara konsisten gagal dalam aritmatika dasar dengan angka besar dan bahkan kalah dalam tic-tac-toe - sebuah permainan yang telah dipecahkan secara matematis selama puluhan tahun.
Diskusi komunitas mengungkap kedalaman masalah ini. GPT-5 dan model serupa tidak dapat secara andal menambahkan dua bilangan bulat besar tanpa kalkulator, seringkali membuat kesalahan saat menyalin hasil yang telah mereka hitung dengan benar. Yang lebih mencolok lagi, sistem-sistem ini akan dengan percaya diri membuat langkah buruk dalam tic-tac-toe setelah menghabiskan waktu yang signifikan untuk memikirkan permainan tersebut.
Catatan: International Mathematical Olympiad adalah kompetisi tahunan yang menampilkan masalah matematika sekolah menengah paling menantang di dunia.
Perbandingan Performa AI berdasarkan Jenis Tugas:
| Kategori Tugas | Level Performa | Contoh | Keterbatasan Utama |
|---|---|---|---|
| "Target Mudah" | Level medali emas | Soal matematika IMO, tantangan coding | Kecerdasan model |
| "Target Sulit" | Buruk hingga sedang | Presentasi board, operasi bisnis | Kesenjangan konteks dan spesifikasi |
| Aritmatika Dasar | Tidak konsisten | Penjumlahan angka besar, tic-tac-toe | Kesalahan tokenisasi dan penalaran |
Mengapa Konteks Lebih Penting daripada Kecerdasan Mentah
Perbedaan utama terletak pada bagaimana masalah disusun. Masalah olimpiade matematika hadir dengan spesifikasi formal yang lengkap yang berisi semua informasi yang diperlukan untuk penyelesaian. Tidak ada ambiguitas tentang apa yang merupakan jawaban yang benar. Sebaliknya, tugas-tugas dunia nyata ada dalam lingkungan yang berantakan dan dinamis di mana konteks penting tersebar di seluruh email, rapat, dan pengetahuan orang-orang.
Ini menjelaskan mengapa sebuah model mungkin unggul dalam membuktikan teorema kompleks tetapi kesulitan menulis presentasi dewan yang efektif. Masalah matematika memiliki kesenjangan spesifikasi nol yang jelas, sementara tugas bisnis memerlukan pemahaman strategi perusahaan, dinamika dewan, keputusan terkini, dan batasan yang tidak terucap.
Persyaratan untuk Pemecahan Tugas AI yang Efektif:
• Spesifikasi Masalah: Definisi yang tepat dari persyaratan tugas dengan ambiguitas minimal
• Konteks: Pengetahuan lokal termasuk sejarah perusahaan, keputusan, dan batasan-batasan
• Pemecah: Model AI dengan alat dan kemampuan yang sesuai
• Kesenjangan Spesifikasi: Ketidakpastian yang tersisa setelah definisi masalah - kesenjangan yang lebih kecil menghasilkan performa AI yang lebih baik
Hambatan Manusia dalam Otomasi AI
Meskipun ada impian perusahaan berjalan dengan 90% agen AI , keterbatasan saat ini menunjukkan bahwa kita masih jauh dari kenyataan tersebut. Hambatannya bukanlah kecerdasan model tetapi upaya manusia yang sangat besar yang diperlukan untuk menentukan tugas dengan jelas dan memberikan konteks yang relevan. Setiap alur kerja akan memerlukan spesifikasi yang dirancang dengan hati-hati dan saluran konteks - mimpi buruk pemeliharaan bagi organisasi dengan ribuan proses yang saling bergantung.
Seorang manusia akan berjuang, tetapi mereka akan mengenali hal-hal yang perlu mereka ketahui, dan mencari orang-orang yang mungkin memiliki informasi yang relevan.
Ini menyoroti keunggulan penting yang dipertahankan manusia: kemampuan untuk mengenali kesenjangan pengetahuan dan secara aktif mencari informasi yang hilang, sesuatu yang tidak dapat dilakukan sistem AI saat ini secara andal.
Jalan ke Depan untuk Otomasi AI
Komunitas melihat solusi potensial yang muncul. Sistem manajemen konteks yang lebih baik, memori episodik yang ditingkatkan untuk agen AI , dan jendela konteks yang lebih panjang dapat membantu menjembatani kesenjangan. Beberapa pengembang melaporkan keberhasilan menggunakan alur kerja multi-langkah yang memeriksa basis pengetahuan sebelum dan sesudah setiap permintaan AI .
Namun, tantangan mendasar tetap ada. Sampai sistem AI dapat secara andal mengidentifikasi apa yang tidak mereka ketahui dan secara aktif mengumpulkan konteks yang hilang, pengawasan manusia akan tetap penting untuk sebagian besar aplikasi praktis. Masa depan otomasi AI mungkin bergantung lebih sedikit pada membuat model lebih pintar dan lebih pada membangun sistem yang lebih baik untuk menangkap, mengorganisir, dan menyampaikan konteks yang dibutuhkan model-model ini untuk berhasil.
Catatan: Sistem memori episodik memungkinkan AI untuk menyimpan dan mengingat pengalaman atau interaksi spesifik, mirip dengan bagaimana manusia mengingat peristiwa masa lalu.
Referensi: Model intelligence is no longer the constraint for automation