Model bahasa besar (LLM) menunjukkan kemampuan baru yang mengejutkan di bidang yang secara tradisional dianggap sebagai kelemahan mereka - manipulasi teks pada level karakter. Pengujian komunitas terbaru mengungkap bahwa model yang lebih baru seperti GPT-5 dan Claude Sonnet 4 kini dapat menangani tugas seperti menghitung huruf tertentu dalam kata, mendekode Base64, dan memecahkan sandi substitusi, kemampuan yang sebelumnya memerlukan alat khusus atau campur tangan manusia. Perkembangan ini memicu diskusi intensif tentang apa arti peningkatan ini bagi pemahaman kita tentang kecerdasan AI dan apakah kita menyaksikan pertumbuhan kemampuan yang sesungguhnya atau sekadar mengajar untuk lulus ujian.
Tes Strawberry yang Membingungkan Model-model Awal
Komunitas telah terpesona dengan apa yang dikenal sebagai tes strawberry - meminta LLM untuk menghitung berapa kali huruf 'r' muncul dalam kata strawberry. Selama bertahun-tahun, pertanyaan sederhana ini mengungkap kelemahan mendasar dalam model bahasa. Model-model awal secara konsisten gagal, sering kali memberikan jawaban seperti tujuh huruf R atau salah menghitung secara total. Kegagalan ini berasal dari cara LLM memproses teks melalui tokenisasi, di mana karakter dikelompokkan menjadi token daripada diproses secara individual. Hal ini membuat operasi level karakter terkenal sulit bagi model yang sebenarnya mampu melakukan tugas penalaran kompleks.
Yang berubah baru-baru ini adalah bahwa model yang lebih baru dari berbagai vendor kini lulus tes ini secara konsisten. Anggota komunitas yang menguji model GPT-5 menemukan bahwa mereka dapat mengidentifikasi tiga huruf 'r' dalam strawberry dengan benar bahkan tanpa kemampuan penalaran yang diaktifkan. Demikian pula, Claude Sonnet 4 menjadi model Anthropic pertama yang memecahkan masalah ini. Waktunya sangat menarik - baik model OpenAI maupun Anthropic mengembangkan kemampuan ini sekitar periode yang sama, meskipun pendekatan arsitektur mereka berbeda. Peningkatan simultan ini menunjukkan baik evolusi konvergen dalam pengembangan AI atau bahwa kedua perusahaan mengidentifikasi manipulasi level karakter sebagai tolok ukur penting untuk ditangani.
Debat Penggunaan Alat: Kecerdasan atau Kecurangan?
Komunitas sangat terbelah tentang bagaimana LLM seharusnya menangani tugas level karakter. Beberapa berargumen bahwa model harus secara otomatis menggunakan alat pemrograman untuk operasi yang presisi, sementara yang lain percaya bahwa kecerdasan sejati berarti mengembangkan kemampuan internal. Seorang komentator menangkap inti debat ini dengan sempurna:
Jika saya meminta Anda menghitung huruf r dalam strawberry, apakah Anda mengeluarkan alat Python Anda?
Ini menyoroti pertanyaan inti: apa yang merupakan kecerdasan sejati dalam sistem AI? Mereka yang mengadvokasi penggunaan alat menunjukkan bahwa manusia secara teratur menggunakan kalkulator untuk masalah matematika dan bahan referensi untuk tugas kompleks. Mereka berargumen bahwa mengetahui kapan menggunakan alat yang tepat adalah ciri khas kecerdasan. Namun, yang lain membantah bahwa ketergantungan berlebihan pada alat eksternal membuat sistem AI rapuh dan bergantung pada kondisi sempurna. Diskusi ini mengungkap perbedaan pendapat mendasar tentang apa yang kita inginkan dari asisten AI - kemampuan penalaran murni atau pemecahan masalah praktis yang menggunakan semua sumber daya yang tersedia.
Diskusi penggunaan alat melampaui penghitungan karakter ke tugas yang lebih kompleks seperti dekode Base64 dan pemecahan sandi. Pengujian komunitas menunjukkan bahwa sementara beberapa model dapat menangani tugas ini secara internal, yang lain akan menghasilkan kode Python untuk memecahkannya. Hal ini memunculkan pertanyaan tentang apakah kita mengukur kecerdasan model atau kemampuannya menulis kode. Beberapa anggota komunitas mengungkapkan frustrasi bahwa mereka harus mengelola mikro sistem AI dengan secara eksplisit memberi tahu mereka kapan menggunakan alat, dengan berargumen bahwa sistem yang benar-benar cerdas harus menyimpulkan pendekatan yang tepat dari konteks.
Keamanan Versus Kemampuan dalam Konten Terenkripsi
Temuan tak terduga dari pengujian komunitas melibatkan bagaimana model yang berbeda menangani konten terenkripsi dan terenkode. Ketika disajikan dengan teks terenkode Base64 yang berisi sandi ROT20, Claude Sonnet 4.5 secara konsisten menolak memproses konten, menandainya sebagai berpotensi tidak aman. Grok 4 menunjukkan perilaku serupa, menolak teks Base64 sementara bersedia bekerja dengan sandi ROT20 secara langsung. Pendekatan keamanan-pertama ini memiliki implikasi praktis - hal ini dapat membuat model tersebut tidak dapat digunakan untuk bekerja dengan bahasa langka atau tugas pengkodean yang sah.
Pembatasan keamanan ini mengungkap ketegangan antara kemampuan dan kehati-hatian dalam pengembangan AI. Sementara mencegah penyalahgunaan itu penting, filter keamanan yang terlalu sensitif dapat membatasi kasus penggunaan yang sah. Anggota komunitas mencatat bahwa pengkodean Base64 umumnya digunakan dalam aplikasi sah seperti lampiran email dan penyimpanan data, bukan hanya untuk pengaburan. Tanggapan yang bervariasi dari model yang berbeda menunjukkan perusahaan mengambil pendekatan berbeda terhadap keseimbangan ini, dengan beberapa memprioritaskan kemampuan dan yang lain menekankan keamanan.
Apa yang Diungkapkan Peningkatan Penanganan Karakter tentang Pengembangan LLM
Pengujian komunitas memberikan wawasan menarik tentang bagaimana kemampuan LLM berevolusi. Fakta bahwa beberapa vendor mengembangkan kemampuan manipulasi level karakter sekitar waktu yang sama menunjukkan baik teknik pelatihan bersama atau bahwa kemampuan ini muncul secara alami pada ambang batas skala tertentu. Beberapa berspekulasi bahwa vendor mungkin telah secara khusus melatih model pada tugas penghitungan karakter setelah mereka menjadi tolok ukur populer, sementara yang lain percaya peningkatan ini adalah efek samping dari penskalaan kemampuan umum.
Hasil dekode Base64 sangatlah revealing. Model-model awal hanya dapat mendekode Base64 ketika berisi pola bahasa Inggris umum, menunjukkan mereka telah menghafal terjemahan yang sering muncul daripada memahami algoritmanya. Model yang lebih baru berhasil mendekode teks terenkode ROT20 yang seperti omong kosong dari Base64, mengindikasikan mereka telah mengembangkan pemahaman kerja tentang algoritma Base64 itu sendiri. Ini merupakan lompatan signifikan dari pengenalan pola ke pemahaman algoritmik.
Komunitas tetap terbelah tentang apakah peningkatan ini mewakili pertumbuhan kecerdasan yang sesungguhnya atau pelatihan khusus. Beberapa melihatnya sebagai bukti penskalaan kemampuan yang lebih luas, sementara yang lain melihatnya sebagai mengajar untuk lulus ujian - mengoptimalkan untuk tolok ukur populer daripada mengembangkan kecerdasan umum. Yang jelas adalah bahwa garis antara kemampuan khusus dan kecerdasan umum menjadi semakin kabur seiring model menangani tugas yang tidak pernah secara eksplisit dirancang untuk ditangani.
Masa Depan Kemampuan LLM
Seiring model bahasa terus mengejutkan kita dengan kemampuan di domain yang tidak dirancang untuk mereka, komunitas dibiarkan bertanya-tanya kemampuan tak terduga apa lagi yang mungkin muncul. Peningkatan manipulasi level karakter, meskipun tampaknya minor, mewakili langkah signifikan dalam model memahami blok bangunan fundamental bahasa. Apakah ini mengarah ke penanganan bahasa aglutinatif yang lebih baik, peningkatan pemahaman kode, atau aplikasi tak terduga lainnya, masih harus dilihat.
Debat yang sedang berlangsung tentang penggunaan alat versus kemampuan internal mencerminkan pertanyaan besar tentang apa yang kita inginkan dari sistem AI. Seperti yang dicatat seorang anggota komunitas, kemampuan menggunakan alat adalah yang memisahkan manusia dari hewan lain - tetapi mengetahui kapan menggunakan alat mana memerlukan penilaian yang canggih. Batas berikutnya mungkin adalah model yang dapat secara cerdas memutuskan kapan mengandalkan kemampuan internal versus alat eksternal berdasarkan konteks, persyaratan akurasi, dan sumber daya yang tersedia.
Yang pasti adalah bahwa laju peningkatan yang cepat terus mengejutkan bahkan pengamat dekat di bidang ini. Tugas yang dianggap mustahil untuk LLM hanya beberapa bulan lalu kini ditangani secara andal oleh model terbaru. Saat kita terus mendorong batas apa yang dapat dilakukan sistem ini, kita kemungkinan akan melihat lebih banyak kemampuan muncul yang menantang pemahaman kita tentang kecerdasan buatan dan alami.
Referensi: LLM are getting better at character-level text manipulation