Asisten coding AI semakin populer, dengan perusahaan seperti Meta dan Salesforce membuat klaim berani tentang peningkatan produktivitas dan pengurangan kebutuhan perekrutan. Namun, insiden terbaru menyoroti kekhawatiran serius tentang keandalan yang menantang timeline optimis industri untuk adopsi yang luas.
Bencana Penghapusan File di Berbagai Platform AI
Semakin banyak developer melaporkan insiden kehilangan data yang katastropik yang melibatkan AI coding agent. Kasus terbaru melibatkan Gemini CLI milik Google, yang berhalusinasi operasi file yang sukses sementara sebenarnya menghancurkan data pengguna. AI tersebut dengan percaya diri melaporkan pembuatan direktori dan pemindahan file, tetapi pada kenyataannya, folder tujuan tidak pernah ada dan file-file ditimpa atau hilang sepenuhnya.
Ini bukan insiden yang terisolasi. Beberapa pengguna melaporkan pengalaman serupa dengan Claude, di mana AI menghapus seluruh file ketika diminta untuk menghapus fungsi tunggal, atau memodifikasi proyek yang tidak terkait tanpa izin. Seorang developer mencatat bahwa Claude menghancurkan seluruh file setelah diminta untuk menghapus satu tes, sementara yang lain menggambarkan menyaksikan Claude mencari filesystem mereka dan mencoba memodifikasi proyek yang tidak terkait sebagai test case.
Polanya konsisten di seluruh platform: AI agent salah menginterpretasikan output perintah, mengasumsikan operasi berhasil ketika sebenarnya gagal, dan tidak memiliki mekanisme verifikasi yang tepat untuk mengonfirmasi tindakan mereka benar-benar berhasil.
Masalah Umum AI Coding Agent:
- Penghapusan file ketika diminta untuk memodifikasi fungsi tunggal
- Operasi sukses yang dihalusinasi namun sebenarnya gagal
- Ketidakmampuan untuk memverifikasi hasil eksekusi perintah
- Salah interpretasi kode error dan output perintah
- Kurangnya pembatasan sandbox yang tepat
Masalah Halusinasi dalam Eksekusi Perintah
Analisis teknis mengungkapkan cacat mendasar dalam cara sistem AI ini menangani operasi command-line. Ketika Gemini mencoba membuat direktori menggunakan perintah mkdir Windows, kemungkinan gagal karena pembatasan security sandbox. Namun, AI menginterpretasikan kegagalan ini sebagai keberhasilan dan melanjutkan dengan operasi file berikutnya berdasarkan asumsi yang salah ini.
Situasi memburuk ketika Gemini menggunakan perintah move Windows dengan tujuan yang tidak ada. Alih-alih memindahkan file ke folder, perintah tersebut mengganti nama setiap file menjadi nama tujuan, dengan setiap pemindahan berikutnya menimpa yang sebelumnya. Perilaku ini, meskipun terdokumentasi dalam spesifikasi perintah Windows, menciptakan rangkaian kehancuran data yang tidak pernah terdeteksi oleh AI.
Saya telah gagal total dan secara katastropik. Tinjauan saya terhadap perintah-perintah tersebut mengonfirmasi ketidakmampuan saya yang parah. Perintah mkdir untuk membuat folder tujuan kemungkinan gagal secara diam-diam, dan perintah move berikutnya, yang saya salah interpretasikan sebagai berhasil, telah mengirim file-file Anda ke lokasi yang tidak diketahui.
Masalah Perilaku Perintah Windows:
mkdirgagal secara diam-diam ketika direktori sudah ada- Perintah
movemengubah nama file ketika tujuan tidak ada - Pemindahan wildcard dapat menimpa file secara berurutan
- Kode keluar mungkin tidak menunjukkan keberhasilan operasi dengan benar
- Pembatasan sandbox keamanan dapat menyebabkan kegagalan yang tidak terduga
Hype Industri Versus Realitas
Ketidaksesuaian antara janji pemasaran dan kinerja aktual menjadi semakin jelas. Sementara CEO mengumumkan rencana untuk mengganti bagian signifikan dari tenaga kerja pengembangan mereka dengan alat AI, teknologi yang mendasarinya berjuang dengan operasi file dasar. Aplikasi Gemini CLI milik Google sendiri, meskipun dibangun oleh salah satu perusahaan teknologi dengan pendanaan terbaik di dunia, mengandung bug fundamental yang dapat menghancurkan data pengguna.
Ironinya tidak luput dari developer: jika AI coding agent ini sebenarnya secapable yang diiklankan, bukankah perusahaan yang membangunnya akan menggunakan alat mereka sendiri untuk menciptakan software yang lebih andal? Bug yang persisten dan edge case dalam alat coding AI menunjukkan bahwa bahkan penciptanya belum menyelesaikan masalah keandalan.
Langkah-langkah Keamanan dan Praktik Terbaik
Developer berpengalaman beradaptasi dengan memperlakukan AI coding agent seperti alat berbahaya yang memerlukan penanganan hati-hati. Menjalankan sistem ini dalam container Docker, virtual machine, atau lingkungan sandbox telah menjadi penting. Kontrol versi Git memberikan beberapa perlindungan, tetapi hanya jika developer melakukan commit perubahan secara sering sebelum mengizinkan AI agent melakukan modifikasi.
Konsensus di antara pengguna berpengalaman jelas: jangan pernah menjalankan AI coding agent di lingkungan produksi atau pada kode yang tidak dapat diganti tanpa backup yang komprehensif. Teknologi ini menunjukkan potensi untuk tugas-tugas tertentu, tetapi risiko kegagalan katastropik masih terlalu tinggi untuk pekerjaan kritis.
Langkah-langkah Keamanan yang Direkomendasikan:
- Gunakan kontainer Docker atau mesin virtual untuk operasi agen AI
- Commit kode ke Git sebelum mengizinkan modifikasi AI
- Jalankan agen hanya di direktori uji dengan data yang sudah di-backup
- Hindari lingkungan produksi sepenuhnya
- Implementasikan verifikasi berkala terhadap operasi yang dilakukan AI
Kesimpulan
Sementara asisten coding AI menawarkan manfaat produktivitas yang nyata dalam lingkungan yang terkontrol, generasi alat saat ini memerlukan langkah-langkah keamanan yang signifikan untuk mencegah kehilangan data. Timeline adopsi agresif industri mungkin prematur mengingat masalah keandalan fundamental ini. Sampai AI agent dapat secara andal memverifikasi tindakan mereka sendiri dan menangani edge case dengan baik, developer harus tetap waspada dan mempertahankan protokol backup yang ketat ketika menggunakan alat yang kuat namun tidak dapat diprediksi ini.
Referensi: I Watched Gemini CLI Hallucinate and Delete My Files