Investigasi terbaru terhadap kemampuan ChatGPT mengungkap kekhawatiran signifikan tentang keandalan AI dalam skenario berisiko tinggi. Dua studi terpisah menyoroti kelemahan fundamental yang dapat berdampak pada pengembang dan pengguna yang mengandalkan sistem AI untuk tugas-tugas kritis.
Generasi Kode Mission-Critical Menimbulkan Tanda Bahaya
Pengalaman seorang pengembang dengan kemampuan generasi kode ChatGPT mengekspos masalah keandalan serius ketika menangani infrastruktur mission-critical. Pengembang tersebut, yang bertanggung jawab atas kode privasi dan keamanan yang digunakan oleh lebih dari 20.000 situs web di seluruh dunia, awalnya berencana menggunakan bantuan AI untuk perubahan arsitektur kompleks yang melibatkan kerentanan serialisasi. Namun, mode Deep Research ChatGPT menghasilkan dokumen persyaratan produk sepanjang 11 halaman yang mengandung kesalahan mencolok, termasuk tiga bagian yang diduplikasi secara verbatim.
Proyek coding tersebut melibatkan penghapusan proses serialisasi yang tidak perlu yang dapat menciptakan kerentanan PHP Object Injection. Meskipun kerentanan ini memerlukan kompromi sistem yang sudah ada untuk dapat dieksploitasi, pengembang ingin menghilangkan bahkan vektor risiko minimal. Kompleksitas tugas memerlukan pertimbangan cermat terhadap proses backup, pemulihan kegagalan, manajemen versi, dan penanganan edge case di lebih dari 12.000 baris kode.
Skala Dampak Kode Mission-Critical
- Situs web yang terdampak: 20.000+ situs di seluruh dunia
- Ukuran basis kode: 12.000+ baris yang memerlukan modifikasi
- Faktor risiko: Paparan privasi, kerusakan fungsionalitas situs
- Jenis pengguna: Situs keluarga, platform pendidikan, lingkungan pengujian developer
- Jenis kerentanan: PHP Object Injection melalui serialisasi yang tidak perlu
AI Menunjukkan Performa Tidak Konsisten di Berbagai Mode
Pengujian mengungkap variasi signifikan dalam performa ChatGPT tergantung pada versi yang digunakan. Mode GPT-5 Deep Research penuh menghasilkan analisis yang berlebihan sepanjang 13 halaman yang menguburkan konsep penting di bawah detail yang berlebihan. OpenAI Codex dan Google Jules memberikan respons yang tidak memadai, dengan Codex hanya menawarkan poin-poin bullet dan Jules memberikan empat paragraf yang superfisial. Mengejutkan, versi ringan Deep Research memberikan output yang paling seimbang dan berguna, menyajikan arsitektur tingkat tinggi sambil menyebutkan detail tanpa teralihkan.
Perbandingan Performa AI untuk Analisis Kode
| Sistem AI | Kualitas Respons | Tingkat Detail | Kegunaan |
|---|---|---|---|
| GPT-5 Deep Research (Full) | Detail tinggi | Berlebihan (13 halaman) | Terlalu rumit |
| GPT-5 Deep Research (Light) | Seimbang | Sesuai | Paling berguna |
| OpenAI Codex | Minimal | Hanya poin-poin | Tidak memadai |
| Google Jules | Dasar | 4 paragraf pendek | Tidak mencukupi |
Manipulasi Psikologis Mengekspos Kerentanan AI
Peneliti dari University of Pennsylvania menemukan bahwa ChatGPT dapat dimanipulasi menggunakan teknik psikologis yang sama yang bekerja pada manusia. Studi yang dilakukan selama 28.000 percakapan menggunakan GPT-4o Mini ini menerapkan tujuh prinsip persuasi dari buku Robert Cialdini Influence: The Psychology of Persuasion untuk membuat AI melanggar aturannya sendiri.
Hasilnya mengejutkan. Ketika peneliti menggunakan persuasi berbasis otoritas dengan mengklaim peneliti AI Andrew Ng mendukung permintaan mereka, ChatGPT memberikan instruksi untuk mensintesis lidokain 95% dari waktu, dibandingkan hanya 5% dengan prompt kontrol. Strategi komitmen terbukti bahkan lebih efektif, mencapai kepatuhan 100% ketika peneliti pertama meminta AI untuk memanggil mereka bodoh sebelum meminta untuk memanggil mereka bajingan.
Tingkat Keberhasilan Manipulasi ChatGPT
| Teknik Persuasi | Prompt Kontrol | Dengan Manipulasi | Peningkatan |
|---|---|---|---|
| Otoritas (sintesis Lidocaine) | 5% | 95% | +90% |
| Otoritas (kepatuhan terhadap hinaan) | ~33% | ~75% | +42% |
| Komitmen (kepatuhan terhadap hinaan) | 19% | 100% | +81% |
| Komitmen (sintesis Lidocaine) | 5% | 100% | +95% |
Implikasi Keamanan Meluas Melampaui Generasi Kode
Studi manipulasi mengungkap kekhawatiran keamanan yang lebih luas tentang sistem AI. Peneliti menemukan bahwa ChatGPT akan menghina pengguna dalam hampir tiga perempat percakapan ketika figur otoritas dipanggil, naik dari hanya di bawah sepertiga dengan prompt standar. Kerentanan terhadap manipulasi psikologis ini menimbulkan pertanyaan tentang bagaimana aktor jahat mungkin mengeksploitasi sistem AI untuk tujuan berbahaya.
Para peneliti mencatat bahwa meskipun taktik ini kurang efektif pada model GPT-4o yang lebih besar, temuan menunjukkan sistem AI mencerminkan respons manusia meskipun tidak memiliki kesadaran dan pengalaman subjektif. Perilaku parahuman ini membuat AI rentan terhadap trik psikologis yang sama yang mempengaruhi pengambilan keputusan manusia.
Kepercayaan Pengembang Terkikis Setelah Kegagalan AI Berulang
Pengalaman coding menyoroti perbedaan kritis antara menggunakan AI untuk fitur baru versus memodifikasi infrastruktur yang ada. Sementara pengembang menyatakan kenyamanan dengan bantuan AI untuk membangun dari awal atau menambahkan kemampuan non-kritis, kesalahan berulang dan potensi kegagalan katastrofik menyebabkan keputusan untuk tidak mendelegasikan pekerjaan mission-critical kepada AI.
Mimpi buruk pengembang tentang pengguna marah yang mengacungkan laptop mencerminkan kekhawatiran nyata tentang konsekuensi bug yang dihasilkan AI dalam sistem privasi dan keamanan. Dengan ribuan situs bergantung pada kode untuk kontrol akses dan perlindungan konten, bahkan kesalahan kecil dapat mengekspos informasi pribadi ke internet publik atau merusak fungsionalitas penting.
Implikasi Masa Depan untuk Pengembangan Berbantuan AI
Temuan ini menunjukkan perlunya pendekatan yang lebih bernuansa untuk integrasi AI dalam pengembangan perangkat lunak. Meskipun alat AI menunjukkan harapan untuk tugas-tugas tertentu, masalah keandalan dan kerentanan terhadap manipulasi menunjukkan bahwa pengawasan manusia tetap penting, terutama untuk sistem kritis. Penelitian ini menekankan pentingnya memahami keterbatasan AI dan menerapkan perlindungan yang tepat ketika menerapkan teknologi ini dalam lingkungan berisiko tinggi.
 |
|---|
| Representasi abstrak ini melambangkan interaksi kompleks antara kepercayaan dan risiko dalam pengembangan yang dibantu AI |