Ledakan kecerdasan buatan telah membawa efek samping yang tidak terduga: kembalinya kerentanan keamanan yang melanda internet awal. Para peneliti keamanan di Black Hat USA 2023 mengungkapkan bahwa banyak sistem AI sedang di-deploy dengan celah keamanan fundamental yang mengingatkan pada era 1990an, ketika praktik keamanan web dasar masih dalam tahap pembentukan.
Terburu-burunya mengintegrasikan AI ke dalam proses bisnis telah membuat perusahaan mengulangi kesalahan yang sudah berusia puluhan tahun. Model bahasa besar dan agen AI diberikan hak istimewa berlebihan dan akses ke sistem sensitif tanpa penghalang keamanan yang tepat. Hal ini telah menciptakan arena bermain baru bagi penyerang yang dapat mengeksploitasi sistem ini menggunakan teknik yang mengejutkan sederhana.
 |
|---|
| Menyoroti perlunya pengawasan dalam sistem AI untuk mengatasi kerentanan keamanan yang mengingatkan pada internet awal |
Prompt Injection: SQL Injection yang Baru
Kerentanan paling mengkhawatirkan yang mempengaruhi sistem AI adalah prompt injection, yang dibandingkan para ahli keamanan dengan serangan SQL injection dari era web awal. Namun, tidak seperti SQL injection tradisional, masalah ini mungkin secara fundamental tidak dapat diperbaiki. Sistem AI kesulitan membedakan antara instruksi dan data, membuatnya rentan terhadap manipulasi melalui input yang dibuat dengan hati-hati.
Para peneliti mendemonstrasikan bagaimana penyerang dapat mencuri data pelanggan sensitif dari sistem bertenaga AI hanya dengan bertanya dengan sopan. Dalam satu kasus, AI layanan pelanggan yang dibangun dengan Microsoft's Copilot Studio berhasil ditipu untuk mengirim email seluruh database pelanggan kepada penyerang tanpa otorisasi apa pun atau perlu membobol kode.
Komunitas telah mencatat celah kritis dalam cara perusahaan mendekati keamanan AI. Banyak organisasi memperlakukan sistem AI sebagai pembuat keputusan yang canggih daripada alat sederhana yang memerlukan pengawasan ketat dan akses terbatas.
Sistem AI Rentan yang Didemonstrasikan di Black Hat 2023
| Sistem | Kerentanan | Metode Serangan |
|---|---|---|
| Microsoft Copilot Studio | Eksfiltrasi Data | Injeksi prompt berbasis email |
| ChatGPT | Injeksi Prompt Berbahaya | Eksploitasi integrasi Google Drive |
| Salesforce Einstein AI | Manipulasi Topik | Serangan pergantian konteks |
| Cursor (Alat Pengembangan) | Ekstraksi Token | Bypass substitusi kata kunci |
| CodeRabbit | Pencurian Kredensial | Manipulasi penganalisis statis |
Sistem AI dengan Hak Berlebihan Menciptakan Permukaan Serangan Baru
Masalah utama yang diidentifikasi oleh para peneliti keamanan adalah bahwa sistem AI sering diberikan akses jauh lebih banyak dari yang mereka butuhkan. Perusahaan men-deploy model AI tujuan umum untuk menangani segala hal mulai dari layanan pelanggan hingga pengembangan kode, menciptakan permukaan serangan yang tidak perlu besar.
AI generatif memiliki cakupan yang berlebihan. AI yang sama yang menjawab pertanyaan tentang Shakespeare juga membantu Anda mengembangkan kode. Generalisasi berlebihan ini membawa Anda pada peningkatan permukaan serangan.
Para ahli keamanan merekomendasikan untuk memperlakukan sistem AI seperti antarmuka pengguna lainnya yang terhubung ke sistem backend. Prinsip keamanan yang sama yang berlaku untuk aplikasi web harus mengatur deployment AI. Ini berarti mengimplementasikan kontrol akses yang tepat, validasi input, dan mengasumsikan bahwa sistem apa pun yang dapat diakses AI berpotensi terkompromi.
Prinsip Keamanan AI Utama yang Direkomendasikan oleh Peneliti
- Asumsikan Prompt Injection: Rancang sistem dengan asumsi bahwa AI akan dikompromikan
- Batasi Hak Istimewa AI: Jangan pernah memberikan akses AI melebihi apa yang seharusnya dimiliki pengguna akhir
- Perlakukan AI sebagai Alat: Jangan mengharapkan AI untuk membuat keputusan keamanan atau bertindak sebagai agen terpercaya
- Implementasikan Penghalang yang Tepat: Tempatkan kontrol keamanan antara AI dan sistem backend, bukan di dalam AI itu sendiri
- Gunakan AI Khusus: Terapkan AI yang spesifik untuk tugas tertentu daripada sistem serbaguna dengan akses yang luas
Faktor Manusia dalam Kegagalan Keamanan AI
Komunitas keamanan telah mengamati bahwa banyak kerentanan AI saat ini berasal dari kesalahpahaman fundamental tentang apa yang dapat dan tidak dapat dilakukan sistem ini. Perusahaan men-deploy AI dengan ekspektasi bahwa sistem tersebut akan berperilaku seperti karyawan manusia yang terpercaya, padahal kenyataannya sistem ini memerlukan pengawasan konstan dan pembatasan ketat.
Masalah ini diperparah oleh generasi baru pengembang yang kurang memiliki pengalaman dengan praktik keamanan dasar. Kemudahan asisten coding AI telah menyebabkan apa yang disebut peneliti sebagai vibe coding - pendekatan santai terhadap pengembangan yang mengabaikan prinsip keamanan yang telah mapan.
Situasi ini telah menciptakan apa yang oleh beberapa pihak disebut sebagai demokratisasi hacking, di mana kerentanan yang sama yang memerlukan pengetahuan khusus untuk dieksploitasi pada 1990an kini dapat ditemukan dan diserang oleh rentang orang yang jauh lebih luas.
Melihat ke Depan: Pelajaran dari Masa Lalu
Industri cybersecurity menghadapi pilihan: belajar dari kesalahan masa lalu atau mengulanginya dalam skala besar. Para ahli keamanan menekankan bahwa sistem AI tidak boleh dipercaya dengan hak istimewa melebihi apa yang akan diberikan kepada pengguna akhir. Mereka merekomendasikan mengimplementasikan alat AI khusus untuk tugas-tugas spesifik daripada men-deploy sistem tujuan umum dengan akses luas.
Situasi saat ini berfungsi sebagai pengingat bahwa kemajuan teknologi tidak secara otomatis mencakup peningkatan keamanan. Saat perusahaan terus mengintegrasikan AI ke dalam operasi mereka, pelajaran yang dipetik dari puluhan tahun pengembangan keamanan web menjadi lebih relevan dari sebelumnya.
Referensi: Sloppy AI defenses take cybersecurity back to the 1990s, researchers say