Dilema Keamanan AI Microsoft: Peneliti Temukan Kebocoran Data Kritis di Copilot, Ditolak Bug Bounty

Tim Komunitas BigGo
Dilema Keamanan AI Microsoft: Peneliti Temukan Kebocoran Data Kritis di Copilot, Ditolak Bug Bounty

Dalam dunia kecerdasan buatan yang berkembang pesat, para peneliti keamanan terus menemukan kerentanan kritis pada alat-alat bertenaga AI dengan laju yang mengkhawatirkan. Penemuan terbaru yang melibatkan Microsoft 365 Copilot mengungkap bagaimana data sensitif perusahaan dapat dicuri secara diam-diam melalui manipulasi pintar sistem AI. Apa yang terjadi selanjutnya memicu perdebatan sengit di komunitas keamanan siber tentang bagaimana raksasa teknologi menangani pelaporan kerentanan untuk produk AI mereka.

Prompt login untuk Microsoft 365 Copilot, menyoroti potensi risiko yang terlibat dalam mengakses data perusahaan yang sensitif
Prompt login untuk Microsoft 365 Copilot, menyoroti potensi risiko yang terlibat dalam mengakses data perusahaan yang sensitif

Peretasan Kreatif yang Membongkar Rahasia Perusahaan

Para peneliti keamanan menemukan rangkaian serangan canggih yang menggabungkan dua teknik ampuh untuk mengekstrak informasi sensitif dari Microsoft 365 Copilot. Kerentanan ini bekerja dengan menyematkan instruksi tersembunyi dalam dokumen Excel yang, ketika diproses oleh Copilot, memicu AI untuk mengambil data rahasia seperti email terbaru dan mengkodenya untuk transmisi. Serangan menggunakan diagram Mermaid—yang biasanya digunakan untuk membuat diagram alir dan diagram teknis—sebagai kendaraan untuk eksfiltrasi data dengan menyematkan informasi yang dicuri dalam elemen gaya CSS dari tombol login palsu.

Yang membuat serangan ini sangat cerdas adalah bagaimana ia melewati ekspektasi keamanan normal. Peneliti menggunakan indirect prompt injection, di mana instruksi berbahaya disembunyikan dalam dokumen yang tampak normal yang nantinya diproses oleh AI. Ketika diminta untuk meringkas dokumen, Copilot mengikuti perintah tersembunyi alih-alih tujuan sebenarnya, pada dasarnya tertipu menjadi kaki tangan tanpa sadar untuk pencurian data.

Ini adalah cara Microsoft memberi tahu siapa pun yang menemukan eksploitasi M365 Copilot untuk menjualnya alih-alih melaporkannya. Sangat picik dan bodoh.

Jenis-jenis Diagram Mermaid yang Umum Digunakan dalam Pengembangan

  • Flowcharts - Alur proses dengan bentuk node dan koneksi
  • Sequence Diagrams - Interaksi antar sistem dari waktu ke waktu
  • Gantt Charts - Timeline proyek dan dependensi tugas
  • Class Diagrams - Struktur dan relasi berorientasi objek
  • Pie Charts - Visualisasi data proporsional

Kritik Komunitas atas Keputusan Bounty Microsoft

Komunitas keamanan siber bereaksi keras ketika Microsoft Security Response Center (MSRC) menentukan bahwa Microsoft 365 Copilot berada di luar cakupan untuk hadiah bug bounty, yang berarti peneliti tidak menerima kompensasi finansial untuk pelaporan kerentanan kritis yang bertanggung jawab. Banyak profesional keamanan melihat ini sebagai preseden berbahaya yang dapat membuat para peneliti enggan melaporkan masalah keamanan AI di masa depan.

Para komentator mencatat ironi dari Microsoft yang menjadi tuan rumah acara perayaan para peneliti sementara secara bersamaan mengecualikan produk AI andalan mereka dari program bounty. Keputusan ini mempertanyakan apakah perusahaan sudah siap untuk menangani tantangan keamanan unik yang ditimbulkan oleh sistem AI. Beberapa ahli khawatir bahwa tanpa insentif yang tepat, para peneliti mungkin memilih untuk menjual temuan mereka di pasar gelap daripada melaporkannya secara bertanggung jawab.

Tombol login yang menyoroti antarmuka di mana para peneliti berupaya mengamankan akses ke data sensitif di Microsoft 365 Copilot
Tombol login yang menyoroti antarmuka di mana para peneliti berupaya mengamankan akses ke data sensitif di Microsoft 365 Copilot

Pola Lebih Luas dari Kerentanan Keamanan AI

Insiden ini tidak terisolasi—kerentanan serupa telah ditemukan dalam alat pengembangan bertenaga AI lainnya. Beberapa hari setelah penemuan awal, peneliti lain menerbitkan temuan tentang kerentanan eksfiltrasi data yang sebanding di Cursor IDE yang juga memanfaatkan diagram Mermaid. Pola ini menunjukkan bahwa sistem AI di berbagai platform berbagi kelemahan keamanan mendasar terkait bagaimana mereka memproses dan mengeksekusi instruksi dari sumber yang tidak tepercaya.

Komunitas keamanan telah menjuluki kelas kerentanan ini sebagai Lethal Trifecta, yang menggabungkan kepatuhan instruksi tidak terkait dengan mekanisme eksfiltrasi data. Seperti yang dicatat seorang komentator, tantangan mendasarnya adalah bahwa sistem AI saat ini kesulitan membedakan antara instruksi pengguna yang sah dan perintah berbahaya yang disembunyikan dalam data yang mereka proses—masalah yang bahkan manusia kadang-kadang menjadi korbannya melalui serangan rekayasa sosial.

Tanggal-Tanggal Penting dalam Timeline Pengungkapan Kerentanan

  • 30 Juli 2023: Teknik eksfiltrasi data diagram Mermaid ditemukan
  • 4 Agustus 2023: Kerentanan serupa dipublikasikan untuk Cursor IDE
  • 15 Agustus 2023: Rantai kerentanan lengkap dilaporkan ke MSRC
  • 26 September 2023: MSRC menyelesaikan kasus tersebut
  • 3 Oktober 2023: MSRC menentukan M365 Copilot berada di luar cakupan bounty

Masa Depan Keamanan AI dan Pengungkapan yang Bertanggung Jawab

Microsoft pada akhirnya menambal kerentanan tersebut dengan menghapus kemampuan untuk berinteraksi dengan konten dinamis dalam diagram Mermaid di dalam Copilot. Namun, pertanyaan yang lebih luas tetap ada: bagaimana seharusnya perusahaan teknologi menangani penelitian keamanan untuk sistem AI yang pada dasarnya rentan terhadap jenis serangan tertentu? Konsensus komunitas tampaknya adalah bahwa mengecualikan produk AI dari program bug bounty justru membuat sistem ini kurang aman dalam jangka panjang.

Seiring AI menjadi semakin terintegrasi ke dalam operasi bisnis, keamanan sistem ini menjadi kritis untuk melindungi data perusahaan yang sensitif. Insiden ini menyoroti ketegangan berkelanjutan antara penerapan AI yang cepat dan pengujian keamanan yang menyeluruh, yang menunjukkan bahwa perusahaan mungkin perlu memikirkan kembali pendekatan mereka terhadap manajemen kerentanan AI seiring teknologi ini menjadi lebih merajalela di lingkungan perusahaan.

Referensi: Microsoft 365 Copilot - Arbitrary Data Exfiltration Via Mermaid Diagrams