Sistem kecerdasan buatan semakin banyak digunakan dalam peran keamanan, menjanjikan peningkatan keselamatan publik melalui deteksi ancaman yang otomatis. Namun, sebuah insiden baru-baru ini di sebuah sekolah menengah atas di Maryland menyoroti potensi jebakan ketika AI salah menafsirkan objek sehari-hari sebagai senjata berbahaya, memunculkan pertanyaan penting tentang keandalan sistem-sistem ini dalam skenario dunia nyata.
Insiden yang Mengguncang Komunitas Sekolah
Pada malam tanggal 20 Oktober 2025, sebuah pertemuan setelah sekolah yang seharusnya rutin berubah menjadi pengalaman traumatis bagi siswa-siswa di Kenwood High School di Baltimore County. Beberapa kendaraan polisi, yang menurut beberapa laporan akhirnya berjumlah delapan mobil, mendatangi halaman sekolah sebagai respons terhadap peringatan dari sistem deteksi senjata AI Omnilert. Sistem tersebut telah menandai sesuatu yang diyakininya sebagai senjata api, sehingga memicu respons penegak hukum segera. Rekaman bodycam kemudian mengabadikan momen-momen tegang ketika para petugas, yang bertindak berdasarkan penilaian AI, mendekati para siswa dengan senjata terhunus.
Kronologi Kejadian Utama:
- 20 Oktober 2025, 7:23 PM: Sistem Omnilert mengingatkan pihak berwenang sekolah tentang potensi senjata api
- Dalam beberapa menit: Delapan kendaraan polisi merespons ke Kenwood High School
- 7:26 PM: Polisi mengidentifikasi objek sebenarnya - sebuah bungkus keripik Doritos
- Pasca-kejadian: Pejabat Baltimore County menyerukan peninjauan sistem
Biaya Manusia dari Kesalahan Algoritma
Fokus respons polisi adalah siswa Taki Allen, yang sedang menunggu jemputannya setelah latihan sepak bola. Petugas memerintahkan Allen untuk berbaring dan memborgolnya sebelum melakukan penggeledahan menyeluruh. Situasi ini baru terselesaikan ketika polisi mengidentifikasi objek sebenarnya yang memicu alarm: sebuah kantong biru keripik Doritos yang sedang dimakan oleh Allen. Dalam upaya menjelaskan situasi kepada para siswa yang bingung, seorang petugas berkomentar, Saya kira hanya karena cara kalian makan keripik… Doritos atau apa pun, sistemnya mendeteksinya sebagai senjata. Petugas lain kemudian mengatakan kepada seorang siswa, AI bukanlah yang terbaik, mengakui kegagalan sistem dalam instance ini.
Kutipan Penting dari Pihak-Pihak Terkait:
- Petugas Polisi: "AI is not the best"
- Siswa Taki Allen: "I don't think I'm safe enough to go outside, especially eating a bag of chips"
- Anggota Dewan Julian Jones: "How did it come to be that we had police officers with guns drawn approaching a kid because of a bag of Doritos?"
- Kepala Sekolah Dr. Myriam Rogers: "The program did what it was supposed to do"
 |
|---|
| Teknologi deteksi senjata api AI Omnilert, menyoroti perannya dalam berpotensi salah mengidentifikasi benda-benda tidak berbahaya sebagai ancaman |
Cara Sistem Omnilert Seharusnya Bekerja
Teknologi deteksi senjata AI Omnilert dirancang untuk terintegrasi dengan sistem kamera keamanan yang sudah ada, menganalisis umpan video secara real-time untuk mengidentifikasi senjata api potensial. Menurut dokumentasi yang diterbitkan perusahaan, prosesnya melibatkan tiga tahap berbeda: deteksi AI awal, verifikasi manusia, dan akhirnya pemberitahuan otomatis serta respons darurat jika ancaman dikonfirmasi. Sistem ini memasarkan dirinya sebagai solusi potensial untuk tragedi penembakan di sekolah, secara khusus merujuk insiden seperti Uvalde, Sandy Hook, dan Parkland dalam materi promosinya sebagai contoh yang dapat dicegah oleh teknologinya.
Alur Proses Sistem Deteksi Senjata Api AI Omnilert:
- Langkah 1: AI menganalisis rekaman kamera keamanan secara langsung untuk mendeteksi potensi senjata api
- Langkah 2: Deteksi positif diarahkan untuk verifikasi manusia
- Langkah 3: Setelah verifikasi, notifikasi otomatis memicu protokol respons darurat
Dampak dan Respons Institusi
Pasca insiden tersebut, superintendent Baltimore County Public Schools Dr. Myriam Rogers membela operasi sistem dengan menyatakan, Program tersebut melakukan apa yang seharusnya dilakukan, yaitu memberi sinyal peringatan dan untuk manusia memeriksanya guna mengetahui apakah ada alasan untuk khawatir pada saat itu. Sementara itu, Omnilert merilis pernyataan yang mencatat bahwa dalam beberapa saat, peristiwa tersebut ditandai sebagai terselesaikan dalam sistem kami dan bahwa sistem beroperasi sebagaimana dirancang — mendeteksi kemungkinan ancaman, mengarahkannya untuk ditinjau oleh manusia, dan memastikan pengambilan keputusan yang cepat dan terinformasi. Baik sekolah maupun Omnilert telah menawarkan layanan konseling kepada siswa yang terlibat.
Kekhawatiran yang Tumbuh dan Seruan untuk Tinjauan
Insiden ini telah mendorong anggota Dewan County Baltimore Iazzy Patoka dan Julian Jones untuk menyerukan tinjauan terhadap sistem Omnilert. Jones menyatakan lega bahwa situasinya tidak lebih serius sambil mempertanyakan rangkaian peristiwa: Bagaimana bisa sampai terjadi kita memiliki petugas polisi dengan senjata terhunus mendekati seorang anak karena sekantong Doritos? Bagi Taki Allen, dampak emosionalnya cukup signifikan. Dia mengatakan kepada para reporter, Sekarang, saya merasa kadang-kadang setelah latihan saya tidak pergi ke luar lagi. Karena jika saya pergi ke luar, saya tidak ingin - tidak merasa cukup aman untuk pergi ke luar, terutama makan sekantong keripik atau minum sesuatu. Saya hanya tinggal di dalam sampai jemputan saya datang.
Implikasi Lebih Luas untuk Sistem Keamanan AI
Insiden ini terjadi pada saat sistem keamanan AI semakin mendapatkan daya tarik di berbagai ruang publik, termasuk sekolah, bandara, dan gedung pemerintah. Kesalahan identifikasi Doritos ini memunculkan pertanyaan mendasar tentang kematangan algoritma computer vision dalam membedakan antara objek tidak berbahaya dan ancaman yang sesungguhnya. Hal ini juga menyoroti pentingnya langkah verifikasi manusia dalam sistem semacam itu dan apa yang terjadi ketika proses itu berpotensi gagal atau dilewati. Seiring dengan lembaga pendidikan dan organisasi lain yang semakin beralih ke AI untuk solusi keamanan, peristiwa ini menjadi cerita peringatan tentang menyeimbangkan inovasi teknologi dengan keandalan praktis dan memahami konsekuensi dunia nyata dari kesalahan algoritma.