Google telah mencabut akses publik terhadap model AI Gemma miliknya menyusul sebuah insiden di mana sistem tersebut menghasilkan tuduhan kriminal palsu terhadap Senator AS Marsha Blackburn. Peristiwa ini menyoroti tantangan berkelanjutan dari halusinasi AI dan memunculkan pertanyaan tentang penyebaran alat AI yang berfokus pada pengembang di lingkungan di mana mereka mungkin disalahgunakan untuk pencarian fakta.
Insiden yang Memicu Penarikan
Kontroversi muncul ketika seseorang menggunakan model Gemma milik Google, yang tersedia melalui platform AI Studio, untuk menanyakan pertanyaan Apakah Marsha Blackburn pernah dituduh melakukan pemerkosaan?. Menurut keluhan Senator Blackburn kepada CEO Google Sundar Pichai, AI tersebut merespons dengan narasi rinci yang sepenuhnya dipalsukan. Model tersebut mengklaim bahwa selama kampanye senat negara bagiannya pada tahun 1987—salah menyebutkan tahun, karena kampanye aktualnya adalah pada tahun 1998—Blackburn dituduh memiliki hubungan seksual dengan seorang polisi negara bagian yang menuduh dia mendesaknya untuk mendapatkan obat resep dan bahwa hubungan tersebut melibatkan tindakan tanpa persetujuan. Untuk mendukung klaim palsu ini, Gemma memberikan tautan ke artikel berita yang mengarah ke halaman error atau sama sekali tidak terkait dengan peristiwa yang dituduhkan.
Kronologi Peristiwa
- Insiden: Gemma menghasilkan tuduhan palsu tentang Senator Marsha Blackburn
- Respons: Senator Blackburn mengirimkan surat kepada CEO Google Sundar Pichai pada 3 November 2025
- Tindakan: Google menghapus Gemma dari platform AI Studio
- Konteks: Terjadi selama peningkatan pengawasan Senat terhadap kasus pencemaran nama baik AI
Tanggapan Google dan Perubahan Platform
Google bergerak cepat untuk menangani situasi ini, menghapus Gemma dari platform AI Studio-nya sambil mempertahankan akses untuk pengembang melalui API. Perusahaan menjelaskan bahwa AI Studio secara khusus dirancang sebagai alat pengembang, mengharuskan pengguna untuk menyatakan bahwa mereka adalah pengembang sebelum mendapatkan akses. Dalam sebuah pernyataan, Google menjelaskan mereka telah melihat laporan tentang non-pengembang yang mencoba menggunakan Gemma di AI Studio dan menanyainya pertanyaan faktual, yang bukanlah kasus penggunaan yang dimaksudkan untuk model tersebut. Gemma dipasarkan sebagai keluarga model AI yang khusus untuk pengembang membangun aplikasi, dengan varian yang dirancang untuk penggunaan medis, pemrograman, dan mengevaluasi konten teks serta gambar—bukan sebagai chatbot untuk konsumen atau sistem untuk menjawab pertanyaan faktual.
Detail Model AI Gemma
- Tipe Model: Keluarga model AI untuk pengembang
- Penggunaan yang Ditujukan: Aplikasi medis, coding, evaluasi teks dan gambar
- Metode Akses: API (masih tersedia), AI Studio (dihapus)
- Tidak ditujukan untuk tanya jawab konsumen atau pertanyaan faktual
Implikasi Lebih Luas dari Halusinasi AI
Insiden ini mewakili lebih dari sekadar kasus lain dari halusinasi AI—ini menunjukkan bagaimana informasi palsu yang dihasilkan oleh sistem AI dapat memiliki konsekuensi di dunia nyata di luar sekadar kesalahan faktual sederhana. Senator Blackburn menggambarkan output tersebut bukan sebagai 'halusinasi' yang tidak berbahaya, melainkan sebuah tindakan pencemaran nama baik yang diproduksi dan didistribusikan oleh model AI milik Google. Peristiwa ini terjadi di tengah meningkatnya pengawasan terhadap perusahaan AI, terutama menyusul sidang perdagangan Senat baru-baru ini tentang pencemaran nama baik AI, termasuk gugatan aktivis Robby Starbuck terhadap Google. Meskipun telah bertahun-tahun dikembangkan dalam AI generatif, masalah mendasar tentang akurasi tetap belum terselesaikan, tanpa solusi yang jelas untuk mencegah model dengan percaya diri menyajikan informasi palsu sebagai fakta.
Kutipan Penting
- Senator Blackburn: "Ini bukan 'halusinasi' yang tidak berbahaya. Ini adalah tindakan pencemaran nama baik."
- Pernyataan Google: "Kami telah melihat laporan dari non-developer yang mencoba menggunakan Gemma di AI Studio dan mengajukan pertanyaan faktual kepadanya."
- Tuntutan Senator Blackburn: "Matikan sistem ini sampai Anda bisa mengendalikannya."
Tantangan Membatasi Alat Pengembang
Situasi ini menggarisbawahi kesulitan yang dihadapi perusahaan teknologi dalam mencegah alat yang berfokus pada pengembang agar tidak disalahgunakan oleh masyarakat umum. Bahkan dengan peringatan dan pembatasan akses, non-pengembang yang nekat dapat mengakses sistem ini dan menggunakannya dengan cara yang tidak diinginkan. Tanggapan Google—menghapus model dari AI Studio sambil tetap menyediakannya melalui API—mewakili sebuah tindakan penyeimbangan antara mempertahankan akses pengembang sambil mengurangi eksposur publik. Namun, pendekatan ini memunculkan pertanyaan tentang apakah sekadar melabeli model sebagai bukan untuk T&J faktual memberikan perlindungan yang cukup terhadap penyalahgunaan, terutama ketika sistem tersebut mampu menghasilkan informasi palsu yang berpotensi merusak tentang tokoh publik.
Ke Depan: Akuntabilitas dan Pengembangan AI
Google telah mengulangi komitmennya untuk meminimalkan halusinasi dan terus meningkatkan semua model kami, tetapi insiden ini menunjukkan ketegangan yang sedang berlangsung antara penyebaran AI yang cepat dan pengembangan yang bertanggung jawab. Tanggapan Senator Blackburn—Matikan sampai Anda bisa mengendalikannya—menggemarkan kekhawatiran yang berkembang di kalangan pembuat kebijakan tentang potensi bahaya dari sistem AI yang belum cukup diverifikasi. Seiring model AI menjadi lebih mampu dan mudah diakses, industri ini menghadapi tekanan yang semakin besar untuk menangani bukan hanya tantangan teknis dari akurasi, tetapi juga implikasi etika dan hukum dari sistem yang dapat secara mandiri menghasilkan narasi palsu namun meyakinkan tentang orang-orang nyata.