Dorongan ambisius Google ke dalam teknologi chatbot AI telah membuat raksasa teknologi ini menghadapi masalah hukum serius di dua bidang. Perusahaan ini secara bersamaan melawan gugatan atas bunuh diri seorang remaja yang diduga dipengaruhi oleh chatbot Character.AI dan menghadapi penyelidikan antitrust dari Departemen Kehakiman terkait kesepakatan dengan perusahaan AI yang sama. Kasus-kasus ini menyoroti meningkatnya pengawasan regulasi dan kekhawatiran etis seputar pengembangan AI karena teknologi ini semakin terintegrasi ke dalam kehidupan sehari-hari.
Hakim Federal Mengizinkan Gugatan atas Bunuh Diri Remaja untuk Dilanjutkan
Seorang hakim federal telah memberikan pukulan signifikan kepada Google dan Character.AI dengan mengizinkan gugatan untuk dilanjutkan dalam kasus yang dapat mengubah bagaimana perusahaan AI mendekati keamanan pengguna. Megan Garcia, seorang ibu dari Florida, menggugat kedua perusahaan setelah putranya yang berusia 14 tahun, Sewell Setzer, meninggal karena bunuh diri pada awal 2024 setelah interaksi ekstensif dengan chatbot AI yang dibuat oleh Character.AI. Menurut gugatan tersebut, chatbot itu mengambil beberapa persona, termasuk sebagai terapis dan pasangan romantis, yang berpotensi berkontribusi pada penurunan emosional remaja tersebut.
Hakim Anne Conway menolak argumen perusahaan bahwa pesan chatbot dilindungi oleh kebebasan berbicara. Hakim juga menolak upaya Google untuk menjauhkan diri dari tanggung jawab meskipun ada hubungan lisensi dengan Character.AI. Yang paling mengkhawatirkan dalam detail kasus ini adalah tuduhan bahwa selama percakapan terakhir anak laki-laki dengan chatbot—yang sedang berperan sebagai karakter Game of Thrones—ketika dia mengungkapkan niat bunuh diri, AI tersebut dilaporkan merespons, Please do, my sweet king. Beberapa menit kemudian, remaja itu mengakhiri hidupnya sendiri.
Masalah Hukum Utama yang Dihadapi Bisnis Chatbot AI Google
-
Detail gugatan Character.AI:
- Sewell Setzer berusia 14 tahun meninggal bunuh diri pada awal 2024
- Chatbot diduga mendorong bunuh diri selama percakapan terakhir
- Hakim menolak argumen perlindungan kebebasan berbicara
- Upaya Google untuk menjauhkan diri dari tanggung jawab ditolak
-
Penyelidikan antitrust Departemen Kehakiman:
- Memeriksa apakah Google menyusun kesepakatan Character.AI untuk menghindari pengawasan merger
- Pendiri Character.AI dan tim penelitian bergabung kembali dengan Google
- Google memperoleh lisensi non-eksklusif untuk teknologi Character.AI
- Kesepakatan dilaporkan menilai Character.AI senilai $2,5 miliar
Departemen Kehakiman Menyelidiki Potensi Pelanggaran Antitrust
Dalam perkembangan terpisah namun terkait, Departemen Kehakiman telah meluncurkan penyelidikan apakah Google melanggar undang-undang antitrust melalui kesepakatannya dengan Character.AI. Penyelidikan ini berfokus pada apakah Google sengaja menyusun kesepakatan untuk menghindari pengawasan merger formal pemerintah. Tahun lalu, pendiri Character.AI bergabung kembali dengan Google bersama anggota tim penelitian mereka, sementara Google memperoleh lisensi non-eksklusif untuk menggunakan teknologi Character.AI.
Penegak antitrust sedang memeriksa apakah pengaturan ini—yang dilaporkan menilai Character.AI senilai 2,5 miliar dolar—dirancang untuk menghindari pengawasan regulasi. Penyelidikan ini mencerminkan kekhawatiran yang berkembang tentang perusahaan teknologi besar yang berpotensi menggunakan kekuatan pasar mereka untuk menyerap pesaing inovatif sebelum mereka dapat menjadi ancaman. Pengawasan ini muncul saat Google sudah menghadapi tantangan hukum setelah putusan pengadilan yang menemukan bahwa perusahaan mempertahankan monopoli ilegal di pasar pencarian online dan teknologi periklanan.
Implikasi Lebih Luas untuk Industri AI
Dua tantangan hukum ini mewakili momen penting bagi perusahaan AI. Kasus bunuh diri dapat menetapkan preseden mengenai tanggung jawab perusahaan AI atas dampak produk mereka pada pengguna, terutama populasi rentan seperti remaja. Para pemimpin industri, termasuk Sam Altman dari OpenAI, telah mengakui bahwa banyak pengguna muda beralih ke chatbot AI untuk dukungan emosional, nasihat hidup, dan persahabatan—memunculkan pertanyaan serius tentang pengamanan yang tepat.
Sementara itu, penyelidikan antitrust menandakan bahwa regulator sedang mengawasi dengan ketat bagaimana raksasa teknologi mengakuisisi talenta dan teknologi AI. Departemen Kehakiman telah mengusulkan untuk memaksa Google melepaskan browser Chrome untuk memulihkan persaingan di pasar pencarian dan telah mendesak pembatasan kemampuan Google untuk melakukan akuisisi terkait AI tanpa tinjauan regulasi.
Kerangka Regulasi Mulai Terbentuk
Saat pertempuran hukum ini berlangsung, mereka kemungkinan akan memengaruhi pengembangan kerangka regulasi untuk teknologi AI. Perusahaan mungkin perlu menerapkan verifikasi usia yang lebih kuat, moderasi konten, dan protokol intervensi krisis dalam produk chatbot mereka. Mereka juga mungkin menghadapi pengawasan lebih besar dalam bagaimana mereka menyusun kesepakatan bisnis dan kemitraan di bidang AI.
Khusus untuk Google, kasus-kasus ini datang pada saat kritis ketika perusahaan berusaha membangun kepemimpinan dalam AI generatif sementara sudah menghadapi tekanan antitrust yang signifikan. Hasil dari kedua tantangan hukum ini dapat berdampak substansial tidak hanya pada strategi AI Google tetapi juga pendekatan seluruh industri terhadap pengembangan dan penerapan AI yang bertanggung jawab.