Pengumuman pemerintah Inggris untuk memperluas Online Safety Act dengan menjadikan konten menyakiti diri sendiri sebagai pelanggaran prioritas telah memicu perdebatan sengit tentang efektivitas dan potensi bahaya moderasi konten algoritmik. Meskipun undang-undang tersebut bertujuan melindungi pengguna rentan dari materi berbahaya, diskusi komunitas teknologi mengungkapkan kekhawatiran mendalam tentang tindakan berlebihan dan konsekuensi yang tidak diinginkan.
Regulasi baru ini akan mewajibkan perusahaan teknologi untuk secara proaktif memburu dan menghapus konten yang mendorong atau membantu menyakiti diri sendiri secara serius sebelum mencapai pengguna. Ini merupakan pergeseran dari moderasi reaktif ke tindakan pencegahan, memperluas perlindungan yang sebelumnya hanya berlaku untuk anak-anak untuk mencakup semua pengguna.
Persyaratan Hukum untuk Perusahaan Teknologi
- Secara proaktif mencari dan menghilangkan konten berbahaya sebelum terpapar ke pengguna
- Menggunakan "teknologi mutakhir" untuk deteksi konten
- Menerapkan perlindungan hukum terkuat sebagai "pelanggaran prioritas"
- Beralih dari pendekatan moderasi reaktif ke preventif
Moderasi Algoritmik Menciptakan Kerusakan Kolateral
Diskusi komunitas menyoroti masalah mendasar dengan penyaringan konten otomatis: algoritma kesulitan membedakan antara konten berbahaya dan diskusi yang sah. Kekhawatiran ini meluas melampaui pencocokan kata kunci sederhana hingga memengaruhi sumber daya edukasi, pelaporan berita, dan komunitas dukungan yang membahas topik-topik ini secara konstruktif.
Komunitas teknologi menunjuk pada contoh-contoh yang sudah ada di mana platform telah menunjukkan masalah ini. Sistem otomatis YouTube sering menandai konten yang tidak terkait dengan spanduk pencegahan bunuh diri, sementara situs web dukungan yang sah disensor karena membahas subjek yang justru ingin mereka tangani. Seorang pengamat mencatat bahwa bahkan diskusi ini tentang undang-undang tersebut bisa secara otomatis ditandai dan dihapus oleh sistem penyaringan yang terlalu bersemangat.
Moderasi algoritmik: Sistem otomatis yang memindai dan menyaring konten berdasarkan aturan yang telah ditentukan dan model pembelajaran mesin
Munculnya Algospeak dan Hambatan Komunikasi
Dorongan untuk moderasi konten yang lebih ketat telah mengubah cara orang berkomunikasi online, memunculkan eufemisme kreatif dan bahasa berkode. Pengguna telah mengembangkan istilah seperti unalive alih-alih suicide, sewerslide, dan self-terminate untuk menghindari pemicu filter konten di platform seperti TikTok dan Instagram.
Evolusi linguistik ini berasal dari kekhawatiran kreator tentang demonetisasi dan penekanan konten. Komunitas mencatat bahwa meskipun sebagian bahasa berkode ini muncul dari kreativitas yang menyenangkan, sebagian besar merupakan upaya nyata untuk membahas topik serius tanpa gangguan algoritmik. Namun, tren ini menimbulkan kekhawatiran bahwa diskusi kesehatan mental yang penting sedang diremehkan melalui eufemisme yang dipaksakan.
Istilah "Algospeak" Umum
- "Unalive" → bunuh diri
- "Sewerslide" → bunuh diri
- "Self-terminate" → menyakiti diri sendiri
- "PDF file" → pedofil
- "Neurospicy" → neurodivergent
- "Bird website" → X ( Twitter )
- 🍉 (emoji semangka) → Palestina
Insentif Asimetris Mendorong Sensor Berlebihan
Pengamat industri teknologi mengidentifikasi cacat kritis dalam cara hukum moderasi konten disusun: mereka menciptakan insentif finansial yang kuat bagi perusahaan untuk melakukan sensor berlebihan daripada mengambil risiko hukuman hukum. Ketika platform menghadapi konsekuensi hukum dan finansial yang signifikan karena mengizinkan konten berbahaya tetapi hukuman minimal karena menghapus materi yang sah, mereka secara alami mengoptimalkan untuk penyaringan yang agresif.
Tidak ada insentif terhadap penghapusan konten baik secara algoritmik karena kesalahan. Jika Anda menerapkan risiko finansial dan hukum yang besar di satu sisi, dan pada dasarnya tidak ada di sisi lain, korporasi publik akan sangat rasional mengoptimalkan untuk insentif yang telah Anda berikan kepada mereka.
Ketidakseimbangan ini berarti bahwa berita penting, konten edukasi, dan sumber daya dukungan sering menjadi korban sistem moderasi otomatis yang dirancang untuk menghindari hukuman regulasi.
Jadwal Implementasi
- Regulasi mulai berlaku 21 hari setelah persetujuan parlemen
- Statutory Instrument diperkirakan akan diajukan pada musim gugur 2024
- Konten menyakiti diri sendiri menjadi "pelanggaran prioritas" untuk semua pengguna (sebelumnya hanya anak-anak)
Pertanyaan yang Lebih Luas tentang Ruang Lingkup Konten
Fokus undang-undang secara khusus pada konten menyakiti diri sendiri sambil mengecualikan aktivitas berpotensi berbahaya lainnya telah menarik kritik karena ruang lingkupnya yang sempit. Diskusi komunitas mempertanyakan mengapa hukum menargetkan konten terkait bunuh diri tetapi mengabaikan bentuk lain perilaku merusak diri yang dipromosikan online, seperti perjudian berlebihan, konsumsi alkohol, atau tantangan makan berbahaya.
Pendekatan selektif ini menimbulkan pertanyaan tentang konsistensi dalam melindungi pengguna dari konten berbahaya dan apakah undang-undang tersebut menangani gejala daripada penyebab mendasar dari bahaya online.
Perdebatan ini mencerminkan ketegangan yang lebih luas antara melindungi pengguna rentan dan mempertahankan wacana online yang terbuka. Saat regulasi bergerak menuju implementasi pada musim gugur 2024, komunitas teknologi terus bergulat untuk menemukan solusi efektif yang tidak mengorbankan komunikasi yang sah dalam mengejar keamanan.
Referensi: Online safety laws to strengthen to protect people of all ages from devastating self-harm content