Pemilik website kecil menghadapi krisis yang semakin meningkat karena crawler AI yang agresif dari perusahaan besar seperti OpenAI , Meta , dan Perplexity mengonsumsi sumber daya server dalam jumlah besar. Bot-bot ini sering mengabaikan aturan etiket web tradisional seperti file robots.txt dan membanjiri situs dengan ratusan permintaan per detik, memaksa beberapa operator untuk mengambil konten mereka secara offline sepenuhnya.
Masalah ini telah menjadi sangat parah sehingga satu pemilik website melaporkan 1,6 terabyte data diakses oleh bot dalam satu bulan, dengan 1,3 juta permintaan harian. Yang lain menggambarkan bot AI menghasilkan 200-300 permintaan per detik sambil berhalusinasi URL seperti orang gila di situs pemasaran yang lebih kecil. Tidak seperti crawler mesin pencari yang berperilaku baik dari Google atau Bing yang menghormati batas kecepatan dan preferensi website, scraper AI ini sering mengubah user agent dan alamat IP untuk melewati blokir.
Contoh Dampak Lalu Lintas Bot AI:
- 1,6 TB data diakses dalam satu bulan oleh bot pada satu situs
- 1,3 juta permintaan bot per hari
- 200-300 permintaan per detik pada situs pemasaran kecil
- Biaya transfer data AWS dapat mencapai $30.000 USD untuk penggunaan bulanan 330TB
- Beberapa situs terpaksa offline karena biaya bandwidth melebihi $50-100 USD bulanan
Solusi yang Diusulkan Cloudflare Memicu Perdebatan
Menanggapi krisis ini, Cloudflare telah memperkenalkan sistem signed agents yang akan membuat allowlist bot AI yang disetujui. Di bawah proposal ini, perusahaan AI perlu mendaftar dengan Cloudflare dan menerima tanda tangan kriptografi untuk mengakses website yang berpartisipasi. Pemilik situs kemudian dapat memilih untuk memblokir semua lalu lintas bot yang tidak terverifikasi sambil membiarkan agen yang disetujui lewat.
Namun, solusi ini telah mendapat kritik tajam dari pengembang dan advokat web terbuka yang berpendapat bahwa ini menciptakan preseden yang berbahaya. Kritikus khawatir bahwa mengharuskan pendaftaran dengan satu perusahaan untuk mengakses website secara fundamental mengubah sifat internet terbuka. Mereka menunjuk pada contoh historis di mana kontrol terpusat menyebabkan stagnasi inovasi, membandingkannya dengan upaya gagal Microsoft untuk mengontrol standar web di tahun 1990-an.
Tantangan Teknis di Luar Pembatasan Kecepatan Sederhana
Skala masalah ini melampaui apa yang dapat ditangani oleh solusi tradisional. Pembatasan kecepatan dasar berdasarkan alamat IP terbukti tidak efektif ketika perusahaan AI menggunakan proxy residensial berputar dan jaringan terdistribusi yang mencakup ribuan alamat IP. Bahkan sistem caching yang canggih kesulitan ketika bot mengabaikan header cache dan berulang kali mengambil konten yang sama.
Biaya bandwidth saja memaksa operator website untuk mencari perlindungan. Penyedia cloud seperti AWS mengenakan biaya substansial untuk transfer data, dengan beberapa perkiraan menunjukkan bahwa serangan bot terkoordinasi dapat menghasilkan puluhan ribu dolar Amerika dalam biaya tak terduga. Untuk blogger kecil dan pembuat konten, biaya ini dapat membuat hosting menjadi tidak mungkin secara finansial.
Komunitas Mencari Alternatif Terbuka
Banyak dalam komunitas teknis mendorong solusi terdesentralisasi yang tidak bergantung pada satu penjaga gerbang. Alternatif yang diusulkan termasuk rantai delegasi kriptografi di mana website dapat memverifikasi keaslian bot melalui catatan DNS dan infrastruktur kunci publik, mirip dengan cara kerja otentikasi email saat ini. Ini akan memungkinkan pemilik situs membuat keputusan sendiri tentang bot mana yang akan diizinkan tanpa memerlukan pendaftaran dengan otoritas pusat mana pun.
Anda membuat permintaan yang tidak diautentikasi cukup murah sehingga Anda tidak peduli dengan volume. Cadangkan pembatasan kecepatan untuk pengguna yang diautentikasi di mana Anda memiliki identitas nyata. Web terbuka bertahan dengan benar-benar gratis untuk dilayani, bukan dengan mencoba menebak siapa yang 'nyata.'
Beberapa pengembang juga mengeksplorasi sistem proof of work di mana bot perlu memecahkan teka-teki komputasi sebelum mengakses konten, membuat scraping skala besar lebih mahal sambil tetap dapat diakses oleh pengguna yang sah dan sistem otomatis yang berperilaku baik.
Solusi Teknis yang Diusulkan:
- Cloudflare Signed Agents - Daftar izin terpusat yang memerlukan registrasi
- Verifikasi berbasis DNS - Menggunakan kriptografi kunci publik melalui catatan DNS
- Sistem proof of work - Teka-teki komputasi untuk membuat scraping menjadi mahal
- Sertifikat X.509 - Rantai delegasi untuk akses yang diotorisasi
- Alternatif open source - Proyek seperti Anubis untuk perlindungan yang di-host sendiri
Masa Depan Akses Web
Perdebatan ini mencerminkan ketegangan yang lebih luas antara menjaga web tetap terbuka dan melindungi pembuat konten dari eksploitasi. Sementara perusahaan AI berargumen bahwa alat mereka memberikan nilai kepada pengguna, pemilik website semakin merasa bahwa mereka mensubsidi korporasi miliaran dolar tanpa kompensasi. Tantangannya terletak pada menemukan solusi yang melestarikan sifat terbuka web sambil memberikan pemilik situs kontrol yang bermakna atas sumber daya mereka.
Saat situasi ini berkembang, pilihan yang dibuat hari ini dapat menentukan apakah internet tetap menjadi platform terdesentralisasi untuk inovasi atau berkembang menjadi serangkaian taman berdinding yang dikontrol oleh beberapa perusahaan besar. Komunitas teknis terus bekerja pada standar terbuka yang dapat memberikan manfaat verifikasi bot tanpa risiko kontrol terpusat.
Referensi: The Web Does Not Need Gatekeepers