Administrator website di seluruh internet semakin beralih ke langkah-langkah defensif karena crawler AI dari perusahaan teknologi besar membanjiri server mereka dengan lalu lintas yang berlebihan. Laporan terbaru dari Fastly mengungkapkan bahwa bot AI kini menyumbang porsi signifikan dari lalu lintas web, tetapi pengalaman dunia nyata yang dibagikan oleh operator situs memberikan gambaran paling jelas tentang masalah yang berkembang ini.
Distribusi Lalu Lintas AI Crawler (Laporan Fastly)
- Meta: 52% dari seluruh lalu lintas AI crawler
- Google: 23% dari lalu lintas AI crawler
- OpenAI: 20% dari lalu lintas AI crawler
- Anthropic: 3,76% dari lalu lintas crawler
- Common Crawl Project: 0,21% dari lalu lintas crawler
Situs Kecil Menanggung Beban Terberat
Pemilik website independen menemukan diri mereka terjebak dalam pertempuran yang tidak terduga. Satu operator situs penemuan buku melaporkan crash harian akibat lalu lintas crawler AI, sementara yang lain yang mengelola website industri pembersihan pipa mengalami 15.000 permintaan per menit dari sistem OpenAI. Ini bukan situs komersial berlalu lintas tinggi - mereka adalah platform niche yang melayani komunitas khusus yang tiba-tiba menemukan diri mereka dalam pengepungan.
Dampaknya melampaui sekadar ketidaknyamanan. Pemilik situs menggambarkan database yang crash, analitik yang miring, dan biaya yang meningkat dari layanan seperti Google Maps yang mengenakan biaya per panggilan API. Untuk operator kecil yang beroperasi dengan anggaran ketat, pengeluaran tak terduga ini bisa sangat menghancurkan.
Distribusi Lalu Lintas AI Fetcher
- OpenAI : ~98% dari semua permintaan AI fetcher
- Perplexity AI : 1,53% dari lalu lintas fetcher
- Perusahaan lain: <1% gabungan
Cloudflare Muncul sebagai Pertahanan Utama
Komunitas sebagian besar bersatu di sekitar Cloudflare sebagai mekanisme pertahanan utama mereka. Beberapa operator situs melaporkan kesuksesan dengan Super Bot Fight Mode platform tersebut, yang dapat secara efektif menghilangkan lonjakan bot. Namun, solusi ini datang dengan trade-off - pengguna sah dengan ad blocker atau pengaturan privasi sering menghadapi tantangan verifikasi tambahan.
Bagi mereka yang mencari alternatif, alat seperti Anubis menawarkan tantangan proof-of-work yang membuat scraping menjadi mahal secara komputasi. Beberapa administrator bahkan telah menerapkan tar pit - sistem yang dirancang untuk membuang sumber daya crawler dengan menyajikan aliran konten yang dihasilkan tanpa batas.
Alat Pertahanan Populer yang Disebutkan
- Cloudflare: Super Bot Fight Mode, aturan pemblokiran geografis khusus
- Anubis: Tantangan proof-of-work untuk situs kecil
- Pembatasan tingkat: Pembatasan dasar permintaan per jam
- Tar pits: Sistem yang menyajikan konten tak terbatas yang dihasilkan untuk menghabiskan sumber daya crawler
Perlombaan Senjata Teknis Semakin Intensif
Yang sangat mengkhawatirkan adalah bagaimana beberapa perusahaan AI tampaknya mengabaikan konvensi web yang telah mapan. Beberapa operator situs mencatat crawler yang melewati file robots.txt, memalsukan string user agent, dan berputar melalui jaringan proxy residensial untuk menghindari deteksi. Hal ini telah memaksa pemilik website ke dalam perlombaan senjata teknis yang meningkat.
Ini adalah masalah regulasi. Hal yang perlu terjadi adalah pemerintah perlu turun tangan dan memberikan perusahaan AI yang menghancurkan kebaikan digital bersama ini denda yang mengancam eksistensi dan membuat mereka membayar reparasi kepada komunitas yang mereka rugikan.
Situasi ini menjadi sangat parah sehingga beberapa administrator web lama menerapkan larangan crawler menyeluruh untuk pertama kalinya dalam puluhan tahun operasi. Yang lain telah memindahkan konten di balik dinding login atau membatasi akses berdasarkan wilayah geografis.
Solusi Berkelanjutan Masih Sulit Dipahami
Meskipun alat pemblokiran memberikan bantuan langsung, mereka tidak mengatasi masalah mendasar konsumsi sumber daya dan eksternalisasi biaya. Beberapa menyarankan bahwa perusahaan AI dapat menawarkan unduhan data massal alih-alih crawling berkelanjutan, tetapi koordinasi pada inisiatif semacam itu masih terbatas.
Lintasan saat ini menunjukkan masalah ini hanya akan semakin intensif karena alat AI menjadi lebih tersebar luas dan canggih. Sampai standar industri muncul atau intervensi regulasi terjadi, operator website kemungkinan akan terus memperkuat properti digital mereka melawan gelombang lalu lintas otomatis yang terus berkembang.
Referensi: AI crawlers and fetchers are blowing up websites, with Meta and OpenAI the worst offenders