Perusahaan infrastruktur web Cloudflare mengubah keseimbangan kekuatan antara pembuat konten dan perusahaan AI dengan sistem monetisasi baru yang memungkinkan pemilik website mengenakan biaya kepada crawler kecerdasan buatan untuk mengakses konten mereka. Inisiatif ini merupakan perubahan signifikan dari model saat ini di mana perusahaan AI bebas melakukan scraping konten web tanpa kompensasi kepada pembuat konten asli.
 |
|---|
| Gambar ini menggambarkan perkembangan pesat teknologi kecerdasan buatan, menekankan signifikansi perusahaan AI dalam lanskap konten saat ini yang sedang ditangani oleh Cloudflare |
Pemblokiran Default Crawler AI Mulai Berlaku
Cloudflare telah mengumumkan bahwa web crawler AI kini akan diblokir secara default di seluruh jaringannya, menandai apa yang perusahaan gambarkan sebagai langkah pertama menuju masa depan yang lebih berkelanjutan bagi pembuat konten dan inovator AI. Hal ini dibangun di atas tool AI Audit yang sudah ada, yang sebelumnya memungkinkan pelanggan untuk memblokir bot AI tertentu secara manual dengan satu klik. Pemilik website yang masih ingin mengizinkan scraping gratis dapat menonaktifkan pengaturan default ini, meskipun opsi monetisasi baru Cloudflare mungkin membuat pilihan tersebut kurang menarik.
Sistem Pay Per Crawl Memasuki Tahap Beta Testing
Inti dari pendekatan baru Cloudflare adalah sistem Pay Per Crawl, yang kini telah memasuki tahap beta testing setelah diumumkan tahun lalu. Skema inovatif ini memanfaatkan HTTP response code 402 Payment Required yang sebelumnya tidak aktif untuk menciptakan metode standar dalam mengenakan biaya kepada perusahaan AI yang ingin mengakses konten website. Sistem ini memberikan pembuat konten kontrol granular atas situs mereka, memungkinkan mereka memberikan akses gratis kepada crawler tertentu, mengenakan biaya kepada yang lain untuk masuk, atau memblokir scraper yang tidak diinginkan sepenuhnya.
Implementasi Kode Respons HTTP:
- Menggunakan kode status HTTP 402 "Payment Required"
- Crawler dapat merespons dengan niat pembayaran atau diblokir
- Situs dapat menandakan keterbukaan terhadap pengaturan pembayaran di masa depan
- Memungkinkan mekanisme pengisian standar di seluruh infrastruktur web
Implementasi Teknis dan Langkah-Langkah Keamanan
Cloudflare telah mengimplementasikan langkah-langkah autentikasi yang canggih untuk mencegah perusahaan AI menghindari sistem pembayaran. Crawler yang sah harus mengautentikasi diri mereka menggunakan signature-agent, signature-input, dan signature headers, yang diverifikasi Cloudflare terhadap public key yang disimpan dalam direktori yang di-host. Hal ini mencegah aktor jahat menyamar sebagai crawler yang disetujui untuk mendapatkan akses tidak sah. Sistem ini juga mencakup kontrol anggaran, memungkinkan crawler AI menetapkan batas pengeluaran menggunakan crawler-max-price headers saat mengakses situs yang dilindungi.
Proses Autentikasi Pay Per Crawl:
- Crawler menggunakan header signature-agent, signature-input, dan signature
- Cloudflare memverifikasi terhadap pasangan kunci Ed25519 dalam direktori yang di-hosting
- Perbandingan kunci publik dengan informasi URL dan user agent
- Memblokir crawler palsu sambil mengizinkan akses yang terautentikasi
Kemitraan Industri dan Respons Pasar
ProRata , startup di balik mesin pencari AI Gist.AI , telah muncul sebagai peserta pertama yang diakui secara publik dalam program Pay Per Crawl. Pendiri dan CEO perusahaan Bill Gross menekankan peran inisiatif ini dalam melindungi kreativitas manusia, menyatakan bahwa pencipta dan penerbit layak mendapat kompensasi yang adil atas kontribusi mereka. Model kemitraan ini berpotensi menyamakan kedudukan bagi pembuat konten kecil yang tidak memiliki sumber daya untuk menegosiasikan kesepakatan lisensi individual dengan perusahaan AI besar seperti OpenAI , yang telah menjalin kemitraan konten dengan berbagai organisasi media.
Menyeimbangkan Inovasi dengan Preservasi
Sistem pemblokiran baru ini menggabungkan machine learning dan analisis perilaku untuk membedakan antara web crawler yang bermanfaat dan scraper AI yang bermasalah. Pendekatan ini mengakui bahwa tidak semua akses web otomatis berbahaya, terutama upaya preservasi oleh organisasi seperti Internet Archive . Penelitian dari Pew Research Center yang menyoroti bahwa 25% halaman web dari 2013-2023 tidak lagi dapat diakses menggarisbawahi pentingnya aktivitas crawling arsip yang sah.
Implikasi Masa Depan untuk Pengembangan AI
Inisiatif Cloudflare dapat secara fundamental mengubah cara perusahaan AI memperoleh data pelatihan, berpotensi memaksa mereka untuk menganggarkan akuisisi konten daripada mengandalkan scraping gratis. Perusahaan membayangkan agen AI beroperasi dengan anggaran yang telah ditentukan untuk mengakses konten berkualitas tinggi dan relevan saat merespons prompt pengguna. Model berbasis izin ini untuk akses konten internet merupakan perubahan signifikan menuju pengakuan nilai ekonomi pembuatan konten digital dan dapat menetapkan standar industri baru untuk akuisisi data pelatihan AI.