Cloudflare telah meluncurkan layanan baru yang disebut pay per crawl yang memungkinkan pemilik website mengenakan biaya kepada perusahaan AI untuk mengakses konten mereka. Sistem ini mengatasi kekhawatiran yang berkembang tentang bot AI yang mengonsumsi konten web tanpa kompensasi sambil menciptakan biaya server yang signifikan bagi penerbit.
Layanan ini menggunakan kode status HTTP 402 (Payment Required) untuk menciptakan kerangka kerja di mana crawler AI harus membayar untuk akses atau menerima permintaan pembayaran. Pemilik website dapat mengatur tiga opsi untuk setiap crawler: mengizinkan akses gratis, memerlukan pembayaran dengan harga yang dikonfigurasi, atau memblokir akses sepenuhnya.
Kontrol Penerbit dan Opsi Harga:
- Izinkan: Memberikan akses gratis kepada crawler untuk mengakses konten
- Bayar: Memerlukan pembayaran dengan harga yang telah dikonfigurasi untuk seluruh domain
- Blokir: Menolak akses sepenuhnya tanpa opsi pembayaran
 |
|---|
| Pemilik website kini dapat melindungi konten mereka dan mengenakan tarif kepada perusahaan AI untuk akses melalui layanan baru Cloudflare |
Implementasi Teknis Menciptakan Standar Web Baru
Sistem ini mengharuskan perusahaan AI untuk mendaftar dengan Cloudflare dan menggunakan tanda tangan kriptografi untuk memverifikasi identitas mereka. Ini mencegah pelaku jahat menyamar sebagai crawler yang sah untuk menghindari pembayaran. Ketika crawler meminta konten berbayar, mereka harus menyertakan niat pembayaran dalam header permintaan atau menerima respons 402 dengan informasi harga.
Cloudflare bertindak sebagai pemroses pembayaran, menangani penagihan dan mendistribusikan pendapatan kepada penerbit. Perusahaan mengumpulkan peristiwa crawling dan mengenakan biaya kepada perusahaan AI berdasarkan permintaan yang berhasil menerima konten.
Autentikasi Crawler yang Diperlukan:
- Buat pasangan kunci Ed25519 dengan kunci publik berformat JWK
- Daftar dengan Cloudflare dengan menyediakan URL direktori kunci dan informasi user agent
- Konfigurasikan HTTP Message Signatures untuk setiap permintaan
- Sertakan header signature-agent, signature-input, dan signature
Komunitas Memperdebatkan Efektivitas dan Keadilan
Diskusi komunitas teknologi mengungkapkan reaksi yang beragam terhadap pengumuman ini. Beberapa memuji inisiatif ini sebagai kompensasi yang sudah lama ditunggu untuk pembuat konten, sementara yang lain khawatir tentang menciptakan hambatan baru untuk akses informasi. Kekhawatiran utama berpusat pada keuntungan Google , karena banyak website masih ingin crawler pencarian Google mengindeks konten mereka untuk visibilitas.
Kebanyakan orang ingin google-bot merayapi situs mereka sehingga mereka mendapat lalu lintas. Ada manfaat untuk kedua belah pihak di sana, dan Google akan menggunakan crawl-index-nya untuk pelatihan AI.
Sistem ini menghadapi tantangan teknis dari scraper yang bertekad yang mungkin menggunakan proxy residensial atau browser headless untuk menghindari deteksi. Namun, posisi Cloudflare sebagai penyedia infrastruktur internet utama memberikannya leverage yang signifikan dalam mengidentifikasi dan memblokir upaya tersebut.
 |
|---|
| Blog Cloudflare mengungkapkan reaksi beragam dari komunitas teknologi terkait layanan "pay per crawl" |
Implikasi untuk Ekonomi Web Masa Depan
Layanan ini mewakili pergeseran menuju monetisasi data pelatihan AI dalam skala internet. Penerbit seperti Conde Nast , TIME , dan The Associated Press telah mendaftar untuk memblokir crawler AI secara default. Ini menciptakan tekanan pada perusahaan AI untuk membayar akses atau mengembangkan sumber data alternatif.
Beberapa anggota komunitas khawatir ini bisa mengarah pada pasar yang terpecah di mana mengakses informasi memerlukan beberapa langganan, mirip dengan layanan streaming. Yang lain melihatnya sebagai perlindungan yang diperlukan terhadap perusahaan AI yang memberikan sedikit nilai kembali kepada pembuat konten.
Dampak jangka panjang mungkin meluas melampaui kebutuhan pelatihan AI saat ini. Ketika agen AI menjadi lebih umum, sistem ini dapat memungkinkan pembelian konten programatis di mana pengguna memberikan anggaran kepada asisten AI untuk mengakses sumber informasi premium.
Penerbit Besar yang Sudah Berpartisipasi:
- Conde Nast
- TIME
- The Associated Press
- The Atlantic
- ADWEEK
- Fortune
Kesimpulan
Sistem pay-per-crawl Cloudflare berupaya menyeimbangkan kembali ekonomi konten web di era AI. Meskipun menawarkan aliran pendapatan baru bagi pembuat konten, kesuksesannya bergantung pada adopsi yang luas dan kesediaan perusahaan AI untuk membayar daripada mencari solusi alternatif. Inisiatif ini menyoroti ketegangan yang sedang berlangsung antara akses informasi terbuka dan kompensasi yang adil bagi pembuat konten dalam lanskap internet yang semakin didorong oleh AI.
Referensi: Introducing pay per crawl: enabling content owners to charge AI crawlers for access