Komunitas teknologi terlibat dalam perdebatan sengit mengenai apakah pemilik website seharusnya memblokir Large Language Models ( LLM ) dari melakukan scraping konten mereka. Diskusi ini semakin menguat menyusul tuduhan terbaru bahwa perusahaan pencarian AI Perplexity melanggar file robots.txt yang secara eksplisit melarang crawler LLM mengakses website-website tertentu.
Kontroversi ini berpusat pada ketidaksepakatan fundamental tentang pertukaran nilai antara kreator konten dan perusahaan AI. Sementara beberapa pihak berargumen bahwa LLM mewakili masa depan pencarian dan dapat mengarahkan traffic ke website, banyak kreator konten merasa mereka dieksploitasi tanpa kompensasi.
Platform Utama yang Disebutkan:
- Perplexity (dituduh melanggar robots.txt)
- ChatGPT (dilaporkan sebagai sumber traffic oleh beberapa bisnis)
- Google (perbandingan pencarian tradisional)
- Cloudflare (menawarkan alat pemblokiran LLM)
Masalah Atribusi Memecah Komunitas
Isu utama yang muncul dari diskusi komunitas adalah apakah LLM benar-benar mengarahkan traffic yang berarti ke website sumber. Banyak kreator konten mengungkapkan frustrasi bahwa karya mereka dirangkum dan disajikan kepada pengguna tanpa menghasilkan klik atau kunjungan ke situs asli mereka. Data penelitian mendukung kekhawatiran ini, menunjukkan bahwa pengguna jarang mengklik tautan sumber ketika sistem AI menyediakan jawaban langsung untuk pertanyaan mereka.
Hal ini sangat kontras dengan mesin pencari tradisional seperti Google, yang utamanya berfungsi sebagai pengarah traffic. Ketika Google mengindeks sebuah website, biasanya mengirim pengguna ke situs yang sebenarnya untuk mengonsumsi konten lengkap. LLM, bagaimanapun, sering menyediakan jawaban yang disintesis yang mungkin menghilangkan kebutuhan pengguna untuk mengunjungi sumber asli.
Data Atribusi Lalu Lintas:
- Beberapa bisnis melaporkan ~20% pelanggan kini berasal dari ChatGPT daripada Google
- Riset menunjukkan pengguna jarang mengklik tautan sumber dalam respons yang dihasilkan AI
- Lalu lintas yang dihasilkan LLM dilaporkan memiliki konversi lebih baik tetapi menghasilkan volume keseluruhan yang lebih sedikit
Konflik Model Bisnis Memicu Ketegangan
Perdebatan ini mengungkap benturan fundamental antara pendekatan berbeda terhadap monetisasi konten online. Pemilik website yang mengandalkan pendapatan iklan, tampilan halaman, atau keterlibatan pembaca langsung melihat scraping LLM sebagai sesuatu yang berpotensi merusak model bisnis mereka. Mereka berargumen bahwa perusahaan AI pada dasarnya membangun layanan yang menguntungkan di atas punggung kreator konten yang tidak dibayar.
Saya tidak berusaha keras menulis banyak paragraf konten untuk website saya sendiri hanya agar bisa dirangkum oleh LLM. Saya menulisnya karena saya ingin manusia lain membacanya.
Namun, beberapa pemilik bisnis melaporkan pengalaman positif dengan traffic yang didorong LLM, khususnya mereka yang menawarkan layanan profesional. Perusahaan di bidang khusus seperti akuntansi dan konsultansi mencatat bahwa sistem AI terkadang mengarahkan prospek yang sangat berkualitas ke website mereka ketika pengguna mengajukan pertanyaan industri spesifik.
Kekhawatiran Teknis dan Etis Meningkat
Di luar pertimbangan bisnis, komunitas telah mengangkat beberapa isu teknis dan etis dengan praktik scraping LLM saat ini. Banyak kritikus menunjukkan bahwa beberapa perusahaan AI telah ketahuan mengabaikan file robots.txt dan protokol web standar lainnya yang dirancang untuk mengontrol akses otomatis ke website.
Ada juga kekhawatiran tentang akurasi konten dan misrepresentasi. Pemilik website khawatir bahwa LLM mungkin menyajikan informasi mereka secara tidak benar atau di luar konteks, berpotensi merusak reputasi mereka tanpa mereka ketahui. Risiko ini sangat mengkhawatirkan bagi kreator yang telah menginvestasikan waktu dan keahlian yang signifikan dalam memproduksi konten berkualitas tinggi.
Masa Depan Distribusi Konten Web
Saat perdebatan ini berlanjut, hal ini mencerminkan pertanyaan yang lebih luas tentang hubungan masa depan antara kreator konten dan sistem AI. Beberapa anggota komunitas percaya bahwa memblokir LLM adalah sia-sia dan kreator harus beradaptasi dengan realitas baru ini. Yang lain berargumen bahwa persetujuan dan kompensasi yang adil harus menjadi pusat dari model yang berkelanjutan.
Diskusi ini juga menyoroti kebutuhan akan standar dan protokol yang lebih jelas yang mengatur bagaimana sistem AI berinteraksi dengan konten web. Saat LLM menjadi lebih umum dalam pencarian dan pengambilan informasi, menemukan keseimbangan yang melayani baik kreator konten maupun pengembang AI kemungkinan akan memerlukan solusi teknis baru dan mungkin kerangka regulasi.
Hasil dari perdebatan ini dapat secara signifikan membentuk bagaimana informasi mengalir di internet dalam tahun-tahun mendatang, mempengaruhi semua orang dari blogger individu hingga organisasi media besar.
Referensi: Why blocking LLMs from your website is dumb