Google secara diam-diam menghapus fitur pencarian yang memungkinkan pengguna melihat 100 hasil dalam satu halaman, membatasi tampilan hanya menjadi 10 hasil saja. Meskipun ini mungkin terlihat seperti perubahan antarmuka yang kecil, hal ini telah memicu diskusi signifikan di komunitas teknologi tentang dampaknya terhadap sistem AI dan visibilitas website.
Penghapusan parameter num=100 telah menimbulkan pertanyaan tentang bagaimana perusahaan AI mengumpulkan data pelatihan dan apakah mereka seharusnya mengandalkan hasil pencarian Google sejak awal. Banyak anggota komunitas melihat ini sebagai langkah yang sudah diharapkan daripada perkembangan yang mengejutkan.
Keterbatasan Hasil Pencarian:
- Batas sebelumnya: 100 hasil per halaman melalui parameter num=100
- Batas baru: 10 hasil per halaman (batas keras)
- Dampak: 86% website mengalami penurunan tayangan menurut Search Engine Land
Solusi Teknis Sudah Ada
Komunitas teknologi dengan cepat menunjukkan bahwa solusi alternatif sudah tersedia. Common Crawl , sebuah repositori terbuka data web, menyediakan salah satu alternatif tersebut untuk perusahaan yang mencari konten web yang komprehensif. Beberapa developer mencatat bahwa membangun web crawler khusus tidaklah terlalu rumit, menunjukkan bahwa perusahaan AI kemungkinan akan mengembangkan sistem pencarian mereka sendiri dalam beberapa bulan.
Namun, diskusi tersebut mengungkapkan bahwa crawling dan indexing menghadirkan tantangan yang berbeda. Sementara crawling halaman web cukup mudah, menciptakan sistem ranking yang efektif tetap menjadi kekuatan inti Google . Beberapa anggota komunitas mempertanyakan apakah ranking ini sama pentingnya untuk sistem AI dengan context window yang besar dibandingkan dengan pengguna manusia yang menjelajahi hasil pencarian.
Mempertanyakan Klaim Asli
Diskusi komunitas menantang beberapa asumsi dalam laporan asli. Beberapa pengguna menunjukkan bahwa perusahaan AI besar seperti OpenAI menggunakan Bing untuk fungsi pencarian, sementara Claude dilaporkan menggunakan Brave Search . Ini menunjukkan bahwa dampak terhadap pipeline pelatihan AI mungkin tidak separah yang diklaim awalnya.
Saya pikir OpenAI menggunakan Bing . Gemini jelas akan menggunakan Google tetapi bagi mereka pembatasan ini tidak berlaku. Claude mengatakan menggunakan Brave .
Komunitas juga mencatat bahwa vendor AI besar biasanya mengoperasikan sistem crawling mereka sendiri daripada mengandalkan antarmuka pencarian Google , membuat penghapusan parameter ini kurang signifikan untuk pemain yang sudah mapan.
Sumber Data Alternatif untuk Perusahaan AI:
- Common Crawl : Repositori crawling web terbuka
- Bing Search API : Digunakan oleh OpenAI
- Brave Search : Digunakan oleh Claude / Anthropic
- Custom crawlers: OAI-SearchBot , GPTBot untuk pelatihan OpenAI
Peluang Pasar Muncul
Perubahan ini telah menciptakan peluang bisnis potensial untuk para ahli teknologi pencarian. Mantan insinyur pencarian Google dan spesialis serupa bisa memanfaatkan permintaan yang meningkat untuk infrastruktur pencarian independen karena perusahaan AI mencari alternatif dari ekosistem Google .
Diskusi tersebut menyoroti bahwa meskipun algoritma ranking Google membutuhkan waktu bertahun-tahun untuk dikembangkan, teknologi fundamental untuk crawling dan indexing sudah dipahami dengan baik. Ini menunjukkan bahwa perusahaan yang bertekad dengan sumber daya yang cukup bisa membangun alternatif yang kompetitif, meskipun mereplikasi kemampuan otoritas dan pengenalan pola Google akan membutuhkan investasi yang signifikan.
Respons komunitas menunjukkan bahwa meskipun langkah Google mempengaruhi beberapa sistem, industri teknologi sudah beradaptasi dengan pendekatan dan solusi alternatif.
Referensi: Google just cut off 90% of the internet from AI - no one's talking about it