Perdebatan yang berkembang di komunitas AI berpusat pada apakah sistem pencarian tradisional sebenarnya menghambat agen AI. Meskipun sebagian besar perusahaan berinvestasi besar-besaran dalam mesin pencari canggih dengan algoritma peringkat lanjutan dan optimisasi keterlibatan pengguna, beberapa pengembang menemukan bahwa pendekatan yang lebih sederhana bekerja lebih baik ketika agen AI yang melakukan pencarian daripada manusia.
 |
|---|
| Grafik promosi untuk presentasi tentang teknik pencarian lanjutan, menyoroti tantangan yang dihadapi oleh sistem pencarian tradisional |
Masalah dengan Sistem Pencarian Pintar
Sistem pencarian tradisional dibangun seperti kotak hitam. Mereka mengambil kueri dan mengembalikan hasil menggunakan algoritma kompleks yang mempertimbangkan keterlibatan pengguna, sinonim, dan sinyal peringkat. Namun agen AI kesulitan dengan sistem ini karena mereka tidak dapat memahami bagaimana alat pencarian sebenarnya bekerja. Ketika agen mendapat hasil yang tidak terduga, mereka tidak memiliki cara untuk menyesuaikan pendekatannya secara efektif.
Diskusi komunitas mengungkapkan ketegangan mendasar antara apa yang diinginkan manusia dari pencarian dan apa yang dibutuhkan agen AI. Banyak pengguna mengungkapkan frustrasi dengan mesin pencari modern yang mencoba terlalu pintar, lebih memilih pencocokan kata kunci sederhana yang berperilaku dapat diprediksi.
Perbandingan API Pencarian Tradisional vs Sederhana
| Fitur | API "Tebal" Tradisional | API "Bodoh" Sederhana |
|---|---|---|
| Pemrosesan Query | Kompleks dengan sinonim, peringkat, optimasi keterlibatan | Pencocokan kata kunci dasar dengan skor BM25 |
| Transparansi | Operasi kotak hitam | Perilaku yang jelas dan terdokumentasi |
| Penalaran Agen | Sulit - hasil tidak dapat diprediksi | Mudah - input/output yang dapat diprediksi |
| Data Keterlibatan Pengguna | Dioptimalkan untuk pola klik manusia | Tidak ada optimasi perilaku pengguna |
| Performa | Cepat, dioptimalkan | Lebih lambat tapi lebih dapat diinterpretasi |
 |
|---|
| Sebuah diagram alur yang merinci proses " Agentic Search ," menjelaskan bagaimana agen AI dapat secara efektif mencari pilihan yang cocok untuk "anak-anak kutu buku". Ini mencerminkan kebutuhan akan alat pencarian yang lebih sederhana yang disebutkan dalam artikel |
Mengapa Alat Pencarian Sederhana Bekerja Lebih Baik untuk Agen
Alih-alih API pencarian yang kompleks, beberapa pengembang bereksperimen dengan pencarian kata kunci dasar yang dapat dipahami dan dipikirkan oleh agen. Alat sederhana ini memberi tahu AI persis bagaimana mereka bekerja - hanya mencocokkan kata kunci dengan penilaian dasar. Transparansi ini memungkinkan agen untuk membangun model mental dari alat tersebut dan menggunakannya lebih efektif.
Pendekatan ini tampak berlawanan dengan intuisi, tetapi hasil awal menunjukkan harapan. Agen dapat berhasil menemukan produk yang relevan dengan mencoba kombinasi kata kunci yang berbeda dan belajar dari hasilnya. Mereka bahkan dapat mengingat apa yang bekerja dengan baik untuk kueri serupa di masa lalu, membangun pengetahuan dari waktu ke waktu.
Catatan: Penilaian BM25 adalah fungsi peringkat yang digunakan oleh mesin pencari untuk memperkirakan relevansi dokumen terhadap kueri pencarian yang diberikan berdasarkan frekuensi kata kunci dan panjang dokumen.
Komponen Teknis Utama dari Simple Search untuk Agen AI
- Fungsi Pencarian: Pencarian kata kunci langsung tanpa sinonim
- Sistem Penilaian: Algoritma BM25 pada nama produk dan deskripsi
- Tokenisasi: Tokenisasi snowball dasar
- Sistem Memori: Agen menyimpan dan mengingat kembali evaluasi kueri masa lalu
- Semantic Caching: Pencarian vektor dari kueri serupa di masa lalu
- Evaluasi Mandiri: " LLM-as-a-judge " untuk penilaian kualitas hasil
Bagian yang Hilang: Data Perilaku Pengguna
Namun, komunitas mengidentifikasi kelemahan utama dalam pendekatan ini. Agen AI membuat keputusan berdasarkan penalaran logis, tetapi pengguna manusia sering berperilaku tidak dapat diprediksi. Orang mengklik warna yang membosankan daripada yang menarik, memilih produk karena alasan yang tidak terkait dengan kueri pencarian mereka, atau menemukan apa yang mereka butuhkan tanpa mengklik apa pun.
Kita tidak bisa mengharapkan LLM memiliki ide tentang hal-hal gila dan tidak masuk akal yang dilakukan manusia ketika tidak ada yang mengawasi.
Mesin pencari tradisional menghabiskan bertahun-tahun belajar dari jutaan interaksi pengguna untuk memahami pola-pola ini. Agen AI saat ini tidak memiliki akses ke umpan balik berharga ini, berpotensi membuat mereka menjadi penilai yang buruk tentang apa yang sebenarnya diinginkan pengguna.
Kekhawatiran Kepercayaan dan Kontrol
Diskusi juga mengungkapkan kekhawatiran yang lebih dalam tentang agen AI yang membuat keputusan atas nama pengguna. Karena agen ini biasanya berjalan di server perusahaan daripada perangkat pengguna, ada pertanyaan tentang apakah mereka akan tetap selaras dengan kepentingan pengguna dari waktu ke waktu. Sejarah industri teknologi tentang layanan yang awalnya membantu menjadi kurang ramah pengguna seiring mereka matang menambah kekhawatiran ini.
Beberapa anggota komunitas khawatir bahwa agen AI yang dioptimalkan untuk penalaran logis mungkin benar-benar membuang hasil pencarian yang akan dianggap menarik oleh pengguna, hanya karena agen tidak memahami preferensi manusia.
Melihat ke Depan
Meskipun pendekatan pencarian sederhana menunjukkan harapan untuk agen AI, ini hanya mewakili awal dari memecahkan masalah pencarian di dunia yang didorong AI. Tantangannya terletak pada menggabungkan transparansi yang dibutuhkan agen dengan wawasan perilaku pengguna yang membuat pencarian benar-benar berguna. Seiring agen AI menjadi lebih umum, sistem pencarian mungkin memerlukan desain ulang mendasar untuk melayani pengguna manusia dan buatan secara efektif.
Perdebatan ini menyoroti pertanyaan yang lebih luas tentang sistem AI: haruskah kita membuat alat yang bekerja dengan baik dengan penalaran AI, atau haruskah kita fokus pada menangkap realitas yang berantakan dari perilaku manusia? Jawabannya mungkin menentukan bagaimana kita berinteraksi dengan informasi di tahun-tahun mendatang.
Referensi: Agents turn simple keyword search into compelling search experiences