Komunitas pengembangan AI sedang terlibat dalam perdebatan sengit mengenai apakah context engineering mewakili kemajuan yang berarti dalam pengembangan agen AI atau hanya mengemas ulang teknik prompt engineering yang sudah ada dengan nama baru.
Diskusi ini berpusat pada pengelolaan memori kerja terbatas dari large language model ( LLM ), yang dibandingkan pengembang dengan RAM komputer. Saat agen AI menangani percakapan yang lebih panjang dan tugas yang lebih kompleks, mereka dengan cepat mengisi jendela konteks mereka dengan instruksi, pengetahuan, dan umpan balik alat, yang menyebabkan masalah seperti keracunan konteks dan kebingungan.
Masalah Konteks Umum pada Agen AI
- Keracunan Konteks: Halusinasi yang mengkontaminasi konteks
- Gangguan Konteks: Konteks yang membanjiri pelatihan model
- Kebingungan Konteks: Konteks berlebihan yang memengaruhi respons
- Bentrokan Konteks: Bagian-bagian konteks yang bertentangan menciptakan masalah
 |
|---|
| Diagram ini menyoroti bagaimana berbagai jenis konteks mengalir ke dalam model bahasa besar, aspek kritis dalam mengelola memori kerja yang terbatas dalam percakapan AI |
Perselisihan Terminologi Memecah Pengembang
Sebagian besar komunitas memandang context engineering tidak lebih dari sekadar istilah pemasaran. Para kritikus berargumen bahwa membedakan antara mengoptimalkan konteks versus instruksi dalam prompt tidak membenarkan penciptaan bidang yang sepenuhnya baru. Skeptisisme ini sangat mendalam, dengan beberapa pengembang membandingkan tren ini dengan solusi layer 2 cryptocurrency - pendekatan yang terdengar teknis namun mungkin tidak mengatasi masalah fundamental.
Namun, para pendukung mempertahankan bahwa context engineering mewakili perluasan ruang lingkup yang nyata melampaui prompt engineering tradisional. Mereka berargumen bahwa hal ini mencakup strategi optimisasi yang lebih luas termasuk teknik kompresi, seleksi, dan isolasi konteks yang melampaui pembuatan prompt sederhana.
Strategi Rekayasa Konteks
- Tulis Konteks: Menyimpan konteks di luar jendela konteks
- Pilih Konteks: Menarik konteks yang relevan ke dalam jendela konteks
- Kompres Konteks: Mempertahankan hanya token-token penting (misalnya, menggunakan LLMLingua)
- Isolasi Konteks: Memisahkan konteks untuk meningkatkan performa tugas
 |
|---|
| Ilustrasi ini menggambarkan interaksi antara agen AI dan lingkungan eksekusinya, melambangkan nuansa konteks dan instruksi dalam pengembangan AI |
Keterbatasan Teknis Mengungkap Masalah yang Lebih Dalam
Perdebatan ini mengungkap kekhawatiran mendasar tentang kemampuan AI saat ini. Pengembang melaporkan degradasi kinerja AI yang konsisten selama percakapan yang diperpanjang, terutama mencatat bagaimana model seperti GPT-4 memulai dengan kuat tetapi memburuk pada respons kelima. Pola ini menyoroti pentingnya pengelolaan konteks yang efektif.
Makalah penelitian terbaru Apple yang menunjukkan AI kesulitan dengan tugas penalaran multi-langkah seperti masalah Tower of Hanoi telah menambah bahan bakar perdebatan. Sementara beberapa menolak studi tersebut sebagai sengaja membatasi kemampuan AI, yang lain melihatnya sebagai bukti bahwa pendekatan saat ini terhadap pengelolaan konteks secara fundamental cacat.
 |
|---|
| Diagram ini mengilustrasikan bagaimana konteks baru memperbarui memori yang ada, menyoroti tantangan yang dihadapi AI dalam mempertahankan interaksi yang koheren selama percakapan yang berkepanjangan |
Hype Industri Versus Solusi Praktis
Komunitas mengekspresikan frustrasi dengan proliferasi terminologi x-engineering di seluruh industri AI. Banyak pengembang merasa bahwa menciptakan nama yang terdengar profesional untuk teknik dasar melemahkan makna engineering itu sendiri. Sentimen ini mencerminkan kekhawatiran yang lebih luas tentang pengembangan yang didorong hype di ruang AI.
Dulu kami menyebut keduanya sebagai mahir dengan Google. Menyamakannya dengan engineering adalah hal yang lucu sekaligus menghina.
Meskipun ada perselisihan terminologi, aplikasi praktis terus bermunculan. Beberapa pengembang melaporkan kesuksesan menggunakan system prompt terperinci yang melebihi 1.500 baris untuk platform coding berbantuan AI, sementara yang lain mengimplementasikan pola memory-bank untuk mengelola konteks dengan lebih efektif.
Pencarian Solusi yang Lebih Baik
Perdebatan ini pada akhirnya mencerminkan perjuangan komunitas AI dengan keterbatasan arsitektur fundamental. Banyak pengembang percaya bahwa kemajuan sejati memerlukan modifikasi arsitektur transformer daripada melapisi teknik pengelolaan di atas model yang terbatas konteks. Sampai terobosan seperti itu terjadi, industri terus membangun apa yang digambarkan beberapa orang sebagai hack di atas hack.
Diskusi context engineering, terlepas dari namanya, menyoroti tantangan kritis yang dihadapi pengembangan AI: bagaimana membuat sistem yang dapat mempertahankan perilaku yang koheren dan berguna di seluruh interaksi yang diperpanjang tanpa kehilangan jejak informasi penting atau memperkenalkan kesalahan.
Referensi: Context Engineering for Agents