Sebuah artikel terbaru yang mengklaim bahwa memahami mekanisme attention AI adalah Big-O baru untuk prompt engineering telah memicu perdebatan sengit di kalangan developer dan peneliti AI. Artikel tersebut berargumen bahwa menyusun prompt berdasarkan cara Large Language Models (LLMs) memproses attention dapat meningkatkan hasil secara dramatis, namun komunitas teknologi memberikan perlawanan keras terhadap sains dan metodologinya.
Akurasi Teknis Diserang
Kritik paling vokal berpusat pada kesalahpahaman mendasar tentang cara kerja LLMs yang sebenarnya. Beberapa developer menunjukkan bahwa artikel tersebut mencampuradukkan mekanisme attention teknis yang digunakan dalam model transformer dengan konsep attention umum manusia. Salah satu komentator mencatat bahwa sistem AI modern tidak hanya membaca semua token sekaligus seperti yang diklaim, tetapi menggunakan proses kompleks yang melibatkan prefill paralel dan decoding sekuensial dengan causal mask.
Komunitas juga menyoroti bahwa arsitektur AI saat ini telah bergerak jauh melampaui mekanisme attention standar. Banyak yang kini menggunakan alternatif seperti Hyena atau teknik seperti sliding window attention, membuat premis inti menjadi usang sebelum dipublikasikan.
Mekanisme attention: Proses matematis yang memungkinkan model AI untuk fokus pada bagian relevan dari teks input ketika menghasilkan respons
Alternatif Arsitektur AI Modern untuk Attention Standar:
- Hyena : Mekanisme attention alternatif untuk efisiensi yang lebih baik
- Sliding Window Attention : Memproses teks dalam segmen yang tumpang tindih
- Causal Masks : Mencegah model melihat token masa depan selama pelatihan
Bukti yang Hilang dan Metode yang Dipertanyakan
Mungkin kritik terkuat melibatkan kurangnya bukti empiris. Beberapa komentator mengkritik tidak adanya perbandingan berdampingan, benchmark, atau hasil yang dapat diukur. Artikel tersebut menyajikan dua gaya prompt yang berbeda tetapi tidak pernah menunjukkan output aktual atau metrik kinerja untuk mendukung klaimnya.
Anda tidak bisa menyebutnya attention optimized tanpa membuka otak LLM dan menilai apa yang terjadi di lapisan attention. Apakah paper yang dikutip melakukan hal itu? Maksud saya, fakta bahwa mengoptimalkan untuk attention membuat prompt yang lebih baik adalah hipotesis yang solid, tetapi saya tidak membaca bukti di sini.
Sentimen ini mencerminkan frustrasi yang lebih luas dalam komunitas AI tentang kesenjangan antara klaim yang berani dan ketelitian ilmiah dalam diskusi prompt engineering.
Kritik Utama terhadap Prompting "Attention-Optimized":
- Mencampuradukkan mekanisme attention teknis dengan konsep attention secara umum
- Kurang bukti empiris dan perbandingan langsung
- Tidak ada benchmark atau metrik kinerja yang dapat diukur
- Pemahaman yang ketinggalan zaman tentang arsitektur AI saat ini
- Kurang ketelitian ilmiah dalam metodologi
Perdebatan Engineering Muncul Kembali
Kontroversi ini telah memicu kembali ketegangan lama tentang apakah prompt engineering layak mendapat label engineering sama sekali. Kritikus berargumen bahwa bidang ini kekurangan prediktabilitas dan fondasi ilmiah dari disiplin engineering tradisional. Beberapa menyarankan terminologi yang lebih jujur seperti mantra atau ritual untuk menggambarkan sifat trial-and-error yang sering terjadi dalam optimisasi prompt.
Ironinya tidak luput dari pengamatan bahwa developer yang sering menolak menyebut pengembangan perangkat lunak sebagai engineering telah dengan cepat merangkul prompt engineering meskipun fondasinya kurang ketat.
Nilai Praktis di Tengah Kritik
Meskipun ada kritik teknis, beberapa anggota komunitas mengakui bahwa structured prompting memang cenderung menghasilkan hasil yang lebih baik, terlepas dari penjelasan yang mendasarinya. Saran inti tentang mengorganisir prompt dengan jelas, memecah tugas kompleks, dan memberikan konteks spesifik sejalan dengan praktik terbaik yang telah mapan dalam komunikasi manusia.
Beberapa developer berbagi pendekatan praktis yang bekerja dengan baik, seperti membuat model AI mengoptimalkan prompt sendiri atau menggunakan format terstruktur seperti template JSON untuk memandu respons AI dengan lebih efektif.
Melihat ke Depan
Perdebatan ini menyoroti tantangan krusial yang dihadapi bidang AI: menyeimbangkan penjelasan yang dapat diakses dengan akurasi teknis. Sementara komunitas menghargai panduan praktis untuk bekerja dengan sistem AI, ada permintaan yang meningkat untuk metode evaluasi yang lebih ketat dan pengakuan jujur tentang apa yang belum kita pahami tentang sistem kompleks ini.
Seiring kemampuan AI terus berkembang pesat, tekanan meningkat bagi prompt engineering untuk berevolusi dari bentuk seni menjadi sesuatu yang lebih menyerupai engineering sebenarnya - dengan hasil yang dapat diukur, metode yang dapat direproduksi, dan validasi ilmiah.
Referensi: Attention Is the New Big-O