Model bahasa memiliki kelemahan yang mengejutkan yang baru-baru ini ditemukan oleh para peneliti. Ketika sistem AI ini mencoba menangani percakapan yang lebih panjang dari data pelatihan mereka, mereka tidak hanya berkinerja buruk - mereka benar-benar hancur total, menghasilkan omong kosong yang tidak masuk akal. Penyebabnya? Mekanisme kritis yang disebut attention sinks yang kebanyakan orang tidak pernah dengar sampai sekarang.
Penemuan ini berasal dari studi mengapa model seperti GPT dan Llama akan gagal secara katastrofik ketika memproses percakapan panjang. Para peneliti menemukan bahwa model-model ini secara diam-diam membuang sejumlah besar perhatian ke beberapa token pertama dalam urutan apa pun, terlepas dari apakah token tersebut mengandung informasi yang bermakna. Attention sinks ini bertindak seperti tempat sampah komputasi, menyerap kelebihan perhatian yang tidak tahu harus diarahkan ke mana oleh model.
Karakteristik Attention Sink
- Lokasi: Beberapa token pertama dalam urutan (biasanya membutuhkan 4 token)
- Konten: Seringkali tidak bermakna secara semantik (token awal, "the", "a")
- Fungsi: Menyerap kelebihan perhatian karena batasan softmax (bobot harus berjumlah 1.0)
- Efek penghapusan: Keruntuhan model langsung dan menghasilkan teks yang tidak masuk akal
- Lintas arsitektur: Ditemukan di BERT, vision transformers, GANs, U-Nets
Matematika di Balik Masalah
Akar penyebabnya terletak pada cara model transformer menghitung perhatian. Fungsi softmax memaksa semua bobot perhatian untuk berjumlah tepat 1.0, menciptakan apa yang seorang peneliti gambarkan sebagai demokrasi pembelajaran di mana perhatian disebarkan. Ketika model tidak dapat menemukan informasi relevan untuk difokuskan, ia masih harus mengarahkan perhatiannya ke suatu tempat. Beberapa token pertama menjadi tempat pembuangan default.
Ini bukan hanya keanehan - ini penting untuk stabilitas. Ketika para peneliti mencoba menghapus token awal ini untuk menghemat memori, model akan langsung mulai menghasilkan omong kosong. Mereka tanpa sadar telah menghancurkan sistem katup tekanan model.
Perbaikan Sederhana yang Mengubah Segalanya
Solusinya ternyata sangat mudah. Alih-alih membuang token lama dalam pendekatan sliding window, StreamingLLM mempertahankan beberapa sink token pertama sambil mempertahankan sliding window untuk yang lainnya. Ini memungkinkan model untuk memproses urutan yang lebih panjang beberapa kali lipat dari konteks pelatihan asli mereka.
Hasilnya sangat dramatis. Model yang sebelumnya runtuh setelah beberapa ribu token tiba-tiba dapat mempertahankan kinerja stabil di jutaan token. Perbaikan ini tidak memerlukan pelatihan ulang - hanya menghormati pola perhatian model yang sudah ada.
Perbandingan Performa StreamingLLM
- Sliding window tradisional: Model runtuh setelah beberapa ribu token, menghasilkan teks yang tidak masuk akal
- StreamingLLM dengan attention sinks: Performa stabil hingga lebih dari 2 juta token
- Efisiensi memori: Hanya menyimpan 4 token pertama + sliding window dibandingkan penyimpanan konteks penuh
- Implementasi: Tidak memerlukan pelatihan ulang, bekerja dengan model yang sudah ada seperti Llama-2
 |
|---|
| Diagram yang menunjukkan metode StreamingLLM yang mengilustrasikan bagaimana attention sinks meningkatkan pemrosesan urutan dalam model bahasa |
Lebih dari Sekadar Model Bahasa
Diskusi komunitas mengungkapkan fenomena ini meluas jauh melampaui model bahasa. Perilaku attention sink serupa telah diamati pada vision transformer, di mana model menggunakan kembali patch latar belakang yang tidak informatif sebagai scratchpad komputasi. Bahkan arsitektur lama seperti GAN dan U-Net menunjukkan pola yang sebanding.
Cacat singular (atau token high-norm) mungkin terkait dengan attention sinks. Menarik bahwa arah semua token high-norm berbagi arah yang sama.
Beberapa peneliti menyarankan ini mungkin menjelaskan mengapa strategi prompting tertentu bekerja lebih baik daripada yang lain. Memulai prompt dengan kata-kata sopan seperti Hello atau Please mungkin benar-benar meningkatkan kinerja dengan memberikan model attention sinks yang lebih baik untuk digunakan.
Status Implementasi Industri
- OpenAI: Terintegrasi dalam GPT-3.5-turbo-1106 dan GPT-4-turbo-1106
- HuggingFace: Menambahkan dukungan framework untuk biaya perhatian
- llama.cpp: Dukungan penuh telah diimplementasikan ( PR 15157 )
- NVIDIA TensorRT-LLM: Mekanisme telah disertakan
- Jadwal Waktu: Penelitian dipublikasikan tahun 2023, adopsi produksi pada akhir tahun 2023
 |
|---|
| Representasi visual dari pola attention dalam model transformer, mengilustrasikan bagaimana head yang berbeda memproses token input |
Adopsi Industri dan Implikasi Masa Depan
Perusahaan AI besar telah dengan cepat mengadopsi wawasan ini. OpenAI mengintegrasikan mekanisme attention sink ke dalam model GPT-3.5-turbo dan GPT-4-turbo mereka, sementara framework seperti HuggingFace dan library seperti llama.cpp telah menambahkan dukungan penuh. Teknik ini juga telah memungkinkan arah penelitian baru dalam kuantisasi dan optimisasi model.
Penemuan ini menyoroti betapa banyak yang masih tidak kita pahami tentang sistem AI yang kita gunakan setiap hari. Apa yang dimulai sebagai masalah manajemen memori mengungkapkan aspek fundamental dari arsitektur transformer yang telah bersembunyi di depan mata. Seiring model menjadi lebih kompleks, memahami mekanisme tersembunyi ini menjadi semakin penting untuk membangun sistem AI yang dapat diandalkan.
Referensi: How Attention Sinks Keep Language Models Stable
 |
|---|
| Perbandingan kurva loss pre-training untuk model dengan dan tanpa sink token, menyoroti efektivitas mekanisme attention sink |