Komunitas kecerdasan buatan sedang bergulat dengan pertanyaan mendasar tentang bagaimana sistem AI seharusnya menyimpan dan mengorganisir pengetahuan seiring dengan perluasan context window yang dramatis. Perkembangan terkini telah memicu perdebatan tentang apakah arsitektur memori tradisional akan menjadi usang atau tetap penting untuk menciptakan sistem AI yang koheren.
Diskusi ini berpusat pada tantangan inti: semua pengetahuan ada dalam kerangka referensi spesifik yang menentukan validitasnya. Fakta sederhana seperti Berlin adalah ibu kota Jerman menjadi kompleks ketika mempertimbangkan periode waktu yang berbeda, alam semesta fiksi, atau sejarah alternatif. Kompleksitas ini secara tradisional mendorong kebutuhan akan sistem memori yang canggih dalam AI.
Context Window Masif Menantang Pendekatan Memori Tradisional
Lanskap telah berubah secara dramatis dengan model AI modern yang mendukung context window melebihi 128.000 token, dengan model terdepan mencapai jutaan token. Perluasan ini memungkinkan seluruh novela atau seri dokumen masuk dalam satu context window, secara fundamental mengubah cara sistem AI dapat mengakses informasi.
Bahkan banyak model terbuka sekarang menawarkan >128k token, yang memungkinkan untuk memasukkan seluruh novela dalam context window... Saya merasa sebagian besar masalah terkait memori akan hilang begitu saja karena meningkatnya panjang konteks.
Perkembangan ini menunjukkan bahwa sistem pengambilan memori yang kompleks mungkin menjadi kurang kritis karena kekuatan komputasi mentah memungkinkan model untuk mempertahankan sejumlah besar informasi yang dapat diakses secara langsung.
Context window: Jumlah teks yang dapat diproses dan diingat oleh model AI pada satu waktu, diukur dalam token (kira-kira setara dengan kata atau bagian kata).
Perbandingan Context Window
- Model tradisional: <10k token
- Model open modern: >128k token
- Model frontier: Jutaan token
- Kapasitas praktis: 128k token ≈ 100k kata ≈ 300 halaman teks bahasa Inggris
Sistem Identitas Berbasis Graf Muncul sebagai Alternatif
Sementara beberapa ahli percaya bahwa perluasan context window akan menyelesaikan tantangan memori, yang lain berargumen untuk pendekatan yang lebih canggih. Komunitas sedang mengeksplorasi sistem berbasis graf yang merepresentasikan memori sebagai jaringan yang saling terhubung daripada repositori penyimpanan sederhana.
Sistem ini fokus pada pembentukan identitas daripada sekadar penyimpanan fakta, mengorganisir simbol, memori, dan hubungan kausal untuk menciptakan entitas yang koheren. Pendekatan ini mengakui bahwa memori AI yang efektif harus menangkap bukan hanya informasi, tetapi hubungan kompleks antara berbagai bagian pengetahuan.
Pendekatan Sistem Memori
- Raw Scaling: Memperluas jendela konteks untuk menampung lebih banyak informasi secara langsung
- Berbasis Graf: Merepresentasikan pengetahuan sebagai jaringan hubungan yang saling terhubung
- Kerangka Referensi: Mengorganisir informasi berdasarkan validitas temporal, spasial, atau kontekstual
- Mekanisme Atensi: Menggunakan arsitektur transformer yang ada untuk koneksi dokumen
Mekanisme Attention Menunjukkan Kesamaan yang Tak Terduga
Observasi menarik muncul dari diskusi komunitas tentang strategi koneksi dokumen. Ketika memeriksa metode untuk menghubungkan dokumen terkait dan memprediksi koneksi yang berguna, pengembang menemukan bahwa mereka pada dasarnya menciptakan kembali mekanisme attention - teknologi inti yang sudah menggerakkan model transformer.
Realisasi ini menyoroti bagaimana tantangan memori fundamental dalam AI sering kembali ke solusi arsitektural yang terbukti, bahkan ketika didekati dari sudut yang berbeda.
Kesimpulan
Komunitas AI tetap terbagi tentang apakah scaling brute-force dari context window atau arsitektur memori yang canggih yang pada akhirnya akan menang. Sementara perluasan kemampuan konteks menawarkan manfaat praktis langsung, tantangan fundamental dalam mengorganisir pengetahuan dalam kerangka referensi yang tepat tetap ada. Solusinya mungkin bukan terletak pada memilih satu pendekatan daripada yang lain, tetapi dalam menemukan keseimbangan yang tepat antara kekuatan komputasi mentah dan organisasi informasi yang cerdas.
Referensi: Reference frames