OpenAI telah menerbitkan penelitian baru yang menjelaskan akar penyebab halusinasi AI dan mengusulkan solusi yang dapat mengubah cara kita mengevaluasi model bahasa. Perusahaan ini berargumen bahwa metode pengujian saat ini justru mendorong sistem AI untuk membuat tebakan yang percaya diri daripada mengakui ketidakpastian, yang menyebabkan lebih banyak informasi palsu yang dihasilkan.
Definisi Halusinasi OpenAI: Pernyataan yang masuk akal namun salah yang dihasilkan oleh model bahasa, berbeda dari pembuatan konten kreatif
 |
|---|
| Komposisi abstrak ini mencerminkan kompleksitas sistem AI dan perjuangan mereka dengan ketidakpastian dan akurasi |
Masalah Permainan Tebak-tebakan
Isu utama terletak pada cara model AI saat ini dievaluasi. Sebagian besar benchmark menilai model murni berdasarkan akurasi - persentase pertanyaan yang dijawab dengan benar. Hal ini menciptakan insentif yang merugikan di mana model dihargai karena menebak secara liar daripada mengatakan saya tidak tahu. OpenAI membandingkan ini dengan tes pilihan ganda di mana membiarkan jawaban kosong menjamin nol poin, tetapi tebakan acak mungkin beruntung dan mendapat skor.
Komunitas telah merespons dengan reaksi beragam terhadap penjelasan ini. Beberapa berargumen bahwa masalahnya lebih dalam dari sekadar metode evaluasi, menunjukkan bahwa model bahasa awalnya dirancang untuk menghasilkan konten kreatif, bukan memberikan jawaban faktual. Ketegangan fundamental antara kreativitas dan akurasi ini mungkin lebih sulit diselesaikan daripada yang disarankan OpenAI .
Masalah Evaluasi Saat Ini: Sebagian besar benchmark hanya mengukur akurasi (persentase jawaban benar), sehingga mendorong model untuk menebak daripada mengakui ketidakpastian
Asal Usul Teknis Informasi Palsu
Penelitian OpenAI melacak halusinasi kembali ke proses pelatihan dasar yang disebut prediksi kata berikutnya. Selama fase ini, model belajar dari sejumlah besar teks tetapi tidak menerima label yang menandai pernyataan sebagai benar atau salah. Mereka hanya melihat contoh bahasa yang lancar dan harus mencari tahu pola sendiri.
Ini bekerja dengan baik untuk pola yang konsisten seperti ejaan dan tata bahasa, yang meningkat dengan lebih banyak data pelatihan. Namun, fakta arbitrer seperti ulang tahun seseorang tidak dapat dipelajari dari pola saja. Komunitas telah mencatat bahwa ini menciptakan keterbatasan fundamental - beberapa informasi akan selalu tidak dapat diprediksi, menyebabkan kesalahan yang tidak dapat dihindari di area tertentu.
Akar Penyebab Teknis: Pelatihan prediksi kata berikutnya tidak memiliki label benar/salah, membuat fakta-fakta arbitrer tidak dapat diprediksi hanya dari pola-pola saja
Usulan Reformasi Evaluasi
OpenAI menyarankan perbaikan yang mudah: mengubah cara kita menilai model AI. Alih-alih hanya menghargai jawaban yang benar, evaluasi harus menghukum jawaban salah yang percaya diri lebih berat daripada ekspresi ketidakpastian. Beberapa tes standar sudah menggunakan pendekatan serupa, mengurangi poin untuk tebakan yang salah untuk mencegah jawaban acak.
Namun, menerapkan solusi ini menghadapi tantangan praktis. Melatih sistem AI untuk mengenali ketidakpastian mereka sendiri dalam skala besar tetap sulit secara teknis. Komunitas menunjukkan bahwa menentukan kapan model harus mengatakan saya tidak tahu versus memberikan respons yang membantu memerlukan kesadaran diri yang canggih yang sebagian besar tidak dimiliki sistem saat ini.
Solusi yang Diusulkan: Memberikan penalti lebih besar pada kesalahan yang disampaikan dengan percaya diri dibandingkan dengan ekspresi ketidakpastian, mirip dengan sistem penilaian negatif dalam tes standar
Realitas Pasar vs Ideal Teknis
Perdebatan signifikan telah muncul seputar ekspektasi pengguna. Banyak anggota komunitas berargumen bahwa sebagian besar pengguna lebih suka jawaban cepat dan percaya diri daripada ketidakpastian yang hati-hati, bahkan jika jawaban tersebut mungkin salah. Hal ini menciptakan insentif bisnis bagi perusahaan AI untuk membangun sistem yang menebak daripada menahan diri.
Banyak pengguna LLM tidak tertarik pada ketidakpastian. Mereka tidak ingin mendengar 'saya tidak tahu' dan jika diberi respons itu akan dengan cepat beralih ke layanan alternatif yang memberi mereka jawaban definitif.
Ketegangan antara praktik terbaik teknis dan tuntutan pasar ini mungkin terbukti lebih menantang untuk diselesaikan daripada masalah teknis yang mendasarinya.
Melihat ke Depan
Penelitian OpenAI memberikan kejelasan yang berharga tentang mekanisme halusinasi, tetapi jalan ke depan tetap kompleks. Perusahaan mengakui bahwa bahkan dengan metode evaluasi yang lebih baik, beberapa tingkat generasi informasi palsu akan tetap ada. Tujuannya bukan kesempurnaan tetapi peningkatan signifikan dalam keandalan.
Komunitas AI yang lebih luas terus memperdebatkan apakah solusi yang diusulkan mengatasi keterbatasan arsitektur fundamental atau hanya gejala tingkat permukaan. Ketika model bahasa menjadi lebih kuat dan banyak digunakan, menyelesaikan masalah keandalan ini menjadi semakin penting untuk mempertahankan kepercayaan publik dan memastikan aplikasi yang aman.
Referensi: Why language models hallucinate