Seiring kecerdasan buatan semakin terintegrasi ke dalam alur kerja profesional, pengguna mulai menemukan keterbatasan signifikan ketika mendorong alat-alat ini melampaui kueri sederhana. Pengujian ekstensif terbaru terhadap ChatGPT milik OpenAI mengungkap pola kesalahan dan kelupaan memori yang mengkhawatirkan yang muncul selama percakapan kompleks multi-langkah, menimbulkan pertanyaan tentang keandalan asisten AI untuk pekerjaan detail.
Degradasi Memori dalam Sesi Panjang
Masalah paling mengkhawatirkan tampaknya adalah ketidakmampuan ChatGPT untuk mempertahankan konsistensi sepanjang percakapan yang panjang. Selama latihan perencanaan bisnis yang melibatkan pemodelan keuangan dan pembuatan spreadsheet, AI berulang kali melupakan asumsi fundamental yang telah ditetapkan sebelumnya dalam sesi tersebut. Dalam satu kasus terdokumentasi, ChatGPT kehilangan jejak parameter awal dasar—dimulai dengan 250 pelanggan alih-alih nol—yang berdampak pada beberapa kesalahan perhitungan di seluruh proyeksi keuangan.
Degradasi memori ini tidak terbatas pada angka. AI akan dengan percaya diri mengutip angka yang secara langsung bertentangan dengan data dalam tabel yang telah dibuatnya beberapa saat sebelumnya, kemudian mengakui kesalahan-kesalahan ini dengan respons santai seperti my bad tanpa memberikan penjelasan apa pun untuk ketidaksesuaian tersebut. Perilaku seperti ini menunjukkan bahwa jendela konteks ChatGPT , yang seharusnya memungkinkannya mereferensikan bagian sebelumnya dari percakapan, tidak berfungsi dengan andal dalam skenario kompleks.
Kesalahan Perhitungan Bertambah Seiring Waktu
Pemodelan keuangan mengungkap pola kesalahan yang semakin sering terjadi seiring berjalannya percakapan. ChatGPT membuat kesalahan dalam perhitungan dasar termasuk menggunakan harga berlangganan yang salah (menyebabkan perhitungan pendapatan yang salah), salah menghitung titik impas, menghasilkan grafik dengan angka yang sangat bervariasi dari asumsi yang telah disepakati, dan menyusun tabel dengan nilai kunci yang hilang. AI juga melupakan tingkat diskon yang telah disepakati dan mengganti dengan nilai yang berbeda tanpa pemberitahuan.
Ini bukan insiden terisolasi tetapi bagian dari kerusakan sistematis yang memerlukan kewaspadaan konstan dari pengguna. Yang dimulai sebagai sesi perencanaan kolaboratif berubah menjadi latihan pengecekan fakta yang melelahkan, dengan pengguna menghabiskan waktu signifikan untuk mengoreksi kesalahan yang seharusnya tidak terjadi sejak awal.
Kesalahan Umum ChatGPT dalam Sesi yang Diperpanjang
| Jenis Kesalahan | Deskripsi | Dampak |
|---|---|---|
| Kehilangan Memori | Melupakan asumsi yang telah ditetapkan (misalnya, jumlah pelanggan awal) | Kesalahan perhitungan yang berantai |
| Kesalahan Perhitungan | Harga berlangganan yang salah, titik impas yang keliru | Proyeksi keuangan yang tidak akurat |
| Inkonsistensi Data | Mengutip angka yang bertentangan dengan tabel yang dibuat sendiri | Analisis yang tidak dapat diandalkan |
| Nilai yang Hilang | Tabel dengan nilai-nilai kunci yang dihilangkan | Model bisnis yang tidak lengkap |
| Kebingungan Parameter | Mengganti tingkat diskon yang berbeda tanpa pemberitahuan | Penilaian yang tidak akurat |
Melampaui Aplikasi Bisnis
Masalah keandalan meluas jauh melampaui perhitungan keuangan. Masalah serupa muncul dalam tugas kompleks lainnya seperti terjemahan dokumen dan analisis konten. Ketika memproses buku puisi dalam format PDF, ChatGPT tidak hanya membuat kesalahan text-scraping tetapi juga menghilangkan seluruh bagian puisi dan menyisipkan puisi yang sepenuhnya dibuat-buat yang tidak ada dalam karya asli. Ini menunjukkan bahwa masalah teknis yang mendasari mempengaruhi berbagai jenis pemrosesan konten.
Paradoks Produktivitas
Meskipun memiliki cacat signifikan ini, ChatGPT memang menawarkan nilai substansial untuk proyek kompleks. AI dapat menyediakan persamaan yang berguna, informasi latar belakang, dan mempertahankan konsistensi tematik sepanjang diskusi—kemampuan yang mewakili kemajuan besar dibandingkan teknologi chatbot sebelumnya. Pengguna melaporkan bahwa proyek dapat diselesaikan dalam waktu sekitar setengah dibandingkan bekerja sendiri, tetapi sebagian besar waktu yang dihemat tersebut habis untuk koreksi kesalahan dan verifikasi.
Ini menciptakan apa yang digambarkan seorang pengguna sebagai paradoks produktivitas—menghemat setengah waktu yang diharapkan sambil kehilangan seperempat lainnya untuk memperbaiki kesalahan yang dihasilkan AI. Manfaat bersih memang ada tetapi datang dengan biaya tersembunyi berupa kewaspadaan konstan dan stres karena tidak pernah tahu kapan kesalahan berikutnya akan muncul.
Analisis Dampak Produktivitas
- Waktu yang Dihemat: Sekitar 50% pengurangan waktu penyelesaian proyek awal
- Waktu yang Hilang: 25% dari waktu yang dihemat digunakan untuk koreksi kesalahan dan verifikasi
- Manfaat Bersih: 25% penghematan waktu secara keseluruhan dengan tambahan stres akibat pemantauan yang konstan
- Performa Terbaik: Percakapan singkat dengan pertanyaan sederhana
- Performa Terburuk: Sesi panjang dengan banyak variabel dan asumsi
Solusi Teknis dan Keterbatasan Saat Ini
OpenAI mengakui keterbatasan ini, menyatakan bahwa ChatGPT berkinerja terbaik dalam percakapan pendek dan bahwa perusahaan terus meningkatkan keandalan dalam percakapan yang lebih panjang. Akar penyebab teknis tampaknya adalah bahwa model bahasa besar berfungsi sebagai database yang ceroboh yang dapat kehilangan atau mengganti data kunci tanpa peringatan.
Solusi perusahaan seperti Retrieval-Augmented Generation ( RAG ) dapat membantu dengan menyimpan variabel kritis dalam database terpisah, memastikan mereka tetap stabil kecuali secara eksplisit diubah. Namun, sebagian besar pengguna individu tidak memiliki akses ke infrastruktur semacam itu, meninggalkan verifikasi manual sebagai satu-satunya pertahanan terhadap kesalahan AI.
Fitur Suara Menambah Lapisan Kompleksitas Lain
Pengujian terpisah terhadap fitur suara ChatGPT mengungkap tantangan kegunaan tambahan. Meskipun fungsionalitas bebas genggam bekerja dengan baik untuk tugas sederhana seperti panduan resep atau ringkasan berita, banyak pengguna merasa suara AI terlalu halus dan buatan. Penyampaian yang terlalu mulus menciptakan efek uncanny valley yang membuat interaksi terasa kurang alami dari yang dimaksudkan.
Secara lebih praktis, interaksi suara memaksa pengguna untuk mengonsumsi informasi dengan kecepatan AI daripada dengan cepat memindai teks untuk detail yang relevan. Keterbatasan kecepatan ini terutama mempengaruhi pengguna power yang mengandalkan pemrosesan informasi cepat untuk alur kerja mereka.
Opsi Suara ChatGPT dan Pengalaman Pengguna
| Nama Suara | Karakteristik | Umpan Balik Pengguna |
|---|---|---|
| Cove | Menenangkan dan meyakinkan | Terlalu halus, kurang imperfekan alami |
| Maple | Cerah dan energik | Tingkat energi tidak konsisten |
| Ember | Nada seimbang | Masih terasa buatan |
| Sol | Opsi standar | Paling tidak disukai oleh pengguna mahir |
Masalah Umum: Penyampaian yang terlalu mulus, jeda tidak alami, keterbatasan kontrol kecepatan untuk pemrosesan informasi cepat
Implikasi untuk Adopsi AI
Temuan ini menyoroti kesenjangan krusial antara janji pemasaran AI dan kinerja dunia nyata. Meskipun ChatGPT unggul dalam menghasilkan draf awal dan memberikan inspirasi kreatif, keandalannya menurun secara signifikan dalam skenario yang memerlukan akurasi berkelanjutan dan perhatian terhadap detail. Pengguna harus menimbang penghematan waktu terhadap beban mental dari pemantauan kesalahan yang konstan.
Keadaan teknologi AI saat ini menunjukkan bahwa pengawasan manusia tetap penting untuk pekerjaan kritis apa pun. Daripada menggantikan penilaian manusia, alat-alat ini paling baik dipandang sebagai asisten yang kuat tetapi tidak sempurna yang memerlukan manajemen hati-hati untuk memberikan manfaat yang dijanjikan.