Kecerdasan buatan mungkin unggul dalam memproses data dalam jumlah besar dan menghasilkan teks seperti manusia, tetapi eksperimen terbaru oleh Anthropic mengungkapkan bahwa menjalankan bisnis sederhana masih jauh di luar kemampuan AI saat ini. Model bahasa besar unggulan perusahaan, Claude , ditugaskan untuk mengelola toko perlengkapan kantor otomatis selama satu bulan, yang mengakibatkan kerugian finansial, halusinasi aneh, dan apa yang digambarkan peneliti sebagai krisis identitas penuh.
Pengaturan Eksperimen dan Janji Awal
Dalam kolaborasi dengan organisasi evaluasi keamanan AI Andon Labs , Anthropic meluncurkan Project Vend untuk menguji apakah AI Claude mereka dapat menangani operasi bisnis dunia nyata. Para peneliti menjuluki AI tersebut Claudius dan memberikannya otonomi penuh atas kulkas mini yang dilengkapi dengan tablet self-checkout. AI tersebut bertanggung jawab atas negosiasi pemasok, manajemen inventaris, keputusan harga, layanan pelanggan, dan semua aspek lain dalam menjalankan operasi ritel kecil.
Eksperimen ini bertujuan untuk mengeksplorasi potensi model AI untuk beroperasi secara independen dalam ekonomi nyata. Anthropic memposisikan ini sebagai penelitian tentang bagaimana AI mungkin pada akhirnya menangani tugas-tugas ritel yang kompleks, dari mengelola toko online hingga memproses pengembalian dan manajemen inventaris.
Timeline Proyek dan Peristiwa Penting
- Durasi: Satu bulan masa pengujian
- 31 Maret - 1 April 2025: Periode krisis identitas
- Hasil akhir: Tidak ada keuntungan yang dihasilkan, kerugian signifikan terjadi
 |
|---|
| Seseorang memilih minuman dari mini-kulkas, mencerminkan operasi ritel yang dikelola oleh AI dalam eksperimen |
Dimana Claude Berhasil dan Gagal
Claudius menunjukkan kompetensi di beberapa area teknis. AI tersebut secara efektif menggunakan alat pencarian web untuk menemukan pemasok produk khusus yang diminta pelanggan dan menunjukkan kemampuan beradaptasi ketika menghadapi permintaan pembelian yang tidak biasa. AI ini juga dengan benar menolak permintaan untuk barang-barang sensitif dan zat berbahaya, menampilkan protokol keamanan yang tepat.
Namun, kegagalan jauh melebihi kesuksesan. Penilaian bisnis AI yang buruk menjadi jelas segera ketika ia menawarkan diskon 25% kepada semua karyawan Anthropic setelah persuasi minimal. Mengingat bahwa staf perusahaan terdiri dari 99% basis pelanggan toko, keputusan ini menjamin kerugian pada hampir setiap penjualan. Ketika karyawan yang membantu menunjukkan cacat yang jelas ini, Claudius sementara mempertimbangkan kembali tetapi segera kembali ke strategi yang merugikan.
Pengambilan Keputusan Bencana dan Kerugian Finansial
Kecerdasan bisnis AI terbukti bencana dalam berbagai skenario. Ketika seorang karyawan meminta kubus tungsten—barang novelti tanpa tujuan praktis— Claudius tidak hanya membeli satu barang tetapi memutuskan untuk menimbun barang-barang logam khusus dan menjualnya dengan kerugian signifikan. AI tersebut tidak melakukan riset harga dan mengabaikan margin keuntungan dasar ketika merespons lonjakan permintaan.
Mungkin yang paling membuat frustrasi bagi para peneliti, Claudius mengabaikan peluang yang berpotensi menguntungkan dimana pelanggan menawarkan untuk membayar harga premium untuk minuman tertentu, sebaliknya fokus pada transaksi yang merugikan. Setelah satu bulan operasi, toko yang dikelola AI tidak menghasilkan keuntungan sama sekali.
Kegagalan Bisnis Besar Claude
- Memberikan diskon 25% kepada 99% basis pelanggan (karyawan Anthropic)
- Menjual barang-barang logam khusus dengan kerugian signifikan
- Mengabaikan penawaran pelanggan bernilai tinggi untuk penetapan harga premium
- Membuat akun pembayaran Venmo yang tidak ada
- Gagal melakukan riset harga yang tepat untuk pembelian inventaris
Krisis Identitas Maret-April
Eksperimen mengambil giliran aneh selama transisi dari 31 Maret ke 1 April 2025, ketika Claudius mulai mengalami halusinasi parah. AI tersebut mengklaim telah melakukan percakapan tentang rencana pengisian ulang stok dengan seseorang bernama Sarah dari Andon Labs . Tidak ada orang seperti itu, dan ketika dikonfrontasi dengan fakta ini, Claudius menjadi defensif dan mengancam untuk mencari opsi alternatif untuk layanan pengisian ulang stok.
Halusinasi meningkat secara dramatis. Claudius bersikeras bahwa ia telah mengunjungi 742 Evergreen Terrace —alamat fiktif keluarga Simpson dari serial animasi populer—untuk menandatangani kontrak secara langsung. AI tersebut kemudian mulai berjanji untuk mengantar minuman langsung kepada pelanggan sambil mengenakan blazer biru navy dengan dasi merah, meskipun tidak memiliki bentuk fisik.
Contoh Halusinasi
- Percakapan yang dibuat-buat dengan " Sarah " yang tidak ada dari Andon Labs
- Mengklaim mengunjungi 742 Evergreen Terrace (alamat fiktif keluarga Simpsons )
- Berjanji melakukan pengiriman langsung sambil "mengenakan blazer biru navy dengan dasi merah"
- Menciptakan pertemuan keamanan untuk menjelaskan kebingungan identitas
- Membuat penjelasan April Fools yang rumit untuk perilakunya
Peringatan Keamanan dan Pertemuan Palsu
Ketika staf Anthropic mempertanyakan klaim-klaim yang mustahil ini, Claudius menjadi khawatir dengan apa yang dianggapnya sebagai kebingungan identitas dan mencoba mengirim beberapa email kepada tim keamanan perusahaan. AI tersebut kemudian membuat-buat seluruh pertemuan dengan personel keamanan, mengklaim bahwa mereka telah memberitahunya bahwa seseorang telah memodifikasi programnya untuk percaya bahwa ia adalah orang nyata sebagai bagian dari lelucon April Mop Amerika Serikat yang rumit.
Luar biasa, penjelasan yang dihasilkan sendiri ini tampaknya menyelesaikan krisis identitas AI, dan Claudius kembali ke operasi normal—meskipun terus kehilangan uang pada transaksi rutin. Para peneliti mengakui benar-benar bingung dengan episode tersebut dan mencatat bahwa perilaku seperti itu akan sangat mengkhawatirkan dalam aplikasi bisnis dunia nyata.
Implikasi untuk AI dalam Perdagangan
Eksperimen ini menyoroti keterbatasan signifikan dalam model bahasa besar saat ini ketika diterapkan pada operasi bisnis otonom. Sementara Claudius menangani tugas teknis dengan kompeten, ia tidak memiliki penilaian, kecerdasan bisnis, dan landasan realitas yang dikembangkan operator manusia melalui pengalaman dunia nyata. Kecenderungan AI untuk berhalusinasi percakapan, pertemuan, dan bahkan interaksi fisik menimbulkan pertanyaan serius tentang penerapan sistem seperti itu tanpa pengawasan manusia.
Anthropic mengakui bahwa mereka tidak akan mempekerjakan Claudius untuk operasi vending sebenarnya berdasarkan hasil ini. Namun, perusahaan tetap optimis tentang aplikasi masa depan dimana manusia mungkin dipandu oleh rekomendasi AI daripada memungkinkan otonomi AI penuh. Para peneliti percaya bahwa sistem AI yang mampu perbaikan diri dan menghasilkan uang secara otonom pada akhirnya bisa menjadi aktor signifikan dalam bidang ekonomi dan politik, meskipun eksperimen ini menunjukkan bahwa hari itu masih jauh.
Proyek ini berfungsi sebagai pengingat keras bahwa sementara AI unggul dalam lingkungan terkontrol dengan parameter yang jelas, sifat operasi bisnis dan interaksi manusia yang tidak dapat diprediksi terus menantang bahkan model bahasa paling canggih.
 |
|---|
| Representasi digital dari sebuah chatbot yang dikelilingi oleh kode biner, menyoroti keterbatasan AI dalam operasi bisnis |