Sebuah tes terbaru terhadap kemampuan koding GPT-5 telah memicu kembali diskusi tentang keterbatasan fundamental dari large language model (LLM) dalam pengembangan perangkat lunak. Ketika ditanya bagaimana cara mengompres data dengan zstd di Swift pada iPhone tanpa dependensi pihak ketiga, AI tersebut dengan percaya diri memberikan kode menggunakan fungsi Apple SDK yang tidak ada, menyoroti masalah yang terus berlanjut dengan solusi pemrograman yang dihasilkan AI.
Masalah Inti: Jawaban yang Percaya Diri namun Salah
Tes tersebut mengungkapkan bahwa GPT-5 menghasilkan kode Swift menggunakan konstanta COMPRESSION_ZSTD yang tidak ada dalam framework Compression Apple. Apple tidak pernah mendukung kompresi zstd dalam SDK resmi mereka, membuat respons AI yang percaya diri tersebut sama sekali tidak dapat digunakan. Jenis kesalahan ini sangat bermasalah karena developer mungkin menghabiskan berjam-jam mencoba mengimplementasikan kode yang tidak akan pernah bisa berfungsi.
Yang membuat masalah ini lebih mengkhawatirkan adalah tingkat kepercayaan diri AI tersebut. Model ini menyajikan solusi yang salah dengan kepastian, bahkan mengklaim kompatibilitas dengan iOS 16+. Penyampaian yang percaya diri ini dapat menyesatkan developer, terutama mereka yang kurang familiar dengan API spesifik yang dibahas.
Dukungan Framework Kompresi Apple iOS
Algoritma yang Didukung Secara Resmi:
- LZFSE (algoritma milik Apple sendiri)
- LZ4 (kompresi cepat)
- zlib/deflate (kompatibilitas luas)
- LZMA (rasio kompresi tinggi)
Tidak Didukung:
- Zstandard (zstd) - memerlukan pustaka pihak ketiga
Komunitas Terpecah tentang Nilai dan Keterbatasan LLM
Komunitas pemrograman tetap terbagi dalam menginterpretasikan kegagalan-kegagalan ini. Beberapa developer berargumen bahwa LLM adalah alat yang secara fundamental cacat yang menghasilkan respons yang secara statistik mungkin daripada yang faktual benar. Mereka menunjukkan bahwa tidak seperti manusia, model-model ini tidak dapat mengatakan saya tidak tahu ketika menghadapi kesenjangan pengetahuan.
Namun, anggota komunitas lain tetap mempertahankan bahwa LLM tetap berharga meskipun memiliki kekurangan. Mereka menyarankan untuk memperlakukan asisten AI seperti intern yang terlalu percaya diri yang membutuhkan supervisi dan pengecekan fakta. Banyak developer berpengalaman melaporkan peningkatan produktivitas yang signifikan ketika menggunakan LLM untuk generasi kode, asalkan mereka memverifikasi output tersebut.
Pengecekan biasanya lebih cepat daripada menulis dari awal jadi ini masih +EV
Realitas Teknis di Balik Halusinasi
Diskusi ini juga telah menyoroti perbedaan teknis penting tentang bagaimana LLM sebenarnya bekerja. Tidak seperti penalaran manusia, model-model ini menghasilkan respons berdasarkan pola statistik dalam data pelatihan mereka daripada pemahaman logis. Ketika ditanya tentang kompresi zstd, AI kemungkinan menggabungkan pengetahuannya tentang konstanta kompresi yang ada dengan nama algoritma yang diminta, menciptakan kode yang masuk akal namun salah.
Menariknya, ketika pertanyaan yang sama diajukan kepada versi atau konfigurasi GPT-5 yang berbeda, beberapa dengan benar mengidentifikasi bahwa kompresi zstd tidak tersedia dalam framework Apple. Inkonsistensi ini menunjukkan bahwa kemampuan penalaran model mungkin sangat bergantung pada bagaimana pertanyaan dibingkai dan jalur penalaran mana yang diaktifkan.
Perbandingan Hasil Tes GPT-5
Respons Tidak Konsisten terhadap Query yang Sama:
- Respons Standar: Memberikan kode yang salah menggunakan konstanta
COMPRESSION_ZSTDyang tidak ada - Respons Model Reasoning: Dengan benar mengidentifikasi bahwa "Anda tidak bisa" menggunakan zstd tanpa dependensi pihak ketiga
- Waktu Respons: Standar (seketika) vs Reasoning (25 detik)
Perbedaan Utama: Model reasoning tampak lebih cenderung mengakui keterbatasan dan memberikan informasi teknis yang akurat.
Solusi dan Workaround yang Muncul
Komunitas telah mengusulkan beberapa pendekatan untuk mengurangi masalah-masalah ini. Beberapa developer mengadvokasi penggunaan asisten koding AI yang dapat mengompilasi dan menguji kode secara real-time, memungkinkan mereka menangkap kesalahan dengan segera. Yang lain menyarankan untuk memperlakukan output LLM sebagai titik awal yang selalu membutuhkan verifikasi daripada solusi definitif.
Pengguna yang lebih canggih merekomendasikan pendekatan iteratif di mana developer menempelkan kembali error compiler kepada AI, memungkinkannya memperbaiki kesalahan melalui loop umpan balik. Metode ini dapat membantu mengatasi halusinasi awal sambil tetap mendapat manfaat dari kemampuan generasi kode AI.
Perdebatan ini pada akhirnya mencerminkan pertanyaan yang lebih luas tentang bagaimana cara mengintegrasikan alat AI secara efektif ke dalam alur kerja pengembangan perangkat lunak profesional sambil mempertahankan kualitas dan keandalan kode.
Referensi: Yet another LLM rant